Koumbit Network Status

Aller au contenu | Aller au menu | Aller à la recherche

Tag - hesiode

Fil des billets - Fil des commentaires

mercredi 20 mai 2009

Maintenance, 20-5-2009 13:00-0400

Par anarcat le mercredi 20 mai 2009, 01:04 - fr

Qui est affecté

Tous les utilisateurs de l'hébergement partagé, autant des courriels que des sites webs.

Quand

Le mercredi 20 mai, entre 13:00 et 14:00 HAE (UTC-4).

Ce qui va arriver

Le serveur de base de données sera remplacé par une machine plus puissante.

Un nouveau serveur de fichiers sera mis en ligne.

Pourquoi

Le serveur de bases de données est le goulot d'étranglement principal depuis février et nous avons tenté à plusieurs reprises de le remplacer pour améliorer la performance de l'hébergement. Nous espérons que ceci est la dernière tentative requise pour au moins 6 à 12 mois.

Le nouveau serveur de fichiers pour sa part vise à réduire la dépendance envers le serveur principal qui assume présentement toutes les fonctions excepté le rendu des pages web, et donc incluant le service de fichiers. En déplaçant ce service vers un serveur dédié, nous nous assurons à long terme d'une plus grande redondance et extensibilité. Puisque le nouveau serveur supporte le changement des disques "à chaud" (sans redémarrer le serveur), les remplacements matériaux seront également plus rapides et ne demanderont pas de coupure de service.

Comment

Nous fermerons toute la grappe de serveur principale pour environ 30 minutes, entre 13h et 13h30 (UTC-4). Nous espérons faire les deux opérations en 30 minutes, mais il est possible que nous dépassions cet estimé si des problèmes se manifestent. Les services sont donc garantis de revenir à la normale (et plus rapides!) autour de 14h00 (UTC-4).

Si une modification est prévue à cet échéancier, une mise à jour sera, comme d'habitude, postée sur http://offline.koumbit.net/.

Les membres de Koumbit peuvent voir les détails de l'opération sur: https://wiki.koumbit.net/RapportsIntervention/2009-05-20

Je suis contre!

Si cette intervention est trop problématique pour vous ou votre organisation, veuillez nous le laisser savoir à l'avance pour voir si nous pouvons prendre des arrangements.

5 commentaires

Maintenance window, 20-5-2009 13:00-0400

Par anarcat le mercredi 20 mai 2009, 01:03 - en

Who is affected

All the users of the shared hosting service, emails and websites alike.

When this will happen

May 20th, between 13:00 and 14:00 EDT (UTC-4).

What will happen

The main database server will be replaced with a more powerful machine.

A new file server will be put on line.

Why

The current database server has been the main performance bottleneck since February and we have tried numerous times to replace it to improve performance of the hosting cluster. We are hoping this will be the final operation required for at least a few months.

The new file server aims to reduce the dependency on the main server which currently assumes all functions except web page service, which includes file service. By moving this to a dedicated server, we will ensure better redundancy and scalability. Since the new server also supports hotswapping hard drives, hardware replacements will be easier and will not require any downtime.

How

We will take the whole cluster down for at least 30 minutes, between 13h00 and 13h30 (UTC-4). We hope to do both operations in 30 minutes, but we may go beyond that timeline and extend the operations if we have problems, to a maximum of 1h. Therefore all services should be back to normal (and faster!) at 14h00 (UTC-4).

If there's any modification to that timeline, an update will be posted, as usual, on http://offline.koumbit.net/.

Koumbit members can see the details here: https://wiki.koumbit.net/RapportsIntervention/2009-05-20

I object!

If this intervention is too problematic for you or your organisation, please let us know beforehand to see if we can arrange otherwise.

vendredi 16 janvier 2009

serveur secondaire en ligne, retour aux performances nominales

Par anarcat le vendredi 16 janvier 2009, 12:46 - fr

Qui est affecté

Utilisateurs de l'hébergement auto-géré.

Quand

15 janvier 2009 19:39EST

Ce qui est arrivé

Le serveur secondaire a été remis en ligne.

Pourquoi

Le premier janvier, ce serveur (hesiode.koumbit.net) a complètement été mis hors combat par une coupure de courant. Bien que le serveur principal a pris le relai et que le système de répartition de charge a dissimulé la panne, ceci a grandement affecté la performance des sites web et de l'hébergement en général.

Comment

Le serveur a été retourné au manufacturier, qui l'a réparé avant de nous le rendre.

secondary server online, returning to regular performances

Par anarcat le vendredi 16 janvier 2009, 12:45 - en

Who's affected

Users of the shared hosting service.

When

Jan 15th 2009 19:39EST

What happened

The secondary server was put back online.

Why

On january first, that server (hesiode.koumbit.net) was completely put offline by a power surge following a power outage. While the main server took over and the load balancing service hid the outage, this greatly affected the performance of websites and hosting services in general.

How

The server was return to our provider, which repaired the problem and returned the server.

jeudi 8 janvier 2009

période d'entretien 9 janvier entre 14:00 et 16:00

Par anarcat le jeudi 8 janvier 2009, 17:40 - fr

Qui est affecté

Tous les services d'hébergement seront temporairement hors d'usage pendant que les serveurs seront redémarrés. Ceci affecte aussi les utilisateurs des serveurs virtuels.

Quand

L'intervention aura lieu le 9 janvier 2009, entre 14:00 et 16:00. Le redémarrage des serveurs devrait être limité à la période entre 14:00 et 14:30.

Timeline complet:

  • 2009-01-09 13:00:00 EST - départ du bureau avec demeter2
  • 2009-01-09 13:45:00 EST - arrivée au centre de données, installation d'une console et révision de la procédure
  • 2009-01-09 14:00:00 EST - début des reboot de sécurité en cascade
  • 2009-01-09 14:00:00 EST - racking de la nouvelle switch et de l'APC
  • 2009-01-09 14:30:00 EST - fin du racking switch et APC
  • 2009-01-09 14:30:00 EST - fin des reboot de sécurité en cascade
  • 2009-01-09 14:30:00 EST - déracking de hesiode
  • 2009-01-09 14:30:00 EST - début du racking de lgm.koumbit.net
  • 2009-01-09 16:00:00 EST - fin de la fenêtre d'intervention

Ce qui va arriver

Les serveurs suivants seront redémarrés: homere.koumbit.net, metis.koumbit.net, alexandria.koumbit.net, demeter.koumbit.net, marius.koumbit.net, romulus.koumbit.net et raymond.fqccl.org

Le serveur suivant sera retiré: hesiode.koumbit.net.

Les machines suivantes sera mis en ligne: lgm.koumbit.net, sw4-canix2.koumbit.net

Pourquoi

Certains serveurs seront redémarrés pour appliquer des mises à jour de sécurité au noyau Linux. Le serveur secondaire (hesiode.koumbit.net) sera retiré du cabinet pour être remplacé car il est défectueux. Un nouveau serveur sera installé pour un client (lgm.koumbit.net). De l'équipement sera installé dans le nouveau cabinet afin de le rendre "habitable" pour les nouveaux serveurs.

Le nouveau cabinet est nécessaire afin de répondre à la croissance des serveurs.

Comment

Les détails du rapport d'intervention sont disponibles aux membres de Koumbit dans la page: https://wiki.koumbit.net/RapportsIntervention/2009-01-09

Je suis contre!

Si cette intervention est trop problématique pour vous ou votre organisation, veuillez nous le laisser savoir dans les 24h pour voir si nous pouvons prendre des arrangements.

maintenance window jan 9th between 14:00 and 16:00

Par anarcat le jeudi 8 janvier 2009, 17:40 - en

Who is affected

All hosting services will be temporarly turned off as the servers will be rebooted. This will also affected virtual server users.

When

The operations will take place on january 9th 2009, between 14:00 and 16:00 EST. The server reboots should be limited to the period between 14:00 et 14:30 EST.

What will happen

The following servers will be rebooted: homere.koumbit.net, metis.koumbit.net, alexandria.koumbit.net, demeter.koumbit.net, marius.koumbit.net, romulus.koumbit.net et raymond.fqccl.org

The following server will be removed: hesiode.koumbit.net.

The following servers will be put online: lgm.koumbit.net, sw4-canix2.koumbit.net

Why

Some servers will be rebooted to apply security upgrades to the Linux kernel. The secondary web server (hesiode.koumbit.net) will be removed from the cabinet to be replaced because it has been damaged by the january 1st power failure. A new server will also be put online for a client (lgm.koumbit.net). Finally, new equipment will be put into place to make the new cabinet able to welcome new servers.

That new cabinet is necessary to respond properly to our growth.

How

Details of the operations are available to Koumbit members in the page: https://wiki.koumbit.net/RapportsIntervention/2009-01-09

I object!

If this intervention is too problematic for you or your organisation, please let us know within 24h to see if we can arrange otherwise.

dimanche 9 novembre 2008

Coupure dans la nuit du samedi 8 novembre 2008: problème d'ampérage, problème de date sur mysql1

Par Mathieu le dimanche 9 novembre 2008, 19:51 - fr

Un disjoncteur du cabinet, où sont hébergés les principaux serveurs d'hébergement de Koumbit, a sauté dans la nuit du samedi 8 novembre 2008 en raison d'une surcharge. Une partie des serveurs étaient inaccessibles entre 23h15 et 0h30, suivi de quelques petites coupures entre 0h30 et 2h15.

De plus, suite à cette panne, le principal serveur web de l'hébergement partagé n'a pas correctement retrouvé la bonne heure et affichait 1970. Ceci a causé quelques problèmes sur des sites de gestion de contenu (Spip et Drupal). Le problème a été remarqué et résolu dimanche vers 11h00.

Koumbit est sur le point d'ouvrir un second cabinet dans un nouveau point de présence. Ceci fait partie du plan architectural 2008 pour augmenter la redondance et gérer la croissance. Ceci permettra, entre autres, d'éviter ce type de panne, puisque les serveurs d'hébergement partagés seront redondants entre les deux cabinets.

Pour toute question ou commentaire, vous pouvez commenter sur le blogue des administrateurs systèmes (offline.koumbit.net) ou nous écrire à support@koumbit.org.

Merci de votre compréhension.

Mise à jour, 16:47HNE: c'est le serveur web et non le serveur de bases de données qui avait une heure erronée.

Hosting outage Saturday November 8, 2008: electric problem, database time problem

Par Mathieu le dimanche 9 novembre 2008, 19:00 - en

A fuse in the cabinet, where most of the Koumbit hosting servers are located, was overloaded and failed, in the night of November 8, 2008. Part of the servers were not available between 23h15 and 0h30, followed by other minor disruptions between 0h30 and 2h15.

Following this, the main web server of the shared hosting accounts did not recover correctly its time and was displaying 1970. This caused a few problems on some sites running content management content systems (sush as Spip and Drupal). The problem was noticed and fixed Sunday around 11h00.

Koumbit is about to open a second cabinet in a new point of presence. This is part of our 2008 architectural plan to increase redundancy and to deal with the growth of the demand. This will allow us, amongst other benefits, to avoid this type of outage, since the main shared hosting servers will be redundant between the two cabinets.

For questions or comments, you can comment on the sysadmin blog (offline.koumbit.net) or write to us at support@koumbit.org.

Thank you for your understanding.

Update, 16:47EST: it's the webserver and not the database server that had a clock problem.

mercredi 15 octobre 2008

Nouveau serveur web prêt aux tests, AlternC 0.9.9 en ligne

Par anarcat le mercredi 15 octobre 2008, 14:49 - fr

Qui est affecté

Dès maintenant, cet avis concerne les développeurs web qui maintiennent des sites sur l'hébergement mutualisé.

À partir de la semaine prochaine, tous les utilisateurs de l'hébergement sont concernés.

Quand

Lundi 20 octobre à 13h.

Ce qui va arriver

Un nouveau serveur web a été mis en ligne et a passé avec succès la phase de tests interne. Nous invitons maintenant les développeurs web et autres personnes techniquement capables de faire des tests sur le serveur pour la fin de la semaine.

Lundi prochain, le nouveau serveur sera mis en ligne dans le setup de redondance.

Pourquoi

Le nouveau serveur va assurer une meilleure continuité de service et une plus grande rapidité à répondre aux requêtes.

Comment

Quand une coupure surviendra sur un serveur à cause d'une surcharge, le second serveur prendra rapidement le relai (le délai est présentement réglé à 5 secondes). Même s'il n'Y a pas de surcharge, les serveurs vont se distribuer la charge, améliorant de beaucoup la performance générale.

Afin de tester immédiatement le nouveau serveur, les testeurs intéressés peuvent modifier leur fichier "hosts" en suivant les instructions à cette page:

https://wiki.koumbit.net/DnsWithHostsFile

L'adresse du nouveau serveur est la suivante: 209.44.112.96

Signalez tout problème à support@koumbit.org en précisant que vous croyez le problème relié au nouveau serveur et votre configuration ci-haut.

Autres annonces

Nous voulons profiter de cette annonce pour souligner la sortie de AlternC 0.9.9, qui règle plusieurs bugs dans l'interface d'administration et permet le déploiement sur plusieurs serveurs plus facilement.

De plus, notez que les annonces envoyées sur la liste de discussion hag@ sont maintenant marqués avec la langue du message. Vous pouvez filtrer les annonces que vous voulez recevoir sur cette page:

https://listes.koumbit.net/cgi-bin/mailman/options/hag-koumbit.org

Je suis contre!

Si cette intervention est trop problématique pour vous ou votre organisation, veuillez nous le laisser savoir dans les 24h pour voir si nous pouvons prendre des arrangements.

New webserver ready for testing, alternc 0.9.9 online

Par anarcat le mercredi 15 octobre 2008, 14:47 - en

Who's affected

This notice affects all web developers maintaining sites on the shared hosting services.

Staring next week, all the users are also affected.

When

Monday october 20th at 13h.

What will happen

A new web server has been put online and has successfully passed a serie of internal tests. We now welcome all web developpers and other technically capable people to test the new webserver during the week.

Next monday, the new server will be added to the load balancing setup.

Why

The new server will ensure a better service continuity and a faster response.

How

When an outage will occur on a server, because of an overload or other, the second server will take over (the delay is currently set to 5 seconds). Even when not during an overload, both servers will share the load, greatly improving overall performance.

To test the new server immediatly, all interested testers should modify their "hosts" files by following the instructions in the page below:

https://wiki.koumbit.net/DnsWithHostsFile

The IP address of the new server is the following: 209.44.112.96

Please notify us of any anomaly at support@koumbit.org, mentionning that you believe the problem is related to the new server and your configuration below.

Other announcements

We want to profit from this announcement to emphasize on the release of AlternC 0.9.9, which fixes many bugs in the control panel and allows for deployment on multiple servers easily.

Additionnaly, note that the announcements sent to the mailing list are now marked with the language of the message. You can therefore filter the announcements you want to receive on the following page:

https://listes.koumbit.net/cgi-bin/mailman/options/hag-koumbit.org

I object!

If this intervention is too problematic for your or your organisation, please let us know within 24h to see if we can make other arrangements.

jeudi 25 septembre 2008

Redémarrages de sécurité et nouveau serveur web le 30 septembre

Par anarcat le jeudi 25 septembre 2008, 14:46 - fr

Qui est affecté

Tous les serveurs virtuels ainsi que les sites hébergés sur le serveur mutualisé.

Spécifiquement, les serveurs suivants sont touchés:

Quand

Le 30 septembre entre 14h30 et 15h00, HAE (-0400).

Ce qui va arriver

Les serveurs seront redémarrés pour une mise à jour de sécurité. De plus, un nouveau serveur physique sera ajouté à la configuration du répartiteur de charge.

Pourquoi

Le noyau Linux a vu plusieurs vulnérabilités publiées récemment et nous allons mettre à jour les machines.

Pour ce qui est du répartiteur de charge, il s'agit de régler les problèmes de fiabilité du service web et permettre une maintenance plus facile du serveur.

Comment

Voir le RapportsIntervention/2008-09-30 complet. Les serveurs seront redémarrés à tour de rôle entre 14:30 et 15:00. Ceci va affecter tous les serveurs virtuels ainsi que l'hébergement mutualisé, chaque coupure durant environ 90 secondes.

Le nouveau serveur (hesiode.koumbit.net) sera mis en ligne mais ne sera pas activé avant une nouvelle période de test, car il est possible que sa mise en ligne brise quelques sites ayant des besoins particuliers.

Je suis contre!

Si cette intervention est trop problématique pour vous ou votre organisation, veuillez nous le laisser savoir dans les 24h pour voir si nous pouvons prendre des arrangements.

Security reboots and new webserver online on september 30th

Par anarcat le jeudi 25 septembre 2008, 14:44 - en

Who's affected

Every virtual server and sites hosted on the shared hosting server.

Specifically, the followin servers are affected:

When

September 30th between 14:40 and 15:00, EDT (-0400).

What will happen

The servers will be rebooted for a security update. Furthermore, a new physical server will be added to the LoadBalancing configuration.

Why

The linux kernel has suffered multiple security vulnerabilities recently and we therefore need to upgrade with the newer kernels.

As for the load balancer, the goal is to resolve the recent reliability problems and allow for an easier maintenance of the services.

How

See the complete report (fr). Servers will be rebooted one after the other between 14:30 and 15:00. This will affect all virtual servers as the shared hosting, each outage lasting around 90 seconds.

The new server (hesiode.koumbit.net) will be put online but will not be activated before a new test period, as it is possible the new server breaks when displaying certain sites.

I object!

If this operation is too problematic for you or your organisation, please let us know within 24h to see if we can arrange otherwise.

mardi 16 septembre 2008

Coupure d'un serveur DNS récursif aujourd'hui

Par anarcat le mardi 16 septembre 2008, 13:19 - fr

Qui est affecté

Les serveurs hébergés en colocation, y compris, sans se limiter à: remus.koumbit.net, hesiode.koumbit.net, alexandria.koumbit.net et metis.koumbit.net.

Quand

Aujourd'hui 16 septembre, entre 17:45 et 18:15, HAE (-0400).

Ce qui va arriver

Le serveur hébergeant un des serveurs virtuel résolvant les noms de domaines pour le cabinet (209.44.112.71, recurse2.koumbit.net) sera remplacé, occasionnant une coupure d'environ 30 minutes de ce service. L'autre serveur DNS (209.44.112.70, recurse.koumbit.net) devrait continuer à effectuer le service normalement et nous croyons que ceci ne devrait pas occasionner de problème majeurs.

Pourquoi

Le serveur (remus.koumbit.net) est en fin de vie et doit être remplacé. Il sera transformé en serveur de sauvegarde massif (alexandria.koumbit.net).

Comment

Voir les détails du rapport d'intervention. À noter que remus.koumbit.net va maintenant s'appeler metis.koumbit.net. Nous allons également mettre en ligne un nouveau serveur, hesiode.koumbit.net.

recursive DNS service outage today

Par anarcat le mardi 16 septembre 2008, 13:17 - en

Who is affected

Colocated servers, especially remus.koumbit.net, hesiode.koumbit.net, alexandria.koumbit.net and metis.koumbit.net.

When

Today september 16th, between 17:45 and 18:15, EDT (-0400).

What will happen

The server hosting one the virtual servers resolving DNS for the cabinet (209.44.112.71, recurse2.koumbit.net) will be replaced, provoking a short outage of around 30 minutes of this service. The other server (209.44.112.70, recurse.koumbit.net) should continue to perform regular service and we therefore believe that this will have minimal impact on the infrastructure.

Why

The server (remus.koumbit.net) is approaching end of life and needs to be replaced. It will be transformed into a massive backup server (alexandria.koumbit.net).

How

Koumbit members can read the details of the operational report. Note that remus.koumbit.net will now be named metis.koumbit.net. We will also put a new web node online name, hesiode.koumbit.net.