Koumbit Network Status

Who is affected

All the users of the shared hosting service, emails and websites alike.

When this will happen

May 20th, between 13:00 and 14:00 EDT (UTC-4).

What will happen

The main database server will be replaced with a more powerful machine.

A new file server will be put on line.

Why

The current database server has been the main performance bottleneck since February and we have tried numerous times to replace it to improve performance of the hosting cluster. We are hoping this will be the final operation required for at least a few months.

The new file server aims to reduce the dependency on the main server which currently assumes all functions except web page service, which includes file service. By moving this to a dedicated server, we will ensure better redundancy and scalability. Since the new server also supports hotswapping hard drives, hardware replacements will be easier and will not require any downtime.

How

We will take the whole cluster down for at least 30 minutes, between 13h00 and 13h30 (UTC-4). We hope to do both operations in 30 minutes, but we may go beyond that timeline and extend the operations if we have problems, to a maximum of 1h. Therefore all services should be back to normal (and faster!) at 14h00 (UTC-4).

If there's any modification to that timeline, an update will be posted, as usual, on http://offline.koumbit.net/.

Koumbit members can see the details here: https://wiki.koumbit.net/RapportsIntervention/2009-05-20

I object!

If this intervention is too problematic for you or your organisation, please let us know beforehand to see if we can arrange otherwise.

Who is affected

All the sites hosted on our shared hosting servers.

When

Maintenance window:

• Begins: 2009-03-04 23:59:59 EST
• Ends: 2009-03-05 00:30:00 EST

What will happen

During the planned maintenance window, MySQL services will be slower than usual while the secondary server takes over the primary one. This will mainly affect websites, which will all see a slowdown, maybe even complete outages.

Why

The main objective of the intervention is to test the capacity of the main server when idle, without any traffic, to compare it against the new server we are in the process of configuring as a replacement.

We also wish to test the capacity of the secondary server and the abilities of the sysadmin team to be able to proceed quickly with such an intervention, without being pressed by an actual emergency.

How

To proceed with those tests, we will turn off the main server and redirect all traffic to the secondary server. Since that server is of lesser capacity, substantial performance hit will be observable on our main servers.

The details of the operation are available on this page:

https://wiki.koumbit.net/RapportsIntervention/2009-02-04

If the operation takes longer than expected, we will announce it on http://offline.koumbit.net/

I object!

If this operation is too problematic for you or your organisation, please let us know within 24h to see if we can take appropriate workarounds.

Qui est affecté

Utilisateurs de l'hébergement auto-géré.

Quand

15 janvier 2009 19:39EST

Ce qui est arrivé

Le serveur secondaire a été remis en ligne.

Pourquoi

Le premier janvier, ce serveur (hesiode.koumbit.net) a complètement été mis hors combat par une coupure de courant. Bien que le serveur principal a pris le relai et que le système de répartition de charge a dissimulé la panne, ceci a grandement affecté la performance des sites web et de l'hébergement en général.

Comment

Le serveur a été retourné au manufacturier, qui l'a réparé avant de nous le rendre.

Qui est affecté

Tous les services d'hébergement seront temporairement hors d'usage pendant que les serveurs seront redémarrés. Ceci affecte aussi les utilisateurs des serveurs virtuels.

Quand

L'intervention aura lieu le 9 janvier 2009, entre 14:00 et 16:00. Le redémarrage des serveurs devrait être limité à la période entre 14:00 et 14:30.

Timeline complet:

• 2009-01-09 13:00:00 EST - départ du bureau avec demeter2
• 2009-01-09 13:45:00 EST - arrivée au centre de données, installation d'une console et révision de la procédure
• 2009-01-09 14:00:00 EST - début des reboot de sécurité en cascade
• 2009-01-09 14:00:00 EST - racking de la nouvelle switch et de l'APC
• 2009-01-09 14:30:00 EST - fin du racking switch et APC
• 2009-01-09 14:30:00 EST - fin des reboot de sécurité en cascade
• 2009-01-09 14:30:00 EST - déracking de hesiode
• 2009-01-09 14:30:00 EST - début du racking de lgm.koumbit.net
• 2009-01-09 16:00:00 EST - fin de la fenêtre d'intervention

Ce qui va arriver

Les serveurs suivants seront redémarrés: homere.koumbit.net, metis.koumbit.net, alexandria.koumbit.net, demeter.koumbit.net, marius.koumbit.net, romulus.koumbit.net et raymond.fqccl.org

Le serveur suivant sera retiré: hesiode.koumbit.net.

Les machines suivantes sera mis en ligne: lgm.koumbit.net, sw4-canix2.koumbit.net

Pourquoi

Certains serveurs seront redémarrés pour appliquer des mises à jour de sécurité au noyau Linux. Le serveur secondaire (hesiode.koumbit.net) sera retiré du cabinet pour être remplacé car il est défectueux. Un nouveau serveur sera installé pour un client (lgm.koumbit.net). De l'équipement sera installé dans le nouveau cabinet afin de le rendre "habitable" pour les nouveaux serveurs.

Le nouveau cabinet est nécessaire afin de répondre à la croissance des serveurs.

Comment

Les détails du rapport d'intervention sont disponibles aux membres de Koumbit dans la page: https://wiki.koumbit.net/RapportsIntervention/2009-01-09

Je suis contre!

Si cette intervention est trop problématique pour vous ou votre organisation, veuillez nous le laisser savoir dans les 24h pour voir si nous pouvons prendre des arrangements.

Qui est affecté

Dès maintenant, cet avis concerne les développeurs web qui maintiennent des sites sur l'hébergement mutualisé.

À partir de la semaine prochaine, tous les utilisateurs de l'hébergement sont concernés.

Quand

Lundi 20 octobre à 13h.

Ce qui va arriver

Un nouveau serveur web a été mis en ligne et a passé avec succès la phase de tests interne. Nous invitons maintenant les développeurs web et autres personnes techniquement capables de faire des tests sur le serveur pour la fin de la semaine.

Lundi prochain, le nouveau serveur sera mis en ligne dans le setup de redondance.

Pourquoi

Le nouveau serveur va assurer une meilleure continuité de service et une plus grande rapidité à répondre aux requêtes.

Comment

Quand une coupure surviendra sur un serveur à cause d'une surcharge, le second serveur prendra rapidement le relai (le délai est présentement réglé à 5 secondes). Même s'il n'Y a pas de surcharge, les serveurs vont se distribuer la charge, améliorant de beaucoup la performance générale.

Afin de tester immédiatement le nouveau serveur, les testeurs intéressés peuvent modifier leur fichier "hosts" en suivant les instructions à cette page:

https://wiki.koumbit.net/DnsWithHostsFile

L'adresse du nouveau serveur est la suivante: 209.44.112.96

Signalez tout problème à support@koumbit.org en précisant que vous croyez le problème relié au nouveau serveur et votre configuration ci-haut.

Autres annonces

Nous voulons profiter de cette annonce pour souligner la sortie de AlternC 0.9.9, qui règle plusieurs bugs dans l'interface d'administration et permet le déploiement sur plusieurs serveurs plus facilement.

De plus, notez que les annonces envoyées sur la liste de discussion hag@ sont maintenant marqués avec la langue du message. Vous pouvez filtrer les annonces que vous voulez recevoir sur cette page:

https://listes.koumbit.net/cgi-bin/mailman/options/hag-koumbit.org

Je suis contre!

Si cette intervention est trop problématique pour vous ou votre organisation, veuillez nous le laisser savoir dans les 24h pour voir si nous pouvons prendre des arrangements.

Qui est affecté

Toutes les machines, serveurs virtuels ou nons, et services hébergés dans le cabinet principal. Ceci inclus les services d'hébergement et de courriel.

Quand

Le 26 août 2008, entre 19h00 et 21h00, HAE (-0400). Les coupures décrites auront lieu entre 20h00 et 21h00, HAE. Nous espérons cependant limiter les coupures à 30 minutes (donc entre 20h et 20h30).

Ce qui va arriver

La "switch" principale sera remplacé. Ceci va provoquer des courtes coupures pour chacun des serveurs hébergés.

Pourquoi

La switch actuelle est pleine et montre des signes de faiblesse. Nous préfèrons la remplacer avant une coupure totale.

Comment

Voir le rapport d'intervention. Notez que la coupure commencera par une coupure généralisée, lorsque le router sera rebranché. Ensuite, chaque machine sera rebranchée une à une, ce qui provoquera une coupure de quelques minutes maximum par machine. Il est également possible que cette procédure itérative échoue et que nous fessions une procédure rapide avec coupure totale sur tous les serveurs.

Je suis contre!

Si cette intervention est trop problématique pour vous ou votre organisation, veuillez nous le laisser savoir dans les 24h pour voir si nous pouvons prendre des arrangements.

Notez également que le blog sysadmin sera mis à jour si l'intervention sera modifiée ou si nous avons des problèmes particuliers.