Koumbit Network Status

English follows.

Il y aura quelques coupures jeudi prochain (le 29 mai) entre 15:00 et 15:30 (HAE) alors que nous alons redémarrer tous les serveurs physiques et virtuels pour être mettre à jour les noyaux Linux suites à la publication de problèmes de sécurité récents.

L'hébergement principal et les serveurs virtuels verront des courtes coupures (~3 minutes) durant la fenêtre de maintenance. Le routage et les machines en colocation ne devraient pas être affectées mais si vous voulez redémarrer vos serveurs, c'est un bon moment car nous aurons du personnel en place.

Les gens intéressés à visiter le centre de données ou leur matériel sont invités à se présenter à 14:00 au centre de données.

Notez finalement que cette opération nous permettera de mettre en place le nouveau serveur de bases de données qui sera bientôt complètement fonctionnel. Nous enverrons une autre annonce à ce moment.

English

There will be short cascading outages next thursday (may 29th) between 15:00 and 15:30 (EDT) as we reboot all servers and virtual servers to follow Linux security upgrades.

Main hosting and vservers should have short outages during the maintenance window (~3 minutes). Routing should not be affected in the main cabinet so colocated machines should not be affected, although it would be a good time for colocated machines to be rebooted as we'll have people on site.

People interested in visiting the datacenter or their hardware are welcome to show up at 14:00 at the datacenter.

Note that this operation will also provide us with a new database server, which will be racked but not yet fully operationnal. We'll send another announcement when ready.

Nous subissons présentement une attaque d'environ de 60mbps sur le réseau et sommes en discussions avec notre fournisseur de service upstream pour diagnostiquer et régler le problème. Le routage dans le cabinet principal est affecté.

Mise à jour: la situation est redevenue sous contrôle. La coupure aura duré de 17:44EDT à 18:21EDT pour l'ensemble du point de présence Canix2. Homere a été bloqué par erreur chez notre fournisseur jusqu'à 18:41EDT.

Nous avons fait des tests aujourd'hui sur le système de quotas. Certains d'entre vous auront peut-être remarqué que certains courriels et sites ont eu des messages d'erreurs ce matin. Ces problèmes ont été causés par des tests effectués sur le système de quota qui a été activé par erreur. Ceux d'entre vous qui dépassaient leur quota on vu leur courriels rebondir (et dans certains cas leurs sites planter) durant quelques minutes, le temps que l'on désactive les quotas disques à nouveaux.

Sachez cependant que nous sommes maintenant en mesure de remettre les quotas en ligne et que certains sites dépassent largement ces quotas. Nous allons bientôt envoyer une annonce formelle à ce sujet.

Par ailleurs, certains correctifs ont été apportés récemment qu'il vaut la peine de souligner:

• Les liens de l'interface web pour les listes de discussions ont été uniformisés à https://listes.koumbit.net/ pour tous les hébergés. Ceci règle plusieurs problèmes avec cette interface, en particulier au niveau des nouveaux contrôles SSL de Firefox 3 ainsi que des listes hébergées sur des domaines ayant leur site web sur un autre serveur que Koumbit ou sur le wiki (http://upam.info/ pour un exemple)
• Certains crashes plus ou moins réguliers du serveur web sont maintenant chose du passé. Nous avions enregistrés 272 tels crashes, automatiquement réparés, entre le 7 décembre et le premier mai, date à laquelle le correctif (une simple correction à la limite de mémoire d'Apache) a été posée.
• La configuration MySQL a été à nouveau optimisée afin de parer à certains problèmes de performance qui ont affecté le serveur aujourd'hui.

Notez qu'il demeure certains problèmes de performance avec le serveur que nous tentons présentement d'adresser, principalement par le déploiement du système de répartition de charge précédemment annoncé. À ce sujet, nous en sommes encore aux tests du répartiteur de charge qui ne fonctionne pas comme prévu.

Notez aussi que nous allons bientôt nous doter d'un nouveau serveur de bases de données, le serveur actuel approchant de sa capacité maximale suite à un pic inexpliqué qui s'est amorcé il y a quelques semaines et ne s'est pas encore résorbé.

(english follows)

Le dimanche 13 avril 2008, à 22h00, le logiciel de gestion du bureau de Koumbit (AlternC) a été mis à jour à la version 0.9.8. Cette version répare plusieurs bogues du côté administratif, mais offre également une amélioration au visuel (thème) du logiciel. Il y a également une nouvelle fonction pour les utilisateurs de Drupal 6: il est maintenant possible de facilement changer le mode du fichier settings.php lorsque ce dernier est placé en mode «lecture seule» (dans le gestionnaire de fichiers, cliquer sur la boîte associée au fichier, puis cliquer sur le bouton «permissions»). Plusieurs de ces améliorations ont été commanditées par le Réseau Koumbit.

AlternC est un outil de gestion web pour facilement gérer des services d'hébergement tels que les noms de domaines, les comptes FTP, les bases de données MySQL, les listes de diffusion Mailman et autres. Le logiciel a initialement été développé par des personnes issues de structures associatives ou d'entreprises telles L'Autre Net, Eitic, Koumbit, Octopuce, Neuronnexion et bien d'autres. AlternC est un logiciel libre distribué sous la licence GNU GPL. Pour plus d'information, consulter http://alternc.org.

English

On Sunday the 13th of April 2008, 22h00, the Koumbit web control panel (AlternC) has been upgraded to version 0.9.8. This version mainly fixes many administrative bugs, but also offers the user an improved visual presentation (theme). It also provides a new function for users of Drupal 6: when the settings.php becomes read-only, you may now go to the file manager and change the mode of the file back to read+write (check the box associated with the file, then click on the "permissions" button). Many of these changes were sponsored by Koumbit.

AlternC is a web control panel to easily manage services such as domain names, FTP accounts, MySQL databases, Mailman mailing-lists and more. The software was initially written by developers from groups and companies such as L'autre Net, Eitic, Koumbit, Octopuce, Neuronnexion and many others. It is distributed as Free Software under the GNU GPL license. For more information, visit http://alternc.org.

English follows.

L'intervention d'hier soir n'a pas donné les résultats escomptés. Nous sommes toujours à capacité réduite sur le serveur principal. La carte mère sera remplacée lundi à 15h00EDT (-0400). Il y aura donc coupure complète de services sur le serveur principal de 15h05 à 15h45, le temps de remplacer la carte maîtresse du serveur.

Le rapport d'intervention est disponible aux membres de Koumbit dans le wiki.

Yesterdays operations didn't yield the expected results. We are still in a reduced capacity on the main server. The motherboard will be replaced on monday at 15h00EDT (-0400). There will therefore be a complete service outage between 15h05 and 15h45, time during which the motherboard will be replaced.

L'intervention d'hier soir ne s'est pas exactement passée comme prévu. Plusieurs problèmes se sont manifestés:

• la RAM n'était en fait pas défectueuse, c'est la carte mère qui ne porte plus la RAM correctement
• le routeur principal (rtr1-canix2) crashe lorsqu'on déplace homere (qui est juste en dessous)

Le premier problème fait que nous devrons probablement remplacer le serveur homere en entier. Nous allons discuter avec notre fournisseur et vous annoncer la suite des évènements sous peu. Nous avons quand même réussi à améliorer la situation au niveau de la mémoire, amenant celle-ci à 3GB des 4GB originalement disponibles (soit 1GB de plus que le 2GB que nous avions depuis le 16 février). Ceci devrait améliorer la performance et la stabilité du service à court terme.

Le second problème est plus délicat: il faudra peut-être remplacer le serveur à nouveau, peut-être par une machine plus légère et simple en matériel (par exemple pas de pièces mobiles), moins coûteuse et moins gourmande en courant (pas évident!). En attendant, le routeur est considéré comme stable dans qu'on ne joue pas dans le cabinet.

Les coupures ont donc dûré environ 90 minutes de plus que prévu et nous avons dû rester au centre de données 3h30 au lieu du 2h original.

Le rapport d'intervention complet est disponible aux membres de Koumbit.

La vérification du disque sur Homere est maintenant terminée. Nous avons redémarré tous les services (apache, apache-ssl, ftp, courrier, etc.) et tout devrait être de retour à la normale. Un rapport d'intervention détaillé est disponible sur le wiki de Koumbit: RapportsIntervention/2008-03-07 (accès restreint aux membres de Koumbit).

Nous devrons intervenir physiquement au centre de données pour vérifier l'intégrité de la mémoire (RAM). Ceci se fera probablement dimanche soir et pourrait durer une heure.

Une panne est survenue sur le serveur de surveillance Nagios aujourd'hui. Le problème est relié à une mise à jour du noyau qui doit être opéré sur le serveur. Cette opération ne pouvant être faite à distance de manière sécuritaire, il a été décidé que le serveur serait redémarré mardi prochain à 16h, date à laquelle le serveur sera de retour en ligne.

Les services affectés sont:

• la page http://status.koumbit.net/
• Nagios: http://nagios.koumbit.net/
• la page d'état sur Koumbit.org

Ironiquement, la panne est survenue en tentant d'installer un nouveau service de notification d'urgence visant à mieux répondre aux besoins de nos usagers outre-mer.

Le matin du samedi 16 février 2008, de 9h30 à 10h30, les services web, ftp et courriel étaient inaccessibles suite à une panne du principal serveur auto-géré (homere). La cause de la panne est inconnue pour l'instant. Un technicien a dû se rendre sur place pour redémarrer le serveur.

Nous nous excusons pour les inconvénients et nous vous remercions de votre compréhension.

Une mise à jour de sécurité forcera un reboot d'urgence de homere dans les 10 prochaines minutes.

Cette vulnérabilité affecte toutes les plateformes Linux, voir cette annonce de Debian pour plus d'informations.

Mise-à-jour: romulus, marius et chronos ont également été redémarrés.