Koumbit Network Status

Le serveur de répartition de charge (rtr1-canix2.koumbit.net) a finalement été mis en ligne correctement. Il s'agissait d'une simple erreur de syntaxe qui le rendait non fonctionnel. Depuis ce soir, donc, le serveur principal (homere) est surveillé. Si une coupure survient, le système va rediriger les utilisateurs vers une page d'erreur plus instructive au lieu de boucler ou de refuser la connexion. Éventuellement, les serveurs secondaires prendront le dessus, mais ceux-ci doivent encore être configurés, ce qui devrait être testé au cours du mois.

Il est possible que cette nouvelle configuration occasionne certains problèmes, si vous voyez des nouveaux problèmes avec le service, n'hésitez pas à nous contacter.

Nous avons subi une courte (2h) coupure (2h30) ce matin dû au système de fichiers du serveur principal qui a soudainement décidé de devenir en lecture seule. Le service de courriel fut la principale victime du phénomène, qui a été rapidement (en 1h) mis sous contrôle par l'équipe technique. Un bref timeline:

• 08:01: erreur du système de fichier
• 08:30: premier personne qui le remarque sur IRC
• 09:00: mathieu se connecte à IRC et commence l'intervention (umount/sync de /var/alternc)
• 09:25: mathieu réveille antoine
• 09:50: on enlève /var/alternc du fstab et on reboot homere par le PDU
• 09:53: homere back, ping, on a remonté /var/alternc sans problème, tout ok
• 10:01: tout est de retour à la normale

Toutes les heures sont dans le fuseau horaire EDT/HAE (-0400). Notez que ce genre de problème pourra être plus rapidement résolu avec le système de redondance, que nous prévoyons toujours déployer fin août.

Updates:

• nouveau crash du filesystem, un fsck complet est lancé. (11:02)
• fsck fini, tout devrait être de retour (11:39)

Nous avons fait des tests aujourd'hui sur le système de quotas. Certains d'entre vous auront peut-être remarqué que certains courriels et sites ont eu des messages d'erreurs ce matin. Ces problèmes ont été causés par des tests effectués sur le système de quota qui a été activé par erreur. Ceux d'entre vous qui dépassaient leur quota on vu leur courriels rebondir (et dans certains cas leurs sites planter) durant quelques minutes, le temps que l'on désactive les quotas disques à nouveaux.

Sachez cependant que nous sommes maintenant en mesure de remettre les quotas en ligne et que certains sites dépassent largement ces quotas. Nous allons bientôt envoyer une annonce formelle à ce sujet.

Par ailleurs, certains correctifs ont été apportés récemment qu'il vaut la peine de souligner:

• Les liens de l'interface web pour les listes de discussions ont été uniformisés à https://listes.koumbit.net/ pour tous les hébergés. Ceci règle plusieurs problèmes avec cette interface, en particulier au niveau des nouveaux contrôles SSL de Firefox 3 ainsi que des listes hébergées sur des domaines ayant leur site web sur un autre serveur que Koumbit ou sur le wiki (http://upam.info/ pour un exemple)
• Certains crashes plus ou moins réguliers du serveur web sont maintenant chose du passé. Nous avions enregistrés 272 tels crashes, automatiquement réparés, entre le 7 décembre et le premier mai, date à laquelle le correctif (une simple correction à la limite de mémoire d'Apache) a été posée.
• La configuration MySQL a été à nouveau optimisée afin de parer à certains problèmes de performance qui ont affecté le serveur aujourd'hui.

Notez qu'il demeure certains problèmes de performance avec le serveur que nous tentons présentement d'adresser, principalement par le déploiement du système de répartition de charge précédemment annoncé. À ce sujet, nous en sommes encore aux tests du répartiteur de charge qui ne fonctionne pas comme prévu.

Notez aussi que nous allons bientôt nous doter d'un nouveau serveur de bases de données, le serveur actuel approchant de sa capacité maximale suite à un pic inexpliqué qui s'est amorcé il y a quelques semaines et ne s'est pas encore résorbé.

Hier, le comité sysadmin a élaboré un roadmap de l'élaboration du "load balancing" (répartition de charge) dans l'année à venir. Voici ce que nous prévoyons présentement:

• mars-avril et avant: réflexion et recherche
• avril:premiers test du répartisseur de charge "hoststated"
  • 17 avril: activation du parefeu au centre de données
  • fin (avril) mai: serveur secondaire de test
  • 7 juillet: hoststated fonctionnel sur le routeur. depuis ce moment, on voit des "microcoupures" apparaître quand homere plante
• (juillet) début juin: server de base de données dédié (demeter)
• (quelque part en route) peu de temps après: deuxième serveur de base de données en redondance. on peut maintenant perdre un serveur de bases de données et ramener les services dans les minutes qui suivent.
• fin (mai) juin: serveur secondaire en test (www1)
• fin juillet: serveur secondaire en beta (ceci mettra fin aux micro-coupures)
• mi août: serveur secondaire en production (ceci permettera une amélioration de la performance du service)
• début (juin) (juillet) septembre: serveur de fichiers dédié (ceci permettera de perdre un serveur web en gardant les services actifs)
• (août) fin septembre: deuxième répartisseur de charge en redondance (on peut maintenant perdre un répartisseur de charge)
• 2008-2009:
  • deuxième lien réseau dans le cabinet
  • AS
  • deuxième serveur de fichiers

Donc à l'été, Koumbit sera pratiquement complètement redondant pour les services d'hébergement. La seule chose qui ne sera pas redondante sera la connexion réseau dans le cabinet (la connexion jusqu'au cabinet, dans le centre de données, est évidemment redondante) et le serveur de fichiers (ce qui sera fait après le mois d'août 2008.

Notez aussi que le roadmap est en constante évolution, tout comme le plan architectural plus général, dans le wiki de Koumbit.

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA1

Bonjour,

English follows.

Nous avons finalement cédé au "racket" des certificats SSL et avons
acheté un certificat chez RapidSSL. C'est un certificat "wildcard" pour
*.koumbit.net et a donc été installé sur tous les services SSL déjà
existants. Ceci couvre le bureau (bureau.koumbit.net) mais aussi les
services de courriel.

Voici les empreintes du certificat:

MD5 Fingerprint=D7:F4:EA:C9:55:17:F6:6F:79:48:29:A5:22:B8:56:68
SHA1 Fingerprint=D6:B4:BD:B0:F3:D2:09:4C:DD:7E:AC:55:E7:AC:52:1D:0B:13:73:DC
Issuer: C=US, O=Equifax Secure Inc., CN=Equifax Secure Global eBusiness CA-1

Nous allons également bientot passer koumbit.org sous SSL, ce qui devra
vous donner des services SSL, sur demande.

%%%%

Hi,

We have finally conceded to the SSL certificate racket and we have
bought a "real" certificate from RapidSSL. It's a wildcard certificate
for *.koumbit.net and have therefore been installed on all the existing
SSL services. This covers AlternC (bureau.koumbit.net) but also email
services.

Here are the fingerprints of the certificate:

MD5 Fingerprint=D7:F4:EA:C9:55:17:F6:6F:79:48:29:A5:22:B8:56:68
SHA1 Fingerprint=D6:B4:BD:B0:F3:D2:09:4C:DD:7E:AC:55:E7:AC:52:1D:0B:13:73:DC
Issuer: C=US, O=Equifax Secure Inc., CN=Equifax Secure Global eBusiness CA-1

We will also switch koumbit.org itself to SSL, which should eventually
provide everyone with hosted SSL services, upon demand.

Stay tuned!
-----BEGIN PGP SIGNATURE-----
Version: GnuPG v1.4.6 (GNU/Linux)

iD8DBQFH7A41WGBzs0AjcC8RAvosAJ9/l21IbsdFCd8ckS6IIy97cTKhAwCeLCQv
hbAE6dz1oxREpPewsmRh+P8=
=M3Jb
-----END PGP SIGNATURE-----

La mémoire du serveur principal de Koumbit (homere) sera remplacée le 17 mars prochain. Une nouvelle carte gigabit sera également installée dans le serveur de base de données (mysql0 AKA mysql AKA remus) afin de régler un vieux problème de compatibilité. Cette intervention de maintenance vise à corriger les problèmes récents avec les serveurs qui affectent encore le service au niveau de la performance. Cette intervention aura lieu entre 20:00 et 20:10 et imposera une coupure totale des services de courriel et web.

Nous prévoyons également l'installation d'un nouveau PDU (pdu2-canix2) afin que les prochains serveurs installés bénéficient également de reboots à distance.

Finalement, nous allons terminer la configuration du routeur principal (rtr1-canix2), entre 20:30 et 21:00, ce qui pourra occasionner des coupures sporadiques sur tout le réseau.

Un rapport d'intervention détaillé est disponible sur le wiki de Koumbit: RapportsIntervention/2008-03-17 (accessible seulement aux membres de Koumbit). Voir aussi les annonces envoyées à hag et colo.

Une erreur système survenue vers 9h, vendredi le 7 mars 2008, nous oblige à intervenir d'urgence pour nous assurer de l'intégrité des données du disque dur sur Homere (le principal serveur web du système d'hébergement auto-géré, HAG). Pendant cette opération (fsck), les serveurs web (apache et apache-ssl), ainsi que les serveurs de courrier ne seront pas disponibles.

Le service devrait être de retour en ligne d'ici 15 minutes. Nous nous excusons pour les inconvénients.

Le matin du samedi 16 février 2008, de 9h30 à 10h30, les services web, ftp et courriel étaient inaccessibles suite à une panne du principal serveur auto-géré (homere). La cause de la panne est inconnue pour l'instant. Un technicien a dû se rendre sur place pour redémarrer le serveur.

Nous nous excusons pour les inconvénients et nous vous remercions de votre compréhension.

Une mise à jour de sécurité forcera un reboot d'urgence de homere dans les 10 prochaines minutes.

Cette vulnérabilité affecte toutes les plateformes Linux, voir cette annonce de Debian pour plus d'informations.

Mise-à-jour: romulus, marius et chronos ont également été redémarrés.