Perturbations réseau 26/03/2006

[Trankill]

Nous venons de subir un nouveau problème généralisé sur un grand centre d'hébergement parisien.
Beaucoup de sites internet ont été perturbé en cette fin de matinée, entre 11h et 12h et nous n'y avons pas réchappé.
Le réseau a fonctionné en mode dégradé de 12h à 12h30 puis tout est revenu à la normale.
Nous attendons impatiemment d'avoir les explications de ce centre d'hébergement qui s'était singularisé il n'y a pas si longtemps que cela pour un problème apparament similaire.
Nous sommes désolés pour les désagréments causés, totalement indépendants de notre volonté.

[MEAT]

Une nouvelle panne générale sur le réseau électrique de RedBus a affecté la totalité des hébergeurs qui y sont installés. Après deux coupures EDF résorbées par le système de générateurs électriques de RedBus, la troisième a littéralement plongée RedBus dans le noir.

Actuellement, les installations fonctionnent grâce aux générateurs de secours. Une nouvelle coupure peut donc survenir à tout moment. Nous pourrons être contraints dans les minutes qui suivent à couper la totalité de nos serveurs afin de les préserver d'une coupure électrique sauvage pour qu'ils ne soient pas endommagés.

C'est une situation exceptionnelle, qui s'est produite déjà deux fois en quelques mois. Des mesures devront être prises rapidement étant donné que RedBus semble incapable de fournir un service électrique stable.

[Kevin]

Suite à la coupure, la base de données des services a quelques peu souffert. Nous avons dû restaurer une sauvegarde effectuée la nuit dernière.

Toutes les modifications apportées aux services (enregistrements, suppressions, modifications ...) entre 3h35 et 11h CET n'ont pas été prise en compte.

[DiaTriX]

Manque de sérieu ce RedBus...
A force, ils vont perdre leur clients

[Trankill]

Le réseau fonctionne actuellement en mode dégradé. Certains services ne sont pas disponibles (botstats par exemple) et d'autres ne sont pas pleinement opérationnels. (services Olympe en lecture seule)
Nous faisons notre possible pour reconfigurer/reinstaller les machines qui ont souffert de ces coupures électriques.
D'autres perturbations sont attendues ce soir et surtout demain.

[Anaelle]

Il font la grève contre le CPE eux aussi... *Bad joke*

[Trankill]

Une bonne partie des services réseaux sont revenus courant la nuit dernière. Je viens de relancer les services IRC (Themis, Gaia, ...) en fonctionnement normal, ils ne sont donc plus en lecture seule.
D'après nos informations, les problèmes ne sont pas réglés définitivement chez RedBus et de nouvelles interventions sur leurs équipements électriques sont à prévoir. Qui dit interventions, dit coupures électriques ...
Nous ferrons bien entendu notre maximum pour minimiser l'impact sur le réseau de ces coupures.

[BENHUR]

Je viens de relancer les services IRC (Themis, Gaia, ...) en fonctionnement normal, ils ne sont donc plus en lecture seule.

Cool, j'va pouvoir poser mes akick

Il est où le karma de RedBus, que j'y mette une tonne de [--] ?

[[PyRaMiD]]

Le courant EDF sera rétablit ce soir vers 20H, il faut s'attendre donc à des perturbations dans la soirée.

[Kevin]

Les services BotStats devraient refonctionner au plus tard en milieu de semaine.
Une sauvegarde des archives BotTools sera restaurée datée du 18 mars (vous aurez donc les 60j d'archives précédant cette date).

Seule les archives sont affectées, l'intégralité des autres données sont intactes.

Suite aux multiples coupures le disque dur n'a pas supporté, une réinstallation de la machine a été effectué cette nuit.

[Kevin]

Finalement, la restauration s'est déroulée relativement bien.

Les services BotStats & BotTools reviendront petit à petit dans la soirée.
Le service BotNews et dores et déjà de retour et semble fonctionner sans problème, n'hésitez pas à nous tenir au courant (moi & homer) des éventuels problèmes que vous rencontrez avec les services BotStats. Merci.

[Trankill]

Une nouvelle coupure électrique est donc bel et bien prévue ce soir à 20h. Plusieurs services et serveurs réseaux seront coupés bien avant afin de limiter les risques de dégats sur les machines.

[Kevin]

 Information RedBus 
Les onduleurs sont connectés. On se retrouve donc alimentés par les generateurs mais en étant protegé par les onduleurs. Les onduleurs rechargent pendant 10h. Demain soir, à 20h, le basculement vers EDF sera fait.
Au niveau des generateurs il y a actuellement 50 000 litres de fuel (le plein a été fait aujourd'hui à 17h). Demain matin 13 000 litres seront ajoutés (plus que la consommation prevue pour cette nuit). La situation reste comme ça jusque demain 20h.


 Information services BotStats
 Voir notre site pour suivre l'état d'avancement ... www.botstats.com

[Trankill]

Comme vous avez pu le constater, la phase de coupure d'hier soir s'est bien passée pour nous, nous l'avions anticipé. A priori, il reste un risque potentiel ce soir à 20h et donc nous restons en état de vigilance. Nous essaierons d'affiner la nature des risques durant la journée mais nous gardons en l'état actuel notre structure centrale "redbus proof"

[KaM]

Z'avez fait du bon travail

Si vous voulez vous reposer un peu, passez quelques minutes au bar, BENHUR vous servira un coup à boire