Un jour sans email, c’est long comme un jour sans pain (comme on dit à Irancy) !!
Notre fournisseur de service a opéré le mercredi 1er juillet toute la journée à une maintenance ‘Hardware’, qui a occasionné un blocage de certains comptes de mail.
En espérant que ça n’aura pas de conséquences pour vous…
Ci-après les explications techniques :
—
Nous augmentons la capacité en lecture du filer afin de palier
aux surcharges. Techniquement paralant nous ajoutons les disques
en parallele dans les raid-1 afin d’avoir plus de capacité de
lecture sur ce filer.
Nous avons suspendu le filer dans le cluster afin d’accelerer
la syncronisation de données sur les nouveaux disques et d’avoir
toute la capacité de lecture disponible au plus vite.
On prevoit le retour à la normal avant midi.
Date: jeudi, 02 juillet 2009, 03:46
mercredi, 01 juillet 2009, 13:23
L’estimation de remise du filer en route: 18h00.
Ce n’est pas bon du tout. Mais la syncronisation étant en cours
si on remet en marche le filer dans l’état ça ne va pas permettre
le bon fonctionner ni syncroniser.
Par contre une fois que la syncro est terminé, les performances
devraient être au rendez vous (on aura 10 disques en paralele au
lieu de 6).
mercredi, 01 juillet 2009, 14:18
en juin on a une très forte augmentation de trafic email. du genre
+30% en 1 mois. certains filers ont du mal à acceper autant de
trafic en plus. d’autres ça va.
on a reperé 2 filers vraiment mal et on a décidé de faire de travaux
déjà cette nuit. d’autres vont suivre les nuits suivante.
c’est quoi le but ? les filers saturent en terme de lecture. vous
consultez vos emails et ça fait lire les filers. les disques des
filers sont à 100% de leur capacité. pour avoir plus de capacité
de lecture, on est en train d’ajouter de disques en plus en parallele
de disques déjà en place. ainsi vos lectures vont être repartis sur
10 disques en parallele au lieu de 6. on devrait presque double de
capacité de lecture de ces 2 filers.
mais avant d’en profiter il faut syncroniser les disques avec ceux
déjà en production et c’est ça qu’on a commencé à 1h du matin et
aurait dû se finir vers 8-9h ce matin. mais finalement ça prend
plus de temps.
c’est vraiment pas ce qu’on a l’habitude de faire. je suis vraiment
désolé. là le coup est parti et on ne peut pas revenir avant. il
faut laisser aboutir la syncro. pour les interventions suivantes
on va essayer de voir comment on peut faire ça avec moins
d’indisponibilitée.
tous les emails que vous recevez sont reçus et stocker sur les
serveurs de reception. dés que les filers sont up, les emails
vont être distribués en quelques heures.
mercredi, 01 juillet 2009, 14:47
scrub: resilver in progress for 13h19m, 70.14% done, 5h40m to go
mercredi, 01 juillet 2009, 17:29
scrub: resilver in progress for 16h2m, 80.80% done, 3h48m to go
mercredi, 01 juillet 2009, 19:00
scrub: resilver in progress for 17h32m, 88.67% done, 2h14m to go
mercredi, 01 juillet 2009, 19:44
scrub: resilver in progress for 18h16m, 89.92% done, 2h2m to go
mercredi, 01 juillet 2009, 20:28
il a beaucoup de mal à avancer.
scrub: resilver in progress for 19h0m, 90.36% done, 2h1m to go
mercredi, 01 juillet 2009, 21:34
scrub: resilver in progress for 20h6m, 92.13% done, 1h43m to go
mercredi, 01 juillet 2009, 22:20
scrub: resilver in progress for 20h52m, 95.53% done, 0h58m to go
mercredi, 01 juillet 2009, 22:59
scrub: resilver in progress for 21h31m, 95.92% done, 0h54m to go
mercredi, 01 juillet 2009, 23:18
scrub: resilver in progress for 21h50m, 96.24% done, 0h51m to go
jeudi, 02 juillet 2009, 00:44
scrub: resilver in progress for 23h16m, 97.64% done, 0h33m to go
jeudi, 02 juillet 2009, 00:58
scrub: resilver in progress for 23h30m, 98.38% done, 0h23m to go
jeudi, 02 juillet 2009, 01:23
scrub: resilver in progress for 23h55m, 98.61% done, 0h20m to go
jeudi, 02 juillet 2009, 01:52
scrub: resilver in progress for 24h23m, 99.02% done, 0h14m to go
une vraie catastrophe le temps de sync.
jeudi, 02 juillet 2009, 02:05
scrub: resilver in progress for 24h37m, 99.40% done, 0h8m to go
ça aura été une cata jusqu’au dernier octet à syncroniser !
jeudi, 02 juillet 2009, 02:19
scrub: resilver completed after 24h47m with 0 errors on Thu Jul 2 02:15:04 2009
fini.
la distribution des emails est en cours.
jeudi, 02 juillet 2009, 03:46
Les emails ont été distribués.