État : Hyperviseurs et SAN à jour.
Date : Samedi 29 avril 2017
Admins impliqués : Loïc Carr, Bruno Mateu, Ayoub Boudhar, Paul Dubot, JB Valladeau, Hugo Ludmann
But : Mise à jour du SAN et des hyperviseurs
État des lieux avant : SAN en retard de plusieurs versions (La dernière mise à jour datait de 6 mois), mais aussi pour les hyperviseurs (PVE).
État des lieux après : SAN en retard d'une seule version mineure, Hyperviseurs à jour.
Machines/Services touchés : Nikita, Camille, Proxima, Sanizator. (Et bien évidemment toutes les VMs)
Détail des modifications :
9h30 : Ouverture du local i11 et début des opérations
Étape 1 : (Préparatifs)
Travaux sur le LDAP secondaire (mise à jour du LDAP de Rennes)
Extinction de toutes les VM non-critiques sur les 3 hyperviseurs
Étape 2 : (mise à jour du SAN)
-Extinction de toutes les VMs -Extinction des Hyperviseurs -Mise à jour du SAN (Une dizaine de minutes, nécessite un redémarrage.)
Étape 3 : (Mise à jour des hyperviseurs)
Mise en service d'Irulan et de Pegase, puis le container docker du proxy sur Pegase. (Nécessaires à la màj)
Mise à jour des packets des hyperviseurs.
Étape 4 : (Migration des VM sur le Raid 10)
Transfert des VMs vers le raid10, des plus critiques aux moins critiques (pour un retour a la normale le plus rapide possible)
Rallumage progressif des VMs
Étape 5 : (Tests)
Check des outils admin du ResEl.
- Icinga : interface web renvoie une page blanche. (Problème réglé, #152)
- Check des services utilisateur.
- Test de l'envoi de mail au support.
16h30 : Fermeture du local i11
Problèmes rencontrés :
Le LDAP de Rennes était désynchronisé, Loïc a du forcer la synchro en supprimant les fichiers du LDAP, mais ça a pris trop de temps, même en prenant un dump du LDAP Brest et en essayant de l'ajouter avec slapdadd, ce qui a provoqué un petit retard sur l'opération.
L'authentification RADIUS a été bloquée pour un moment, un changement de LDAP utilisé et un redémarrage a résolu le problème. Il y a eu presque une heure de downtime Wi-Fi.
Tests :
- Pas de mails supports après une semaine ?
Évolutions futures :
- Une meilleur configuration du LDAP au niveau de la redondance.
- Une meilleur redondance au niveau du RADIUS.