Bonjour à tous. Rien de mieux qu’une petite campagne d’update VxRail durant ces journées chaudes de fin Juin, lorsque l’activité frénétique du delivery commence à se calmer un peu. Dans notre cas, il s’agissait de la mise à jour semestrielle de “notre monstre”. Même si en général tout se passe bien, nous avons eu cette fois-ci un nœud récalcitrant, qu’il a fallu un peu bousculer pour qu’il daigne suivre ses petits copains plus sages. Retour d’expérience.
Nous essayons de garder un rythme régulier sur notre très gros cluster 24 Nœuds, sans pour autant y passer notre vie au quotidien. Pour le coup, il s’agissait de passer de VxRail 4.7.111 à la dernière version en date avec vSphere 6.7, la 4.7.510. Un nœud en particulier nous a causé des petits soucis : l’ensemble des packages de mise à jour sont passés, à l’exception du driver iDSDM, chargé de la prise en charge des cartes SD sur lesquelles repose la distribution ESXi qui s’occupe de la fonction RASR de Dell (Rapid Assistant Self Recovery, plus d’infos ici, merci à Romain pour la correction, mes lecteurs sont formidables \o/). Malgré plusieurs tentatives, ça ne passait pas. Nous avons même essayé la fameuse procédure “Power Drain”, que certains connaissent peut-être, qui consiste à éteindre physiquement la machine, la débrancher électriquement et attendre plusieurs minutes avant de tout relancer (certains recommandent même d’appuyer sur le bouton power durant ce débranchement, pendant plusieurs dizaines de secondes). Malheureusement, cela n’a rien changé à la situation. En désespoir de cause, nous avons demandé de l’aide à Dell EMC.
Le plus drôle, surprenant, incompréhensible, magique même, a été leur réponse : faites un reset de la carte de management iDrac et re-testez. Alors, bon, techniquement, je ne vois pas trop la différence avec un power drain, mais force est de constater que cela à marché ! Une fois fait, la procédure d’update est arrivée à son terme et l’IDSDM a bien voulu passer de la 1.7 à la 1.9. Ne me demandez pas pourquoi, ce sont les mystères du hardware. J’ai éventuellement une piste personnelle, qui n’engage que moi bien entendu : un coldboot et un reset ne sollicite peut-être pas de la même manière l’EFI et il est possible qu’un reset de drac suivi d’un warm boot suffise à avoir la bonne séquence qui débloque la situation… débrouillez-vous avec ça ^^
C’était juste un petit tip léger et facétieux, qui pourrait vous être utile ponctuellement : dans le doute, reboot, voire, dans le doute reset la Drac, aussi. Sur un malentendu, ça pourrait marcher ^^
Bonnes vacances aux Juilletistes !
5
Bonjour, merci pour le retour d’expérience, pour en faire assez souvent des mises à jour VxRail les mises à jour firmware plantent “souvent” à cause de l’iDrac, donc en cas de doute, un petit reset de l’idRac et un retry et ça repart souvent :)
Petite précision, l’iDSDM ne contient pas l’ESXi mais le RASR, l’ESXi est porté par les disques durs intégrés (2 M2 pour les nouveaux VxRail)
Merci pour la précision sur l’iDSDM. Et le RASR c’est quoi ?
Le RASR contient l’image qui permet de reseter un noeud notamment et d’autres fonctions. On l’utilise par exemple pour upgrader des nœuds sortis d’usine ou les rester. Mais le boot se fait bien sur les disques M2.
D’après ce que je lit, le RASR ou Rapid Assistant Self Recovery, c’est effectivement pour ré-imager le noeud ? C’est ça ? Merci encore, en tout cas, Romain, je vais modifier le billet en conséquence !