XtremIO 4.0.2-80 : la virtual XMS ne supporte plus les snapshots

Nous avons très récemment procédé à une mise à jour mineure d’une de nos deux baies XtremIO. Techniquement, nous sommes passé du firmware 4.0.1-41 au 4.0.2-80. Jusque là, rien de très compliqué ni risqué. Ceci dit, à la suite de cette mise à jour, la virtual VMX commune à nos deux AFA a aussi été upgradée en version 4.0.2-80 pour pouvoir prendre en compte cette dernière version. Il se trouve que suite à cela, nous avons remarqué que la vXMS se plantait tous les jours à des horaires assez réguliers. Après quelques investigations et une recherche sur le site d’EMC, je suis tombé sur un article spécifique qui explique ce dysfonctionnement : visiblement, depuis la 4.0.2-80, la virtual XMS ne supporte plus les snapshots ! Du coup, le service tombait à chaque sauvegarde VM réalisée par notre infra Avamar/DataDomain. Vous pouvez consulter l’article qui décrit – en deux lignes … – ce changement de comportement ici. Même si par construction, une XMS peut être reconstruite à partir de zéro sans souci et sans impact sur le fonctionnement des baies elles-mêmes, je suis quand même assez surpris de ce comportement d’autant plus qu’EMC ne donne pour l’instant aucune indication sur une

Contenu de l'article »

A propos du bug « smartd » des ESXi 6.0u2 sur EMC XtremIO

Je vous ai parlé il y a quelques jours d’un bug spécifique touchant les dernières version d’ESXi 6.0 jusqu’à la dernière version Update 2 et porte sur la gestion du protocol S.M.A.R.T. de contrôle prédictif d’erreurs sur les disques d’une baie. je vous avais indiqué à l’époque que j’irais à la pêche aux informations notamment pour XtremeIO. Je viens d’avoir la réponse pour les AFA d’EMC, sous forme d’un article du support EMC en ligne. En effet l’article numéro #000467750 précise que le bug smartd est bien potentiellement présent si des ESXi 6.0 sont connectés à des baies XtremIO dont le firmware est inférieur ou égal à 4.0.1. EMC recommande fortement le passage à la version 4.0.2-80, dernière en date à l’heure où j’écris ces lignes. Nous avons dors et déjà prévu de mettre à jour nos deux baies, de notre coté. En attendant, comme déjà évoqué, il est plus sage de tout simplement désactiver le démon smartd de vos hyperviseurs :

Contenu de l'article »

Quotidien XtremIO : déménagements et un peu de ménage

Cela faisait longtemps que je ne vous avais pas parlé de notre production XtremIO, qui est rentrée en phase de MCO depuis plus d’un an et demi maintenant (déjà ?!). Les machines sont actuellement dans une version relativement récente de leur firmware : 4.0.4-41 (voir le live de leur dernière mise à jour ici et la review associée, ici). Certes, le 4.0.2-80 est le plus récent en date, mais il n’apporte pas grand chose pour nous aujourd’hui, même si les différences entre les deux versions sont nombreuses (notamment l’ajout de Xbricks à un cluster a chaud, donc sans coupure de production). Tiens, d’ailleurs, pour ceux qui le souhaitent, voici le lien vers le PDF décrivant les releases notes du firmware en question, pour mémoire. Nous avons réalisé deux chantiers récemment sur ces machines. Je vous propose un petit résumé de ceux-ci ainsi que les conclusions que nous pouvons en tirer pour la suite.

Contenu de l'article »

Template Cacti pour XtremIO : la version 2.1 est avancée

Oyé braves gens, oyé mesdames, oyé messieurs, La nouvelle version de mon template Cacti pour XtremIO est disponible. Cette mise à jour estampillée « 2.1 » apporte le suivi de la bande passante globale de chaque cluster supervisé ainsi que la prise en charge des clusters équipés de 2 X-Bricks. Surtout, ne vous affolez pas pour vos impôts, notre vénérable institution ne s’est pas déjà achetée une telle extension 🙂 . C’est surtout grâce à un contact récent avec Niklas, un ingénieur issu d’un grand studio de développement de jeux, que j’ai eu l’occasion d’ajouter ces fonctionnalités complémentaires. Un grand merci à lui pour son aide ! Thanks a lot for your help Niklas 😉 Pour la partie bande passante, ça donne un graphique de ce type : Le template lui-même est disponible ici : http://vblog.io/downloads/xtremio_template_v2.1.xml L’archive tarball des scripts de polling via l’API REST d’XtremIO est disponible ici : http://vblog.io/downloads/xtremio_scripts_v2.1.tar.gz Amusez-vous bien !

Contenu de l'article »

XtremIO à l’épreuve des analystes

Alors que je faisais un petit tour sur ma timeline Tweeter, je suis tombé sur un retweet d’un gentleman du nom de Mikael (qui travaille chez Atlantis aujourd’hui, transfuge d’EMC que j’ai eu l’occasion de côtoyer à plusieurs reprises) citant la très récente étude de la DCIG, une des nombreuses sociétés d’analyse du marché de l’IT, portant sur le segment des All-Flash-Arrays, dont les conclusions sont pour le moins surprenantes en première lecture : XtremIO est relégué au onzième rang, en fond de tableau, loin derrière les solutions de HP et Netapp, notamment. Quoi comment pardon, qu’est-ce ?! Evidemment, avec les chiffres de vente insolents d’XtremIO aujourd’hui sur ce marché en pleine explosion, il n’en fallait pas plus pour que cela déclenche une avalanche de querelles de clochers et d’arguments plus ou moins objectifs. Mais, après tout, il convient d’analyser vraiment les critères qui ont présidés à cette étude avant de balancer le bébé avec l’eau du bain. Le billet d’annonce de la DCIG au sujet du rapport apporte malgré tout quelques orientations intéressantes quant aux reproches qui ont pu peser lourd dans le classement final d’XtremIO. Je vous propose de faire le tour des objectifs et fondements de l’étude,

Contenu de l'article »

Alerte critique sur XtremIO 4.0.x avec des hosts physiques Windows 2012

Je viens d’être averti par EMC (Merci à Benoit pour le forward !) d’un ETA, un EMC Technical Advisory, portant sur un risque critique de corruption de données sur les nouveaux firmware XtremIO 4.0. Ce risque vous concerne si vous provisionnez directement des LUNs vers des serveurs PHYSIQUES exécutant Windows 2012. A priori, pour le moment, les Windows 2012 R2 ne sont pas touchés (mais dans le doute, faite comme si …). Cette alerte est liée à la fameuse commande SCSI « UNMAP » qui permet à un host d’indiquer à XtremIO les blocks qu’il peut considérer comme libérable (plus utilisés par le serveur). Dans le détail, le problème est lié à une mauvaise interprétation par XtremIO (ou un envoi « buggué » par Windows, EMC ne détaille pas vraiment) de requêtes spécifiques produites par l’outil « Drive Optimizer » de Windows. La conséquence est une corruption potentielle des données sur les LUNs XtremIO présentées au serveur… pas cool 🙁 Dans la pratique, EMC recommande de procéder urgemment à une mise à jour mineure des XtremIO en 4.0.1-41 pour corriger le problème définitivement. Dans l’interval, la solution de contournement consiste à désactiver l’outil Drive Optimizer. Pour plus d’info, vous pouvez vous rendre directement sur la fiche

Contenu de l'article »

Regrouper ses clusters XtremIO sur une seule XMS

Update du 05/10/2015 : J’ai trouvé la cause de la disparition des tags, en fait ces outils d’organisation ne sont tout simplement pas stockés dans les contrôleurs mais uniquement dans les XMS. Donc si vous en avez des centaines, attention, rapprochez-vous d’EMC, il y a sûrement un moyen de les récupérer. Bon, je suis d’humeur facétieuse aujourd’hui, donc le ton sera sans doute plus léger ce soir 😉 Checklist de mise en production : on est entre grandes personnes ? check. Vous avez confiance en vous (et en moi ? juste un peu… ) ? check. L’aventure ne vous fait pas peur ? check. Bien ! Avant toute chose, je vous rappelle que les manipulations que je vais vous présenter peuvent tout à fait être réalisées via un SR au Remote Change Managment d’EMC. Ceci étant, cela ne va pas nous empêcher, ne serait-ce que par curiosité, de tenter la manipulation seuls 😉 Je vais donc vous présenter les divers étapes, que j’ai réalisé chez nous, qui permettent depuis XtremIO 4.0 de ne plus utiliser qu’une seule console de gestion XMS pour l’ensemble des clusters que vous possédez. Malgré mes avertissements, le risque est somme toute quasi nul sur votre

Contenu de l'article »

Review de XtremIO 4.0

Vous avez pu suivre récemment notre upgrade de XIOS 3.0 vers la nouvelle version 4.0. Après des préparatifs plus longs que prévu (nécessiter de redéployer de nouvelles XMS aux capacités plus importantes), cette phase critique d’upgrade majeure s’est très bien déroulée. En moins d’une heure, les deux controleurs et le logiciel de la XMS étaient mis à jour en 4.0.1, dernière release en date. C’est l’occasion désormais de faire le – nouveau – tour du propriétaire, car les changements et évolutions sont nombreux, autant du coté de la cosmétique et de l’ergonomie que sur le plan fonctionnel.

Contenu de l'article »

LIVE : mise à jour XtremIO 3.0 vers 4.0 (terminé)

Après l’annonce de « The Beast », XtremIO 4.0, par EMC à l’occasion de l’EMC World en Mai dernier, il nous tardait de profiter de toutes les avancées apportées par ce nouveau code sur nos baies de production (plus d’infos ici). Après validation, nous procédons en ce moment même à l’upgrade de notre premier cluster XtremIO. Je vous propose de vous un petit live de cette opération ! Nous partons donc d’XtremIO 3.0.3-11 aujourd’hui. Première information, il nous a été demandé de pré-déployer une nouvelle appliance XMS (version A.1.0) en prévision de cette mise à jour. En effet, les XMS historiques ne sont pas suffisamment bien taillées pour prendre en charge XIOS 4.0.1 et on peut le comprendre car désormais, une XMS est capable de gérer plusieurs clusters alors que ce n’était pas le cas auparavant. Nous avons donc procédé à l’import de l’OVA, puis nous avons dû procéder avec le support EMC à un changement d’appliance virtuelle de nos deux baies. Cela se fait via une procédure de recovery. En substance : vous arrêtez (power-off) physiquement votre ancienne XMS, vous lancez la nouvelle, vous la re-configurez pour qu’elle reprenne l’identité (IP, nom, FQDN) de l’ancienne, puis vous effectuez une procédure de

Contenu de l'article »

Un template Cacti pour superviser vos baies XtremIO

Mise à jour du 01/10/2015 : nouvelle version pour XtremIO 4.0 En cette période estivale, il est un moment ou les bureaux se vident, les lignes chaudes refroidissent et, par moment, Murphy et sa loi nous laissent un peu tranquille. C’est un moment privilégié pour passer du temps sur des aspects que l’on néglige souvent durant les 300 jours de frénésie de production restants. Vous qui êtes, en majorité je pense, des techniciens ou ingénieurs de production, vous devez sans doute savoir de quoi je parle 😉 Ce début Août m’a permis de trouver enfin le temps de formaliser et structurer un peu les indicateurs Cacti que j’ai pu mettre en oeuvre pour superviser et suivre nos nouvelles baies XtremIO. Voici donc l’aboutissement (version 1 😉 ) de ce travail : un template Cacti complet pour la supervision XtremIO.

Contenu de l'article »