ESXi 6.7 et VXRail : optimisez votre bootbank

A l’occasion de la mise en oeuvre d’un nouveau cluster VXRail contenant des cartes accélératrices vGPU, nous avons été confronté à la fameuse limite de place sur le bootbank d’ESXi pré-7.0. Voici les optimisations proposées par Dell EMC qui nous ont permis de rajouter tous les VIB dont nous avions besoin.

Je ne vais pas vous faire un cours sur la gestion des drivers ESXi, d’autant que je suis loin d’être expert dans ce domaine, mais vous savez sans doute que ESXi 6.x charge ses drivers au démarrage depuis un espace disque contraint, le fameux “bootbank”, limité à 250 Mo. Autant dire que quand vous avez de nombreux drivers hardware, les vib de base, VSAN, NSX-T/V et que vous devez en rajouter pour d’autres fonctions (comme, au hasard, l’accélération vGPU nVidia), la place vient vite à manquer.

C’est donc exactement ce qui nous est arrivé récemment sur un tout nouvel environnement VXRail, fraîchement installé. Nous avions besoin d’ajouter un vib spécifique nVidia pour disposer de l’accélération vGPU sur ce cluster (les noeuds étant équipés de cartes Tesla V100). En plus des drivers intégrés fournis dans les images VXRail, nous avions déjà rajouté la couche NSX-T. Tout cela ne pouvait pas rentrer dans les anémiques 250 Mo disponibles.

Nous avons donc contacté Dell EMC pour avoir des pistes d’économie en matière de driver VXRail, sans casser ni le fonctionnement ni la gestion automatisée du cycle de vie intégré à la solution. La réponse du support a été rapide et efficace. On nous a très vite fourni la liste des drivers inutiles sur VXrail mais pré-installé (à partir de l’image standard VMware sans doute). Voici la listes des vib que vous pouvez envisager de supprimer sans risque :

Pour le SCSI, sauf exception exceptionnelle, vous pouvez sans problème supprimer tous ces vib (VSAN ne les utilise pas). Pour les cartes réseau, faites d’abord un tour via la commande esxfg suivante pour voir quel driver vous utilisez effectivement :

Ensuite, supprimez sans état d’âme tout le reste. Ici nous utilisons de l’Intel piloté via le driver ixgben. Cela nous a permis de retrouver la place nécessaire pour installer NSX-T et le VIB NVidia. Vivement ESXi 7.0 et l’extension de cet espace qui devient de plus en plus critique ;)

Pour rappel, voici les deux commandes pour retrouver la liste des drivers installé sur vos ESXi et les supprimer (n’oubliez pas de rebooter ensuite ^^)

Enfin, je ne peux que trop vous conseiller de lire ce billet VMware qui rentre en détail sur le partitionnement comparé de ESXi 6.x et ESXi 7.0.