vLab 2.0 : VSAN, NSX-T, 10 Gigabit, on se met bien !

Rappelez-vous, c’était en 2016, il y a 4 ans, quasi jour pour jour, je vous présentais, modestement, mon petit vLab basé sur des mac mini recyclés auxquels j’avais rajouté des adaptateurs Ethernet Gigabits thunderbolt 2. Ce petit “banc de test” s’est avéré très utile pendant 2 à 3 ans, mais force était de constater qu’il n’était plus adapté à mes besoins. Voici donc avancé le vLab 2.0 !

Objectifs du projet, financement

Bon, je vous l’avoue, il était toujours parfaitement adapté et suffisant … mais je voulais atteindre la barre du 10 Gigabit et du 64 Go de mémoire par hyperviseur. Geekerie ultime, une sorte de “vitesse ridicule” pour moi et surtout pour mes besoins. Alors voila, après quelques années d’argent mis de coté spécifiquement pour cela, j’ai enfin craqué ma tirelire et dépensé presque sans compter.

Le projet vLab 2.0 avait donc pour ambition de disposer d’une connectivité 10 Gigabit et de disposer de 3 machines disposant chacune de 64 Go de RAM, tout en restant dans un form factor contraint et surtout sans qu’il y ait besoin d’une climatisation et des murs antibruit au sein de mon sweet home. En gros, WAF mode enabled, quoi ^^. Je sais c’est très sexiste de dire cela d’autant que j’imagine qu’il doit y avoir aussi des geekettes vExpertes dans le monde, assez folles pour gérer un MAF du même type…

Accessoirement, il fallait aussi que cela rentre dans l’enveloppe que je m’étais fixé. Comme vous le savez, à part quelques “pub” ponctuelles, vBlog n’est pas sponsorisé et donc tout vient de ma poche. Forcément, cela restreint pas mal le budget il faut bien le dire. Malgré tout, vues les technologies que je souhaitais implanter – notamment le 10G – je ne pouvais pas espérer m’en sortir avec un montant global d’environ 1900 euros comme le précédent. J’ai donc tablé sur une enveloppe d’environ 5000 euros (100 euros par mois, plus de 4 ans tout de même).

Bon, je vous avoue tout de suite, j’ai un peu dépassé cette somme, mais finalement, pas tant que cela, vous verrez.

Réunion de cadrage et acquisition

Une fois le budget obtenu, il a falloir choisir la plateforme technologique. J’étais au départ parti sur des Mac Mini, encore, particulièrement bien supportés par VMware, mais le prix du Mac Mini récent et le peu d’annonces d’occasions disponibles m’en ont dissuadé. Il fallait trouver un autre socle. Comme je passe mon temps sur le blog de William Lam, VirtuallyGhetto, mon attention s’est rapidement tourné vers les Intel NUC. Ils avait quasi tout pour plaire : une empreinte réduite, une connectique riche, des processeurs puissants et des capacités d’extension importantes.

Ensuite, je voulais du 10 Gigabit, donc il me fallait un port d’extension capable de recevoir un adaptateur digne de ce nom. Au final, le choix s’est porté sur la plateforme Skull Canyon, disposant de ports Thunderbolt 3 et, comble d’allégresse, proposant aussi pas moins de 2 ports Gigabit Ethernet, quasi parfait pour pouvoir faire du NSX (un port dédié pour le NVDS). Pour le 10G, il fallait trouver des adaptateurs TB3 vers 10G, donc, mais William a publié un article spécifique sur ce type de connectique, donc c’était facile. Sonnet étant une marque que j’affectionne depuis longtemps, étant Mac User depuis plus de 20 ans, je me suis tourné vers la solution Sonnet 10G Solo.

Les choix étaient entérinés, j’étais prêt à acheter et construire !

Le build

Voici donc le matériel qu’il m’a fallu acquérir. Je vous ai aussi mis les coût d’achat, pour que vous puissiez évaluer chaque poste :
– Intel NUC : 800€
– Samsung SSD NVMe 970 EVO 1 To : 150€
– Samsung SSD NVMe 970 EVO+ 250 Go : 90€
– RAM Module 32 Go SoDIMM : 169€
– RAM Module 32 Go SoDIMM : 169€
– Sandisk Cruzer USB 8 Go : 10 €
– Sonnet 10G Solo TB3 : 200 €

Evidemment, étant donné que je voulais monter un cluster VSAN à partir de cette solution, il me fallait 3 noeuds identiques. Au final, chaque bestiole coûtant en gros 1590€, j’en ai eu pour 4770€ pour les trois machines complètes.

Il restait un problème de taille. Comment connecter les 3 adaptateurs Sonnet ? Là je vous avoue, j’ai pas mal galéré et j’ai testé pas mal de switchs d’entrée de gamme, sans trouver vraiment chaussure à mon pied. J’ai même eu le droit à la stupéfaction de tomber sur un switch 8 ports 10G de chez Trendnet, qui semblait pas mal au départ… mais qui s’est avéré ne pas supporter les jumbo frames !!! Du 10G, mais pas de jumbo, vraiment pitoyable de mon point de vue. J’en était presque arrivé à désespérer lorsque je suis tombé (grand merci au poto Fabien pour la référence !) sur un petit switch de chez Mikrotik, littéralement encensé par les geeks et linuxiens de tout poil. Pourquoi me direz-vous ? Tout simplement parce que non comptant d’être un switch 4+1 (4 ports 10G et un port 1G) minuscule et fanless, vous pouvez aussi vous en service comme un routeur puissant, de la même trempe qu’un pfSense, un référence dans le domaine. Je vous conseille fortement de vous renseigner sur les solutions Mikrotik : elles sont peu chères, très puissantes, et disposent d’un moteur logiciel, “routerOS” qui rivalise avec les meilleurs aujourd’hui.

Bref, ce petit switch était parfait pour mon besoin, pour 140€ de switch et 256€ de modules SFP+ 10G, je m’en tirais au total pour moins de 400€.

Au final, le budget total était donc d’un peu plus de 5150 euros.

Le run

Voici aujourd’hui le setup que j’ai construit avec les 3 NUC et le switch Mikrotik.

Le cluster 3 noeud dispose donc d’un espace VSAN d’environ 2,5 To full flash avec une connectivité 10G pour le sto mais aussi pour vMotion. Autant dire que ça dépote, comme vous l’imaginez. Les modules Sonnet et le switch chauffent pas mal, mais ils sont fanless, donc conçus pour, en tout cas j’imagine. Coté NUC, ça marche bien, même si je trouve les 2 ports ethernet Gigabit un peu capricieux en matière de négociation avec mon switch “principal” de la maison. Autant vous dire que globalement, le cluster est d’une dimension très suffisante pour tester à peu près tout ce qui passe, hormis NSX Intelligence, qui se paie le luxe de taper 64 Go de RAM tout seul…

J’ai installé, bien sûr, la couche NSX-T et utilisé tout cela pour de nombreux billets depuis la fin de l’année dernière. Si j’avais un employeur plus soucieux des environnements de test et de qualif, honnêtement, je proposerais d’acheter ce type de matériel… qu’est-ce que 5K€ pour avoir un cluster 3-noeud, VSAN avec 2,5 To, 196 Go de RAM sur le cluster et une connectivité 10G… franchement ^^

Accessoirement, je travaille pas mal en mode nested, quand je le peux, histoire de ne pas passer mon temps à tout reconstruire régulièrement quand je fais des bétise (oui, ça m’arrive, le plus souvent par inattention ^^).

Si vous avez le temps, la motivation et le budget pour pouvoir vous monter un vLab, je pense que ma solution est un bon équilibre entre les monstres comme ceux de Erik Bussink et VMware Fusion ou VMware workstation. Notez bien, dans la plupart des cas, quelques VM dans Fusion suffisent à évaluer un produit. Le principal avantage d’un vLab hardware c’est surtout de pouvoir expérimenter des solutions dont les fonctions sont précisément de travailler avec des clusters physiques ou de n’être utilisable que dans un environnement avec des ressources suffisante (NSX-T par exemple).

Et vous ? Vous avez des vlab aussi ? Partagez ça dans les commentaires !

EDIT du 9 Avril 2020 : alors, apparemment, vSphere 7 ne supporte plus les drivers AQtion/Aquantia pour les adaptateurs 10G :( :( … en espérant qu’une solution native puisse être trouvée ou fournie à terme, faites attention : restez en 6.7 pour vos ESXi en attendant. Merci à Florian pour l’info

EDIT du 8 Janvier 2021 : ça y est, vous pouvez, depuis quelques jours, migrer votre vLab en vSphere 7 si vous avez, comme moi, choisi d’utiliser des adaptateurs thunderbolt 3 et/ou des adaptateurs utilisant les chipsets feu-Aquantia désormais sous la houlette de Marvell. Les drivers sont disponibles, et comble du bonheur, sont certifiés VMware (disponibles ici). Attention, si comme moi vous tentez de les installer en utilisant le livecycle manager, visiblement, ils refusent de s’installer par cette méthode (pas trop regardé pourquoi encore). Utilisez donc la méthode manuelle via esxcli software install vib … petit reboot, et laissez la magie opérer.