Home ECS GeoDrive : le couteau suise de l'archivage S3 ?
Post
Cancel

ECS GeoDrive : le couteau suise de l'archivage S3 ?

Nous avons engagé en 2022 une très grosse mise à jour de notre plateforme Entreprise NAS Isilon. Historiquement, comme beaucoup de clients Dell EMC, nous utilisions Isilon pour l’ensemble de nos données chaudes et froides en mode File (NFS et CIFS principalement). Afin de pouvoir trouver un juste milieu nous travaillions uniquement avec les SmartPools pour placer nos données sur des noeuds ayant le coût au To le plus intéressant. Lors d’une grosse campagne de redesign de notre solution d’archivage et File, nous choix s’est finalement porté sur une approche hybride disposant toujours d’Isilon en frontal NAS (CIFS, NFS, ftp etc.), mais cette fois-ci, épaulé par une solution haute densité basé sur le stockage objet et son accès pratiquement standard de fait, S3 : ECS aka Elastic Cloud Storage.

De fait ces deux solutions apportent le meilleur des deux mondes dans le stockage non structuré : un NAS Isilon pour les données chaudes avec beaucoup de fullflash et de bonnes performances mais désormais également le fameux ECS pour les données froides basées quasiment exclusivement sur une architecture haute densité de disques à plateau.

Jusqu’à il y a peu, ECS n’était envisagé chez nous qu’en cluster d’archive en deuxième rideau, avec l’aide de la fonction “CloudPool” d’Isilon. Celle-ci permet de transférer toutes les données file respectants certaines règles spécifiques vers ECS et ne laisser qu’une empreinte (un stub) du fichier original sur Isilon. Evidemment, le protocole S3 gagnant du terrain même dans le monde IT traditionnel depuis quelques années, cela nous donnait aussi la possibilité d’anticiper l’avenir et envisager de fournir un service S3/ECS performant aux applications compatibles.

Sauf tout cela s’est accéléré récemment. Nous avons été confronté à un problème épineux (ça mériterait un rognotudju rien que pous ça, un jour peut-être) : une application spécifique et critique chez nous, stockait depuis des années des données sur Isilon en mode CIFS, mais lors de la bascule sur le nouvel environnement, impossible de faire fonctionner celle-ci avec notre nouveau NAS. Après 3 ou 4 jours quasi non stop, force était de constater : le comportement du nouvel Isilon ne plaisait pas à l’application en question (impossible de savoir pourquoi, malgré les milliards de tests réalisés par nos équipes). L’appli en bois se contentait de … crasher lamentablement, sans log ni vraiment de raison valable.

Evidemment, rester dans cette situation n’était pas une option pour nous.

C’est là que déboule, telle une fusée : GeoDrive. On m’en avait parlé il y a quelques mois avec Dell EMC pour un futur test, mais vu la panade dans laquelle nous étions, il était temps de creuser le sujet rapidement. Et hop …. un petit téléchargement sur notre compte Dell EMC et lançons-nous dans les premiers tests.

Ce soft fourni par Dell EMC reprend en gros le comportement de DropBox, sauf qu’au lieu de conserver systématiquement une copie de la donnée localement et la synchroniser à distance sur un repository S3 (ECS typiquement), elle est capable de complètement externaliser les fichiers sélectionnés et n’en laisser qu’une empreinte, à la manière d’Isilon. Vous installez le logiciel sur n’importe quelle machine windows (server et station autonome), ensuite vous déclarez votre bucket S3 ainsi qu’un répertoire de base à partir duquel les données vont être synchronisées. Enfin, charge à vous de définir les règles de réplication locale ainsi que d’externalisation complète vers la destination S3.

Les possibilités sont très nombeuses en matière de filtrage de la source. Vous pouvez notamment définir des politiques différentes en fonction de l’extension des fichiers, de leur date de dernier accès et/ou modification/création, vous pouvez même ne conserver lesdits fichiers que sur votre archive S3/ECS et qu’ils disparaissent complètement de votre espace local.

A l’instant, je n’ai pas encore fait le tour tellement il y a de manières d’exploiter ce “dropbox” on premise avec notre ECS. En tout cas, cela semble bien parti pour résoudre notre soucis primaire avec notre application codée avec les pieds ^^. L’application se comporte pour l’instant tout à fait normalement malgré les échange réguliers entre ECS et le share CIFS présenté (backé par ECS au niveau du serveur NAS lui-même)

Je vous en dit plus dans quelques jours/semaines dès que cette solution aura passé le filtre de nos processus de mise en production et qu’elle aura eu l’approbation de toute le monde. J’attends également quelques confirmation de Dell EMC en terme notamment de maintenabilité, feuille de route et support intégré avec ECS. En théorie, en effet, je ne vois aucune limitation à l’utiliser directement avec un autre fournisseur S3 (comme Isilon au passage ^^) qu’il soit OnPrem ou en SAAS.

[gallery columns=”3” size=”large” ids=”8229,8233,8231”]
[gallery columns=”4” size=”large” ids=”8232,8230,8234”]

This post is licensed under CC BY 4.0 by the author.