Nouveau service de machines virtuelles (VM) à la demande pour la recherche

La Division calcul et soutien à la recherche (DCSR) du Ci lance et gère désormais ce nouveau service.

Une machine virtuelle, qu’est-ce que c’est?

Du point de vue de l’utilisateur, une machine virtuelle a les mêmes propriétés qu’une station de travail rangée sous un bureau ou qu’un serveur posé dans un datacenter. L’intérêt de ce type de technologie est de rationaliser l’utilisation du matériel en divisant la capacité d’un serveur très puissant en portions utilisables par plusieurs utilisateurs simultanément.

Le nouveau service en bref

Objectif du service

Notre objectif est d’offrir une solution de remplacement pour éviter aux groupes de recherche de gérer l’installation de stations de travail et de serveurs dans leurs locaux. Il s’agit également de compléter l’offre actuelle plus adaptée à l’enseignement et à l’administration. De plus, comme l’utilisateur n’a plus à gérer la partie infrastructure, il est déchargé de la gestion des pannes éventuelles du matériel ou de la sauvegarde de données.

Nous proposons donc deux types de machines virtuelles:

  • machines virtuelles de type station de travail
  • machines virtuelles de type serveur.

Stations de travail virtuelles

L’idée ici est d’offrir aux chercheurs une station de travail accessible depuis n’importe où, même en dehors de l’UNIL, à travers un simple navigateur Internet. Selon la configuration choisie, il est possible d’avoir une simple utilisation bureautique, mais aussi une puissante machine capable de gérer de lourds calculs avec éventuellement de la visualisation de données nécessitant de bonnes capacités en termes d’accélération graphique.

Grâce à ce type de station de travail, l’utilisateur peut débuter une tâche depuis l’UNIL, puis retrouver cette même tâche depuis un autre lieu ou après une déconnexion plus ou moins longue, sans avoir perdu fenêtres ou environnement de travail.

Serveurs virtuels

Avec les machines virtuelles de type serveur, ce sont les groupes de recherche qui ont besoin d’héberger un service nécessitant de tourner en permanence qui sont visés. Typiquement, cela pourrait être une base de données de référence ou encore une application web qui seraient utiles à plusieurs membres d’un groupe ou d’un département, mais également une machine qui nécessite d’héberger des logiciels d’analyse spécifiques, plus ou moins gourmands en capacité de calcul. De nombreuses utilisations sont envisageables en fonction des besoins.

Comment choisir entre une machine virtuelle et une machine personnelle physique?

Il est préférable d’avoir un poste de travail personnel si vous:

  • l’utilisez tout le temps (24×7)
  • ne prévoyez pas de l’utiliser comme système multi-utilisateurs
  • êtes à l’aise pour le gérer vous-même
  • avez une stratégie de sauvegarde
  • ne craignez pas les pannes en cas de défaillance matérielle
  • ne prévoyez pas d’utiliser un cluster
  • pouvez l’héberger dans votre bureau.

Il est préférable d’utiliser les services informatiques centraux, et donc ce service si vous:

  • avez des besoins de calcul qui dépassent ce qui peut être fourni par une station de travail raisonnable
  • avez besoin d’un système multi-utilisateurs (un serveur)
  • avez besoin d’une haute disponibilité
  • n’êtes pas familier avec la configuration et la maintenance du matériel
  • envisagez d’utiliser un cluster dans un futur proche.

Comment choisir entre une machine virtuelle et le service de calcul haute performance (HPC)?

Le nouveau service de machines virtuelles permet de fournir un moyen de calcul puissant relativement simple à utiliser. Toutefois la puissance offerte par une VM est sans commune mesure avec ce que peut offrir le service HPC, et le prix d’utilisation du service de VM en cas d’utilisation intensive sera supérieur à celui du service HPC.

Ainsi le service HPC doit être privilégié si les conditions suivantes sont réunies:

  • votre application peut fonctionner sur un système Linux
  • votre application ne nécessite pas l’interaction avec une interface graphique
  • votre application n’a pas besoin des droits administrateur pour fonctionner.

De plus, il est préférable d’utiliser le service HPC dans les cas suivants:

  • votre application nécessite l’usage de GPU puissants
  • votre application a besoin d’un stockage rapide et/ou conséquent (à partir de 500 GB de données)
  • votre application est très consommatrice en temps de calcul et sait potentiellement tirer parti de l’utilisation de plusieurs nœuds de calcul simultanément.

Comment obtenir ces machines virtuelles?

De même que pour l’accès aux ressources de calcul HPC et de stockage, le responsable d’un groupe (PI) doit faire la demande de ces machines virtuelles dans le cadre d’un projet donné sur notre application de demande de ressources. L’application permet de demander plusieurs machines virtuelles de type station de travail ou serveur pour un projet donné. Par ailleurs, pour chacune des machines virtuelles demandées, il faudra définir les caractéristiques de cette machine en termes de CPU, mémoire, stockage, et également capacité graphique pour les machines de type station de travail.

La DCSR est à disposition pour assister dans le paramétrage de ces demandes et peut être contactée via un mail à helpdesk@unil.ch avec un sujet débutant par « DCSR: aide VM ».

Modalités d’utilisation

Une fois votre machine virtuelle provisionnée, l’utilisateur devient administrateur et a ainsi la possibilité d’installer toutes les applications nécessaires à ses besoins, en toute autonomie. En cas de problème, la DCSR est là pour en faciliter la résolution, tout comme elle peut être consultée dans des situations spécifiques plus ou moins complexes.

L’utilisation de ces machines virtuelles est soumise à une facturation avantageuse prenant en compte un coût fixe liée aux caractéristiques demandées mais également un coût lié à vos consommations de CPU et de stockage. L’application de demande de ressources fournit de plus amples détails sur les coûts liés à ces services. La facturation suit les règles du FNS et des bailleurs de fond européens. Ce qui implique que seuls les coûts pouvant être répercutés sur les demandes de financement sont facturés au utilisateurs (pour les spécialistes, il s’agit des coûts nommés U1 qui sont les coûts directs liés au projet et qui ne représentent qu’une partie des coûts réels).

Informations techniques

Ce service repose sur une infrastructure VSphere et sur la couche Horizon pour la partie station de travail. Chaque service (stations de travail ou serveurs) est basé sur 2 machines physiques ayant les caractéristiques suivantes:

  • 2 CPU AMD EPYC 7742 (64 cœurs par CPU, donc 128 cœurs par machine)
  • 2 TB de mémoire.

Ces machines physiques ont accès à un service de stockage basé sur la technologie Hedvig qui permet de gérer la déduplication de données ainsi qu’un système de cache en lecture très performant. Prochainement, nous allons également déployer un service de stockage à hautes performances et chiffré permettant ainsi de travailler sur de grosses quantités de données sensibles en toute efficacité. Vous pouvez aussi accéder au service dédié au stockage de données de recherche, afin de partager des données avec des collaborateurs au sein d’un même projet.

Finalement, les machines dédiées au service de stations de travail possèdent également des GPU Nvidia Grid de type T4 (principalement spécialisées pour accélération de l’IA/ML) et de type v100s (accélération pour le calcul CUDA).

Liens utiles

Illustration: © Ruslan Kholyaev | Dreamstime.com