Nouvelle offre R du CTIG: plus de mise à jour R disponible sur les clusters ?

Added by Tristan Kistler almost 2 years ago

Bonjour,

Je pense avoir mal compris la chose, mais une phrase du mail du 08/06/22 envoyé par Mehdi Belkacem à propos de la nouvelle offre R du CTIG m'étonne:
"R et RStudio restent disponibles sur dga20 et le cluster de calcul mais il n’y aura plus de montée de niveau des versions R et R studio, ni d'installation de nouveau package."

Est-ce à dire qu'en lançant des jobs en qsub sur les clusters, jobs qui lancent entre autres des scripts R, nous seront à l'avenir toujours figés sur les versions de R / packages actuellement installés ?

Je ne comprend pas ce choix, pour moi l'utilisation de Rstudio serveur et R sous forme de qsub sur les clusters n'a pas du tout la même utilité (l'un me sert principalement à développer, l'autre à produire), et la nouvelle offre R sur Rstudio server ne remplace ainsi en rien l'offre disponible sur les clusters.

Faisant d'ailleurs initialement partie du groupe d'essai du POC, je n'avais pas compris du tout cela comme ça.

Quelqu'un pourrait-il m'aiguiller sur ce point ? Sans doute ai-je mal compris non ?

Merci pour vos lumières,
Cordialement,
Tristan


Replies (4)

RE: Nouvelle offre R du CTIG: plus de mise à jour R disponible sur les clusters ? - Added by Thierry Coudert almost 2 years ago

Vous avez bien compris mais cela ne concerne que les noeuds du cluster non dédiés à la nouvelle infrastructure. En utilisant la classe sge redhat8q , vous aurez à disposition les mêmes versions de R que celles proposées sur Rstudio-server. Actuellement 3 noeuds du cluster sont utilisables par cette classe d'exécution.

RE: Nouvelle offre R du CTIG: plus de mise à jour R disponible sur les clusters ? - Added by Tristan Kistler almost 2 years ago

Bonjour,

Merci beaucoup pour votre réponse.

Concernant ces noeuds dédiés à R : comment y sont géré les packages ? J'imagine que les packages/versions installées par l'utilisateur lui-même lors de son utilisation de Rstudio Server n'y seront pas disponibles, mais qu'uniquement les packages préinstallés sur une version R de Rstudio Server y seront disponibles. Est-ce bien le cas?

Par ailleurs, il me semblerait très utile, pour valoriser le travail qui a été fait, que l'une des 4 sessions de Rstudio server soit gardée en phase avec la version utilisée par les clusters non dédiés (c'est à dire actuellement de figer l'option Rstudio 3.5.1), pour les utilisateur souhaitant utiliser R sur les autres clusters.
Ainsi, les utilisateurs concernés qui réalisent un certain nombre de jobs, en parallèles, sur les autres noeuds et font appel à du code R dans ces jobs auront tout de même une version de R (et des packages ?) sur Rstudio server équivalente à celle de ces clusters.

En effet, une des utilisation de Rstudio Server mise en avant dans cette nouvelle offre est également de pouvoir utiliser un environnement de R sur Rstudio server équivalent à celui utilisé sur les clusters. Or, si ceux-ci sont limités à un ordre de grandeur très réduit par rapport aux nombres de cluster disponibles par ailleurs, cela réduit considérablement la portée de ce nouveaux développement.

J'espère que ma remarque ne passe par pour une critique inutile, je trouve au contraire le travail réalisé remarquable et pense simplement sincèrement qu'une partie des utilisateurs utilisant fréquemment R sur les clusters ne puisse tiré réellement partie des avancée réalisées.

J'arrive peut-être après la bataille, car je n'ai pas assisté au(x) dernière(s) réunion(s) du POC, peut-être n'étais-je pas disponible ou ai-je raté l'invitation, et je vous prie de m'en excuser.

Bien cordialement,
Tristan

RE: Nouvelle offre R du CTIG: plus de mise à jour R disponible sur les clusters ? - Added by Ingrid David almost 2 years ago

Je partage les inquiétudes de Tristan sur le nombre de noeuds disponibles pour lancer nos jobs sous la même version de R que celle utilisée pour faire nos développements avec Rstudio server.

RE: Nouvelle offre R du CTIG: plus de mise à jour R disponible sur les clusters ? - Added by Mehdi Belkacem almost 2 years ago

Bonjour,

Comme indiqué par Thierry cela ne concerne que les nœuds du cluster non dédiés à la nouvelle infrastructure.
La nouvelle infrastructure utilise 3 nœuds dédiés avec la classe redhat8q, comme indiqué dans la documentation (voir Wiki)

"Vous pouvez soumettre des travaux en Batch via qsub ou qarray en utilisant la classe SGE redhat8q . Ces scripts peuvent être construits et soumis depuis la fenêtre "Terminal" de Rstudio"

Actuellement, pas de limite de temps d'exécution pour redhat8q

Comme indiqué dans notre 1ère message, il n'y a pas de soucis à se faire sur la surcharge des nœuds, car l’infrastructure reste évolutive, et si nécessaire nous ajouterons des nœuds afin que les conditions de travail soient les plus confortables que possible.

Au sujet de la version 3.5.1 ; celle-ci disparaîtra avec l'arrivée de la nouvelle version stable de R, comme décidé par le comité technique.
Néanmoins, sur dga20, les versions 3.5.0 et 3.6.2 resteront, jusqu'à qu'elles ne soient plus utilisées.

C'est une volonté assumée de notre part de ne plus maintenir R/Rstudio de DGA20, car nous ne voulons pas maintenir deux infrastructures similaires.

De plus, la question de monter de niveau (OS) des nœuds du cluster se pose, les nœuds du cluster sont sous redhat 6, incompatible avec les nouvelles versions de Rstudio, les nouveaux nœuds sont sous Redhat 8

Pour les packages, ceux installés par les utilisateurs seront bien sur disponibles sur le cluster, vous pouvez tester et nous faire un retour si vous avez des soucis.

Mehdi

(1-4/4)