Introduction à l’utilisation d’Occigen du cines

Le système d’exploitation est de type linux basé sur une BullX AE4 (Redhat 6.4).Le cluster comprend plusieurs nœuds de connexion pour les utilisateurs. Lorsque la connexion est établie, l’utilisateur se trouve sur un de ces nœuds. L’affectation des connexion se fait en fonction de la disponibilité des noeuds de login. Il peut arriver que vous ne soyez pas connecter au même moment sur un noeud identique.

Occigen comprend 34 racks :

• 27 racks de calcul (cf. description architecture)
• 7 racks assurant la connexion, les machines de service et de gestion des disques.

Le cluster comprend 50544 cœurs répartis sur 2106 nœuds (chacun disposant de 2 processeurs Intel 12-Cores (E5-2690 à 2.6 GHz).

La machine est découpée en deux. La moitité des noeuds dispose de 64 Go de mémoire, l’autre moitié de 128 Go utile soit plus de 202 To au total. Les racks de calcul sont connectés à 5 racks montés sur un système de fichiers partagés Lustre avec une capacité de 5 Po utile au total. Le refroidissement est assuré par un système haut rendement à eau tiède directement dans les noeuds (mode DLC Direct Liquid Cooling).

La comptabilisation de la consommation, en heures de calcul sur ce cluster, est basée sur le temps d’utilisation des ressources (temps ELAPSED) et non plus sur le temps CPU. 

Les systèmes de fichier sont de deux types. Le /scratch (utilisé pour le stockage des résultats des calculs est de type Lustre. Il dispose de plus de 5 Po de surface utile et d’une bande passante maximum qui dépasse les 105 Go/s.

Le /home est de type Panasas, il est utilisé pour stocker les codes à executer, il profite d’une surface de 260 tO et d’une bande passante de 10 Go/s.

Pour stocker les résultat de façon plus sure, chaque noeud de la machine accède au système de fichier /store. Celui-ci est aussi un système Lustre, mais avec des mécanisme de sécurisation avancés (stockage dupliqué et conservation sur bandes). Il doit être utilisé pour assurer la bonne conservation des résultats.

----------------------------------------------------

Introduction à l’utilisation d’Occigen 

https://www.cines.fr/wp-content/uploads/2015/02/demarrer_sur_occigen.pdf

 Avant de commencer, il vous faut votre login et votre mot de passe Occigen. Si vous n’avez pas encore votre mot de passe, appelez le service svp au 04.67.14.14.99. 

Connexion à Occigen 

 Si vous êtes sous Windows, lancez un client SSH (putty, kitty) pour vous connecter à l'adresse d'Occigen : occigen.cines.fr Dans les paramètres de Putty : Category/SSH/X11 cochez la case ‘Enable X11 forwarding’ afin d’activer le renvoi des fenêtres graphiques. 

 Si vous êtes sous Linux, ouvrez un terminal, et connectez-vous à Occigen : ssh –X login@occigen.cines.fr 

Vous arrivez dans votre repertoire /home/login sur un nœud de connexion. Sur Occigen il y a plusieurs nœuds de connexion qui servent à compiler le programme, à le soumettre sur les nœuds de calcul et à accéder aux fichiers de résultats. 

L’environnement d’Occigen 

Sur Occigen, il y a un système de modules. Le chargement d’un module permet de modifier ou de positionner des variables d’environnement (PATH, LIBRARY_PATH etc…). Pour voir les modules chargés : login@occigen:~$ module list 1) /opt/modules/modulefiles/oscar-modules/1.0.3 

Aucun module n’est chargé par défaut (sauf le module qui gère les modules)

Bibliothèques communes

Les bibliothèques disponibles peuvent être visualisées ou chargées via les commandes :

• module avail (pour lister ce qui est disponible)
• module load  (pour charger une librairie ou un logiciel dans votre environnement).
• module list (pour voir ce que vous avez déjà chargé).
• module purge (pour retirer un environnement déjà chargé).
• module show (pour voir le contenu du module)

-----------

Exécution et suivi d’un job

Il existe deux manières de lancer des travaux sur Occigen (ou ex-Jade)  : session interactive et session batch.

La première permet de se connecter aux nœuds de calcul via PBS pour ensuite pouvoir lancer des travaux en lignes sur ceux-ci.
La deuxième utilise des scripts PBS pour lancer des travaux en batch.

Attention : vous devez travailler dans votre espace /scratch !

Session Interactive

Pour avoir accès à une session interactive, la commande qsub -I est utilisé. Par exemple, pour avoir accès à 2 nœuds de calcul la commande suivante est utilisée :

>$ qsub -I -l select=2:ncpus=8:mpiprocs=8 -l walltime=00:05:00

Celle-ci permet de réserver, dans ce cas, 2 nœuds de calcul. L’utilisateur est connecté au premier nœud de calcul de la liste contenant les 2 nœuds réservés. Le temps maximum possible pour les sessions interactives est de 2 heures.

1. Exécuter un programme MPI :

>$ qsub -I -l select=2:ncpus=8:mpiprocs=8 -l walltime=00:05:00

Avec la librairie MPT , la commande suivante permet le binaire :
>$ mpiexec my_MPI_prog 

Pour cet exemple, le calcul sera exécuté avec 16 processus MPI.

2. Exécuter un programme OpenMP :

>$ qsub -I -l select=1:ncpus=8 -l walltime=00:05:00

L’exécution d’un binaire utilisant OpenMP se déroule de la même façon qu’un exécutable série excepté le fait qu’il faut spécifier le nombre de threads utilisés (nombre maximum de threads = 8) :

>$ export OMP_NUM_THREADS = number_of_threads

>$ ./my_openmp_prog

3. Exécuter un programme hybride (OpenMP / MPI)

>$ export OMP_NUM_THREADS = number_of_threads

>$ mpiexec ./my_hybrid_prog

L’exemple suivant concerne l’exécution d’une application avec 4 tâches MPI par nœud et 2 threads OpenMP par tâche MPI :

>$ qsub -I -l select=2:ncpus=8:mpiprocs=4 -l walltime=00:05:00

>$ export OMP_NUM_THREADS = 2

>$ mpiexec ./my_hybrid_prog

https://www.cines.fr/calcul/materiels/le-supercalculateur-jade/execution-et-suivi-dun-job/
------------
ref:
https://www.cines.fr/calcul/materiels/occigen/environnement/