Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
pandoc:introduction-to-vsc:09_special_hardware:accelerators [2021/05/18 13:53]
goldenberg [Components on VSC-3+]
pandoc:introduction-to-vsc:09_special_hardware:accelerators [2023/05/17 14:36] (current)
msiegel
Line 1: Line 1:
 +====== GPUs available & how to use it ======
  
-====== Special hardware (GPUs, binfs) available & how to use it ====== +===== TOP500 List June 2020 =====
- +
-  * Article written by Siegfried Höfinger (VSC Team) <html><br></html>(last update 2020-10-04 by sh). +
- +
-====== TOP500 List June 2020 =====+
  
 <HTML> <HTML>
Line 27: Line 23:
 <!--slide 2--> <!--slide 2-->
 </HTML> </HTML>
-====== Components on VSC-3+ ====== 
  
-^Model                                                                                                           ^#cores  ^Clock Freq (GHz)^Memory (GB)^Bandwidth (GB/s)^TDP (Watt)^FP32/FP64 (GFLOPs/s)^ +===== Components on VSC-5 ===== 
-|<html><font color="navy"></html>42+51x GeForce GTX-1080 n37[1,2,3]-[001-006,001-022,001-026]<html></font></html>       |                |                          |          |                    | + 
-|{{.:nvidia-gtx-1080.jpg}}                                                                                       |2560    |1.61            |8          |320             |180       |8228/257            | +^Model ^#cores  ^Clock Freq (GHz)^Memory (GB)^Bandwidth (GB/s)^TDP (Watt)^FP32/FP64 (GFLOPs/s)^
-|<html><font color="navy"></html>4x Tesla k20m n372-02[4,5]<html></font></html>                                  |        |                |                          |          |                    | +
-|{{.:nvidia-k20m.png}}                                                                                           |2496    |0.71            |5          |208             |195       |3520/1175           | +
-|<html><font color="navy"></html>1x Tesla V100 n372-023<html></font></html>                                            |                |                          |          |                    | +
-|{{.:v100.png}}                                                                                                  |5120/644|1.31            |32         |900             |250       |14000/7000          |+
 |<html><font color="navy"></html>19x GeForce RTX-2080Ti n375-[001-019]<html></font></html>       |                |                          |          |                    | |<html><font color="navy"></html>19x GeForce RTX-2080Ti n375-[001-019]<html></font></html>       |                |                          |          |                    |
-|{{:pandoc:introduction-to-vsc:09_special_hardware:rtx-2080.jpg?nolink&200 |}} |4352|1.35              |11         |616             |250       |13450/420           | +|{{:pandoc:introduction-to-vsc:09_special_hardware:rtx-2080.jpg?nolink&200}} |4352|1.35              |11         |616             |250       |13450/420           | 
 +|<html><font color="navy"></html>45x2 nVidia A40 n306[6,7,8]-[001-019,001-019,001-007]<html></font></html>       |                |                          |          |                    | 
 +|{{ :pandoc:introduction-to-vsc:09_special_hardware:a40.jpg?nolink&200|}} |10752    |1.305           |48        |696      |300       |37400/1169     | 
 +|<html><font color="navy"></html>60x2 nVidia A100-40GB n307[1-4]-[001-015]<html></font></html>       |                |                          |          |                    | 
 +|{{ :pandoc:introduction-to-vsc:09_special_hardware:a100.jpg?nolink&200|}} |6912    |0.765           |40        |1555      |250       |19500/9700     |
  
  
Line 45: Line 39:
 <!--slide 3--> <!--slide 3-->
 </HTML> </HTML>
-====== Working on GPU nodes ======+ 
 +==== Working on GPU nodes Interactively ====
  
 **Interactive mode** **Interactive mode**
  
 <code> <code>
-1. VSC->  salloc -N 1 -p gpu_gtx1080single --qos gpu_gtx1080single +1. VSC->  salloc -N 1 -p zen2_0256_a40x2 --qos  zen2_0256_a40x2 --gres=gpu:2
  
-2. VSC->  squeue -u $USER+2. VSC->  squeue -u $USER
  
-3. VSC->  srun -n 1 hostname  (...while still on the login node !)+3. VSC->  srun -n 1 hostname  (...while still on the login node !)
  
-4. VSC->  ssh n372-012  (...or whatever else node had been assigned)+4. VSC->  ssh n3066-012  (...or whatever else node had been assigned)
  
-5. VSC->  module load cuda/9.1.85    +5. VSC->  module load cuda/9.1.85    
             cd ~/examples/09_special_hardware/gpu_gtx1080/matrixMul             cd ~/examples/09_special_hardware/gpu_gtx1080/matrixMul
             nvcc ./matrixMul.cu               nvcc ./matrixMul.cu  
Line 67: Line 62:
             ./a.out             ./a.out
  
-6. VSC->  nvidia-smi+6. VSC->  nvidia-smi
  
-7. VSC->  /opt/sw/x86_64/glibc-2.17/ivybridge-ep/cuda/9.1.85/NVIDIA_CUDA-9.1_Samples/1_Utilities/deviceQuery/deviceQuery+7. VSC->  /opt/sw/x86_64/glibc-2.17/ivybridge-ep/cuda/9.1.85/NVIDIA_CUDA-9.1_Samples/1_Utilities/deviceQuery/deviceQuery
 </code> </code>
 <HTML> <HTML>
 <!--slide 4--> <!--slide 4-->
 </HTML> </HTML>
-====== Working on GPU nodes cont. ======+ 
 +===== Working on GPU using SLURM =====
  
 **SLURM submission** gpu_test.scrpt **SLURM submission** gpu_test.scrpt
Line 83: Line 79:
 #  usage: sbatch ./gpu_test.scrpt           #  usage: sbatch ./gpu_test.scrpt          
 # #
-#SBATCH -J gtx1080      +#SBATCH -J A40      
-#SBATCH -N 1 +#SBATCH -N 1                           #use -N only if you use both GPUs on the nodes, otherwise leave this line out 
-#SBATCH --partition gpu_gtx1080single          +#SBATCH --partition zen2_0256_a40x2 
-#SBATCH --qos gpu_gtx1080single+#SBATCH --qos zen2_0256_a40x2 
 +#SBATCH --gres=gpu:                  #or --gres=gpu:1 if you only want to use half a node
  
 module purge module purge
Line 94: Line 91:
 /opt/sw/x86_64/glibc-2.17/ivybridge-ep/cuda/9.1.85/NVIDIA_CUDA-9.1_Samples/1_Utilities/deviceQuery/deviceQuery       /opt/sw/x86_64/glibc-2.17/ivybridge-ep/cuda/9.1.85/NVIDIA_CUDA-9.1_Samples/1_Utilities/deviceQuery/deviceQuery      
 </code> </code>
-<html><font color="navy"></html>**Exercise/Example/Problem:**<html></font></html> <html><br/></html> Using interactive mode or batch submission, figure out whether we have ECC enabled on GPUs of type gtx1080 ? 
  
 <HTML> <HTML>
Line 100: Line 96:
 </HTML> </HTML>
  
-====== Real-World Example, AMBER-16 ======+===== Real-World Example, AMBER-16 =====
  
 ^             Performance^Power Efficiency            ^ ^             Performance^Power Efficiency            ^
 |  {{.:amber16.perf.png}}|{{.:amber16.powereff.png}}  | |  {{.:amber16.perf.png}}|{{.:amber16.powereff.png}}  |
  
  • pandoc/introduction-to-vsc/09_special_hardware/accelerators.1621346030.txt.gz
  • Last modified: 2021/05/18 13:53
  • by goldenberg