基於在Slurm叢集系統的建立開發環境不易，本課程著重用Singularity容器建立開發環境。以深度學習分散式訓練為例，在晶創25 (Nano 5)與台灣杉二號(Taiwania 2)GPU叢集系統實作。

教材網址: http://github.com/robinfang7/ddp_course

1. 國網中心的超級電腦

    (1) Nano 5 (Nvidia H100/H200 GPU cluster)

    (2) Taiwania 2 (Nvidia Tesla V100 GPU cluster)

    (3) iService 計算資源服務網

2. HPC Cluster Software

    (1) SLURM 任務調度

    (2) Lmod 環境管理

    (3) Singularity container 虛擬環境管理

         *Customized image打包客製化環境

3. 案例實作

    (1) Horovod

    (2) Pytorch DDP

    (3) DeepSeep