1、昆明超算分中心用戶試用說明昆明超算分中心采用的是曙光5000 系列的高性能集群計算機系統，其整體計算能力理論峰值為10T flops。2009 年 12 月完成安裝，現已投入試運行。本文主要介紹該計算機的整體的軟硬件環境，以及機器的使用方法。1 機器基本軟硬件環境1.1硬件部署昆明超算分中心采用 60 臺曙光刀片服務器、兩臺曙光 8 路胖節點為計算服務器， 10 臺機架式服務器作為 IO、登陸管理及網格服務器，網絡系統由千兆網和 Infiniband 高速網構成，存儲系統為 100T 的盤陣。具體安裝配置情況如下：1） 計算節點： Node1 至 Node060 為曙光 TC2600 刀片服務

2、器（ 4 路 4 核， 32G 內存），Node61、Node62 為 8 路 4 核胖節點，配置 128G 內存，供需要大內存的計算任務使用。共用 1024 個核供高性能計算使用，可提供 9 萬億次的理論計算能力。2） IO 節點（ Node63 至 Node68）：4 臺機架式服務器組成 Lastre 并行文件系統 IO 節點，連接 84T 盤陣；另有兩部服務器構成 HA 雙機節點，連接 16T 盤陣（ NSF 文件系統），為 Solexa 測序儀提供高可靠的 IO 傳輸保障。3） 管理及登陸節點： Node69 為用戶登陸節點； Node70 為管理節點，曙光配置的集群管理系統 Grid

3、view ，Platform 公司的 LSF 作業管理系統等管理軟件安裝部署在該節點上。5） 存儲系統：配置了 100T 盤陣，其中 84T 部署為并行文件系統Lustre（做完（做完raid6 加熱備后，剩余約加熱備后，剩余約 raid660T）， 16T 的空間部署為網絡文件系統NFS12T），掛載在雙機節點的 /Solexa 下，保證測序數據的實時高可靠傳輸。6）網絡配置：系統配置兩套網絡，千兆網和Infiniband 網。超算中心網絡以光纖與研究所內網連接。1.2系統軟件部署1）操作系統：計算節點和前端接入節點的操作系統均為 64 位 SuSE Linux Enterprise Ser

4、ver 10，提供了一個標準的 64 位 Linux 操作環境，用戶需要事先適當熟悉命令行方式的基本 Linux 操作，特別是文件目錄操作，并應該會熟練使用一種編輯器 (vi 等)。2）作業管理系統：采用Platform 公司的 LSF 作業管理系統。為保障計算系統有效利用眾多處理器核心所提供的計算能力，必須有一個統一的作業管理系統，統一地跟用戶交互，接收提交的各類計算任務，統一地分配計算資源，將各種各樣的用戶作業具體指派到節點上執行。對用戶來說不需要關心計算具體是在哪里進行的，系統會自動按照優化原則調度，這不僅方便了用戶的使用，而且提高了整個系統的利用率。作業管理系統是整個超級計算機最重要的

5、軟件環境之一，因此我們安裝配置了目前最常用的LSF (Load Sharing Facility) 作業管理系統。3）編譯環境：系統安裝的編譯器、并行環境以及數學庫見下表：分名稱路徑版本說明類intel 編/public/software/10.0.2包含 C, C+, Fortran77,編譯器intel3Fortran90 編譯器譯pgi 編譯/public/software/包含 C, C+, Fortran77,器7.1.4Fortran90 編譯器。包含器pgiacml 數學庫openmpi/public/software/openmp支持 infiniband和千兆mpi/open

6、mpi132-gn網，使用 mpicc 等 mpi 編-gnui1.2.8u譯器時調用 gnu 編譯器openmpi/public/software/openmp支持 infiniband和千兆MPImpi/openmpi132-in網，使用 mpicc 等 mpi 編-inteli1.2.8tel譯器時調用 intel編譯器openmpi/public/software/openmp支持 infiniband和千兆mpi/openmpi128-pg網，使用 mpicc 等 mpi 編-pgii1.2.8i譯器時調用 pgi編譯器Gotobla/public/software/目前已知的性能最

7、好的Gotoblsgnumathlib/libgoto-gblas 庫，使用 gcc 和 g77nu.aas1.26編譯lapack/public/software/使用 gnu 編譯器編譯的mathlib/liblapack gnulapack 庫_gnu.afftw2-f/public/software/fftw2.mathlib/fftw215-f數單精度loatloat-gnu/1.5學庫fftw3-f/public1/softwarefftw3.loat-gn/mathlib/fftw312-單精度ufloat-gnu/1.2/public/software/MKLintel/Com

8、piler/11使用 mpich.1/059/mklacml/public/software/使用 openmpipgi2 應用軟件部署2.1生物信息軟件部署：mpiblast150/public/software/mpiblast150clustW mpi/public1/software/mathlib/fftw312-float-gnu/hmmer mpi/public/software/intel/Compiler/11.1/059/mkl2.2化學計算軟件部署gauss03 /public/software/gaussdock6/public/software/dock6 openm

9、pi* 注：具體軟件作業提交方式請參考“ lsf training ”演示文稿中的實例。3 上機操作我們會給各位老師開通試用的賬號和密碼。請需要試用的老師發送您的信息：姓名、課題組、研究方向、主要使用的軟件、其他軟件需求等信息發送到 zhuanghuifu ，我將回復給您試用的賬號密碼。待最終的用戶管理辦法出臺后，如果您想繼續使用超算中心的計算環境，在簽署相關文件后，該試用賬號可轉為正式的用戶賬號。3.1登陸用戶在 windows 或 Linux 下，使用客戶端，通過 ssh 協議來鏈接。使用的客戶端大家登陸 ftp:/, 到“ /Incoming/Document incoming/ 超算相

10、關軟件及教程”目錄里面， （注：如果登陸 ftp 需要用戶名和密碼，請填寫 kibftpuser 密碼： kibftpuser2003，以后我們的一些軟件教程信息都會放在里面。）文本界面登陸 軟件： SSH Secure Shell Client、 putty。以 ssh client 為例輸入服務器IP 地址： 69用戶名： *密碼： *。即可登陸服務器終端進行命令操作。外單位用戶登錄：（ 1）登錄 17，然后 ssh 到 node69 之后與內網用戶一樣操作。（ 2）院網格用戶使用科院計算環境專用 putty 可登陸下載（ test則 Hos

11、t Name 輸入 testscgrid，選擇 SSH 連接，連接后輸入密碼，即登錄到默認的計算節點，即為昆明的節點：Last login: Mon Jan 18 12:22:40 2010 from 15/Notice/Welcome to SCE!/ support: haili/kibsce $登錄后的界面，如不是上述界面，請聯系我們。注：也可以使用其他的ssh 工具，不過要輸入我們網格的服務器地址17。（ 3）portal 模式，僅限于已經集成的軟件， 如 Gauss等。詳見“SCE PORTAL用戶手冊”文件傳輸以 SSH Secure F

12、ile Transfer Client為例。外網用戶登錄 17。內網登錄： 69。圖形軟件運行界面軟件： xmanager xstart以 Xstart 為例，啟動、 輸入 ssh IP 地址輸入 用戶名，密碼即可登陸在 xshell 下可以啟動圖形界面軟件：例如即可看到圖形界面編輯器。 Firefox3.2作業提交和軟件使用：用戶登陸后，是在登陸節點 node69 上，用戶可以在登錄節點查看目錄、編輯文件、查看作業、查看資源使用情況等。但是用戶不允許在登錄節點運行計算程序或前后處理程序，只能以作業形式向作業調度系統提交，由作業調度軟件安排程序的

13、具體執行節點。 （該節點功能為管理用戶登錄等事務，如果在 node69上直接運行程序，會造成該節點很忙，影響大家的使用）這里列出常用的幾個作業管理命令：bsub -W 360 -n 32 -q QN_Norm -a openmpi mpirun.lsf ./blast.sh Job <819> is submitted to queue <QN_Norm>. 參數說明 : -a openmpi 指定用 openmpi 運算-W 360 運行 360 分鐘- n 32需要 32 個 CPU-mpirun.lsf, 使用 openmpi 時的關鍵字-q QN_Norm指定

14、QN_Norm 隊列隱藏參數 :output.%J, 標準輸出文件 (包括相關錯誤提示 )bjobs 查看自己的所有運行任務情況；說明：輸入 bjobs 后，會列出當前用戶正在運行的所有作業，最左邊一列數字是每個作業的JOBID，一些其他命令使用的時候需要調用這個JOBID。bjobs -l 查看所有運行任務的詳細情況bjobs l JOBID 查看 JOBID 這個任務的詳細情況 bpeek JOBID 查看某任務屏幕輸出 bpeek -f JOBID 跟蹤查看某任務屏幕輸出bkill JOBID 終止某任務運行bkill JOBID1 JOBID2 JOBID3 終止多個任務運行 buse

15、rs 查看用戶賬號計算資源權限 bqueues 查看所有任務隊列的狀態bstop JOBID 臨時掛起某個計算作業，為其它計算騰出資源bresume JOBID 恢復由 bstop 掛起的作業執行 busers命令的屏幕輸出如下：MAX:用戶可用 core 數上限NJOBS: 已提交作業所需要的全部core 數PEND : 因種種原因正在隊列中等待執行的作業所需全部core 數RUN: 正在運行的作業所使用的全部core 數SSUSP: 系統掛起的用戶作業所使用core 數USUSP: 用戶自行掛起的作業所使用core 數RSV: 系統為你預約保留的core 數一個作業提交到隊列后，將有可能為以下的幾種狀態之一。PEND 任務在隊列中排隊等待RUN 任務正在執行PSUSP 任務在隊列中排隊等待時被用戶掛起SSUSP 任務被系統掛起USUSP 任務被用戶自行使用bstop 命令掛起DONE 作業正常結束， exit 代碼為 0EXIT作業退出， exit 代碼不為