一種基于Quattor的差異化機群自動部署方法第十六屆全國科學計算與信息化會議暨科研大數據論壇提綱機群自動部署工具Quattor的介紹Quattor的改進——差異化的自動部署方法Quattor在高能物理研究所的應用2023/2/52Quattor的介紹Quattor是一套集群系統自動化安裝和配置工具集通過自動控制PXE+Kickstart+DHCP實現操作系統的自動安裝通過編譯模版來生成節點所有信息的描述文件（xmlorjson）所有的模版都是是由pan語言來編寫模版文件保存在SCDB的版本控制服務器中節點安裝quattor的客戶端讀取xmlorjson文件對本機進行配置2023/2/53Quattor的特性所有節點的配置文件保存在有版本控制的數據庫（SCDB）可重新安裝：重新安裝的系統與原系統保持一致。改變節點的配置只需要更改配置數據庫即可（SCDB）可以控制節點從安裝到退役的整個過程。初始化安裝使用PXE+KickstartSCDB可以方便的版本回退。服務配置可以重復利用不同的節點可以共享一個服務的配置。便捷的維護。只需要修改一個配置文件就可以在所有節點上起做用。在部署應用前對配置文件進行一致性和語法的檢查，降低錯誤的配置對系統造成的危害。2023/2/54Quattor的主要組件Panc編譯器SCDBSvnbasedconfigurationdatabaseAII（AutoInstallationInfrastructure）ccmandncm-componentsSoftwarerepositorys2023/2/55Quattor的主要組件–Panc編譯器Panc編譯器把用pan語言編寫的模版最終生成xml或者json文件Pan是一種高層次的描述性語言支持function定義支持變量的定義變量種類很多，類似structure/class的定義支持變量類型的轉換Hierarchicalorganizationofinformation例子：

‘/hardware/network/interfaces/eth0/ip’=‘’2023/2/56Quattor主要組件-SCDBSVN版本控制的Pantemplates節點profiles不在svn下面，但是可以重新編譯。SCDB使用”ant”來操作純Java編寫，可以在所有平臺使用3各主要的操作Compile:本地編譯Deploy:配置的部署

在server端生成節點的profile文件僅在成功編譯并且localworkingdir和SVN服務器同步的情況下才能成功執行。update.rep.templates刷新軟件包列表的模板2023/2/57Quattor主要組件-AIIAII:AutomatedInstallationInfrastructurePXE(DHCP+TFTP)+Kickstart使用aii的命令‘aii-shellfe’來控制DHCP

:自動從節點profile文件獲取信息寫入dhcp配置文件TFTP:Kickstart:通過aii命令自動生成kiskstart文件Re-installation節點始終設置PXE啟動通過aii命令修改節點的狀態installorboot2023/2/58Quattor主要組件ccmandncm客戶端:ConfigurationCacheManager(CCM)進程：cdp-listend當服務器端有配置改動時，接收服務器端的notification然后下載新的配置文件(command‘ccm-fetch’)也可以手動執行這個命令’ccm-fetch’客戶端:NodeConfigurationManager(NCM)進程ncm-cdispdImplementsconfigurationchangesBasedon“components”(plug-ins)1componentmanages1“service”(NIS,accounts,Globus…)AcomponentisaPerlscriptwithaparticularAPI‘ncm-query’可以查詢顯示配置數據。2023/2/59Quattor主要組件componentsPackagedeployment:SPMANCM的組件對系統的安裝包進行安裝卸載管理基于”軟件包名-版本-arch”允許升級和降級檢查軟件包的依賴關系其它components每一個component可以實現對一類或者多累系統和軟件環境的配置已有的ssh,account,network,chkconfig,afsclt,pbs,…2023/2/510Quattor工作流——節點xml編譯過程2023/2/511檢查模版語法調用PANC編譯器節點profile模版確定節點類型配置類型Cluster配置模版確定操作系統版本Site

配置模版確定統一配置參數dns,ntp,repository,dhcp,Gridsiteinfo,…操作系統模版RPMsselect,versioncontrol,Kernelversion,Driversconfig,Systemtoolsselect.軟件定義模版配置根據節點類型配置硬件配置模版硬盤，網卡，cpu，…生成節點profile.xml文件Quattor工作流——節點自動安裝配置過程節點加電啟動通過pxe+DHCP獲取IP地址和啟動鏡像通過mac地址識別節點名稱獲取節點kickstart文件開始系統安裝安裝minimal系統安裝結束寫入ks-post-boot腳本調用aii命令改變安裝狀態重啟系統執行ks-post-boot腳本安裝quattor客戶端獲取節點xml文件安裝軟件包設定kernelversion配置系統環境配置軟件參數配置用戶和組信息完成系統配置重啟系統2023/2/512Quattor改進——原因支持的應用在不斷增多不同應用對軟件環境的不同需求傳統的實現方式維護模版數量多，模版不能重復使用2023/2/513Quattor改進——原先的模型2023/2/514

安裝服務器配置信息軟件安裝與配置管理,系統服務,網格服務

安裝包軟件包節點配置管理軟件包RPM包服務器軟件包組系統安裝與配置管理軟件緩存RPM包管理配置信息管理器機群4配置信息管理器機群3配置信息管理器機群2配置信息管理器機群1配置緩存節點1機群3機群2機群1Quattor改進——實現方法模塊化的設計方法。擴展配置信息管理器的功能并添加調用接口和模塊選擇器。開發出統一接口并且可以實現對各個模塊進行調用取舍。按照統一的接口標準對功能模塊進行改進。每一個模塊實現一個功能，模塊可以復用。所有開發使用Pan語言完成2023/2/515Quattor改進——實現方法2023/2/516功能模塊1功能模塊2功能模塊3功能模塊4模塊選擇器配置信息管理器調用接口機群1機群2機群3節點1Quattor改進——實現后的模型2023/2/517

安裝服務器配置信息軟件安裝與配置管理,系統服務,網格服務

安裝包軟件包節點配置管理軟件包RPM包服務器軟件包組系統安裝與配置管理軟件緩存RPM包管理配置信息管理器配置緩存節點1機群3機群2機群1Quattor在高能所的應用——網格系統網格系統的自動安裝和部署網格系統的升級網格CVMFS的自動部署dCache存儲系統的自動部署DPM存儲系統的自動部署2023/2/518Quattor在高能所的應用——集群系統計算節點的自動配置節點pbs-client的自動配置集群環境的自動配置autofs,symlinks,lustre,panfs,用戶和組的自動配置并行計算MPI集群的自動部署并行文件系統Lustre的自動部署并行文件系統gLuster的自動部署2023/2/519Quattor在高能所的應用——GPU節點的自動安裝和部署GPUopencl驅動的自動安裝GPU監控系統的自動安裝2023/2/520Quattor在高能所的應用—Quattor輔助工具批量添加節點模版工具。并行ssh的工具。2023/2/521Quattor在高能所的應用——正在研究云計算的自動部署。物