具身智能機器人機器人及夾爪硬件配置、環境安裝與運行1主要內容23UMI硬件配置UMI軟件環境部署全流程DiffusionPolicy網絡訓練1UMI硬件配置UMI硬件配置4UMI1.協作機器人2.夾爪3.視覺相機4.上位機協作機器人5UR5協作機器人末端執行器6大寰二指夾爪PGI-140-80完整組合億佰特工業級RS485/232轉以太網串口服務器模塊視覺相機7Goprohero9魚眼鏡頭擴展接口電池及充電器完整組合MicroHDMI轉HDMI轉接線綠巨能HDMI視頻采集卡microsd卡上位機8推理（部署使用）訓練1.只需可以安裝環境并運行eval_real.py，無其它硬性要求；2.USB接口：連接相機；3.RJ45網口：連接機器人。1.顯存要求至少24G；2.增加配置只是增加訓練速度，對效果無影響；3.可租用云服務器。3DconnexionSpaceMouseWireless無線3D鼠標2UMI軟件環境部署全流程1.機器人配置10使用

UR5

示教器獲取機器人IP地址：打開eval_robots_config.yaml配置文件，更新robot_ip；設置負載參數，在UR5示教器上，進入Installation

>Payload

菜單；設置質量（mass）為1.81kg設置重心（centerofgravity,CoG）為(2,-6,37)mm，分別對應X、Y和Z軸的坐標評估腳本（evalscript）將自動設置TCP（工具中心點），因此無需手動設置。TCP標定11TCP，又叫工具中心點。機器人出廠設定的TCP在J6軸法蘭正中心;tcp校準其實就是通過多次測量計算出工具頂點相對于工具法蘭盤的位置;TCP的設置方法有三種：1

三點法2

六點法3

直接輸入法2.夾爪配置12獲取夾爪IP地址：打開eval_robots_config.yaml配置文件，更新gripper_ip；更改wsg_binary_driver和wsg_controller。3.相機配置13安裝GoProLabs

硬件；

解壓拷貝至microSD卡插入相機即可3.相機配置14設置日期和時間（推薦使用App）；掃描QR碼。相機內參標定15相機內參（IntrinsicParameters）：內參是描述相機內部屬性的參數，包括焦距、主點（光學中心）坐標、畸變系數等。內參通常在相機標定時確定，因為它們通常對于特定相機型號是固定的，不隨時間變化。相機外參（ExtrinsicParameters）：外參是描述相機在世界坐標系中的位置和姿態的參數，通常包括旋轉矩陣和平移向量。外參在不同的相機位置或拍攝時刻可能會發生變化。

針孔相機投影模型相機內參標定16使用OpenImuCameraCalibrator（openicc）標定相機內參得到gopro_intrinsics_2_7k.json拉取dockerimagedockerpullchicheng/openicc:latest運行dockercontainer，將標定數據集拷貝至相同文件夾sudodockerrun-it--rm-v/home/yejiangchen/Downloads/GoPro9:/datasetchicheng/openicc:latest運行標定程序cd/OpenImuCameraCalibratorpython3python/run_gopro_calibration.py--path_to_build/OpenImuCameraCalibrator/build/applications/--image_downsample_factor=2--camera_model=FISHEYE--checker_size_m=0.0246--path_calib_dataset/dataset/dataset3/相機內參標定—數據采集17將標定板.pdf打印到A4紙上，貼在堅硬物體上（如墻面），測量黑色方塊的尺寸（以米為單位）（如0.021m）；錄制3個視頻：1.首先是校準相機，緩慢地繞著板子移動，不希望運動模糊或滾動快門影響結果，錄制約20-30秒；2.將GoPro放在地板或桌子上，然后按下錄制按鈕，將其放置在那里10-20秒，不要觸碰它，此視頻將用于估計當前的IMU偏差；3.最后錄制一段視頻。再次錄制標定板，確保光照條件良好；運動所有3個軸->3個平移和3個旋轉；移動快，但不要太快（運動模糊）；確保標定板大部分可見；創建以下文件夾結構：UMI實現方法：演示接口設計及策略接口設計

182.演示接口設計利用收集到的演示數據，可以訓練一個視覺運動策略，該策略接收一系列同步觀測(RGB圖像、6個自由度的末端執行器姿態和抓手寬度)，并產生一系列動作(末端執行器姿態和抓手寬度)。PD1:Inference-timeLatencyMatching（推理時的延遲匹配）關于如何處理不同硬件設備之間的延遲差異，以確保輸入數據的同步性。PD1.1:ObservationLatencyMatching（觀察延遲匹配）PD1.2:ActionLatencyMatching（動作延遲匹配）UMI實現方法：演示接口設計及策略接口設計

192.演示接口設計利用收集到的演示數據，可以訓練一個視覺運動策略，該策略接收一系列同步觀測(RGB圖像、6個自由度的末端執行器姿態和抓手寬度)，并產生一系列動作(末端執行器姿態和抓手寬度)PD2:RelativeEnd-EffectorPose（相對末端執行器位置）關于如何表示和處理末端執行器（EE）的位置和動作，以提高策略的魯棒性和跨硬件平臺的通用性。PD2.1RelativeEETrajectoryasActionRepresentation（相對末端執行器軌跡作為動作表示）PD2.2RelativeEETrajectoryasProprioception（相對末端執行器軌跡作為本體感知）PD2.3RelativeInter-gripperProprioception（相對夾具間的本體感知）UMI框架中使用的不同動作表示方法的對比，包括相對軌跡（Relativetrajectory）、增量動作（Deltaaction）、以及絕對動作（Absoluteaction）。3DiffusionPolicy網絡訓練多卡訓練

21Accelerate是為PyTorch用戶設計的庫，旨在簡化分布式訓練和混合精度訓練過程。accelerateconfigcd~/.cache/huggingface/accelerategeditdefault_config.yamlacceleratelaunchtrain.py--config-name=train_diffusion_unet_timm_umi_workspacetask.dataset_path=example_demo_session/dataset.zarr.zipAutoDL大模型訓練方案

22AutoDL平臺Pycharm使用教程AutoDL平臺4進階提升相機內參標定

步驟(自制docker版)24使用OpenImuCameraCalibrator（openicc）標定相機內參得到gopro_intrinsics_2_7k.json運行環境：4.5.0<=OpenCV<4.7.0，Ubuntu18.04、20.04和22.041.4.5.0以上的OpenCV版本中包含contrib模塊，滿足Aruco碼檢測需求；2.在4.7.0及以上的OpenCV版本中，對ArUco的代碼做調整，刪去create函數。會出現如下報錯：‘create’isnotamemberof‘cv::aruco::DetectorParameters’相機內參標定

步驟(自制docker版)251.下載安裝OpenCV4.5.4，流程按照之前課程中介紹依次安裝Eigen3、Pangolin、Boost、OpenCV；2.安裝ceres2.1；gitclone/ceres-solver/ceres-solvergitcheckout2.1.0mkdir-pbuild&&cdbuild&&cmake..-DBUILD_EXAMPLES=OFF-DCMAKE_BUILD_TYPE=Releasesudomake-jinstall3.安裝TheiaSfMfork.gitclone/urbste/pyTheiaSfMcdpyTheiaSfM&&gitcheckout69c3d37&&mkdir-pbuild&&cdbuildcmake..&&make-jsudomakeinstall相機內參標定

步驟(自制docker版)264.安裝OpenImuCameraCalibrator；gitclone/urbste/OpenImuCameraCalibratormkdir-pbuild&&cdbuild&&cmake..make-j5.創建python>3.5的環境并安裝依賴；condacreate-nenv_namepython=x.xpipinstall