嵌入式視頻處理器內核的軟件基礎架構借助物聯網、機器學習和人工智能等新時代技術，公司正在通過以創新方式融合物理現實和數字信息來重新構想和創建智能多媒體應用程序。多媒體解決方案涉及音頻/視頻編解碼器、圖像/音頻/視頻處理、邊緣/云應用，在少數情況下還包括AR/VR。本博客將討論任何多媒體解決方案中嵌入式視頻處理器內核所涉及的軟件基礎架構。視頻處理器是基于RTL的硬化IP塊，可用于領先的FPGA板。借助這個嵌入式內核，用戶可以原生支持視頻會議、視頻流以及基于ML的圖像識別和面部識別應用，具有低延遲和高資源效率。但是，在部署視頻處理器之前可能會出現與操作系統支持、H.264/265處理、驅動程序開發等相關的軟件級別問題。讓我們從視頻處理器的概述開始，看看如何為半導體公司解決這些問題，使最終用戶能夠獲得其產品優勢。嵌入式視頻處理器內核視頻處理器是一個多組件解決方案，由視頻處理引擎本身、DDR4塊和同步塊組成。這些組件一起專用于支持分辨率高達4kUHD（3840x2160p60）的H.264/.265編碼和解碼，對于該FPGA器件系列的最高速度等級，最高可達4096x2160p60。支持的級別和配置文件包括用于HEVC的最高L5.1高級層和用于AVC的L5.2。這三款產品都是基于RTL的嵌入式IP產品，它們部署在目標FPGA器件系列的可編程邏輯結構中，并經過優化/“強化”以實現最大的資源效率和性能。視頻處理器引擎能夠同時編碼和解碼多達32個視頻流。這是通過將2160p60帶寬拆分到所有預期通道來實現的，支持480p30分辨率的視頻流。H.264解碼支持在L5.22160p60高4:2：2配置文件（CAVLC）上高達960Mb/s的比特流和高達533Mb/sL5.12160p60Main4:2：2比特流的H.265解碼10b內部配置文件（CABAC.）視頻處理器引擎還內置了顯著的多功能性。速率控制選項包括CBR、VBR和恒定QP。在較低幀速率下支持比2160p60更高的分辨率。該引擎可以處理8b和10b色深以及4:0：0、4:2：0和4:2：2的YCbCr色度格式。微架構包括獨立的編碼器和解碼器部分，每個部分由嵌入式32b可合成MCU通過單個32bAXI-4LiteI/F從屬主機APU管理。每個MCU都有由專用32bAXI-4主控器支持的L1指令和數據緩存。系統內存的數據傳輸通過一個4通道128bAXI-4主I/F進行，該I/F在編碼器和解碼器之間分離。還有一個嵌入式AXI性能監視器，可直接測量總線事務和延遲，無需為每個MCU鎖定固件以外的其他軟件開銷。DDR4塊是一個組合的內存控制器和PHY?？刂破鞑糠滞ㄟ^SDRAM優化R/W事務，而PHY執行SerDes和時鐘管理任務。還有一些額外的支持模塊提供系統內存的初始化和校準。五個AXI端口和一個64bSODIMM端口提供高達2677MT/s的性能。第三個塊同步視頻處理器引擎編碼器和DMA之間的數據事務。它可以緩沖多達256個AXI事務并確保低延遲性能。該公司的集成開發環境（IDE）用于根據比特流數量、所選編解碼器和所需配置文件來確定給定應用所需的視頻處理器內核數量以及用于編碼或解碼的緩沖區配置。通過工具鏈，用戶可以選擇AVC或HEVC編解碼器、I/B/P幀編碼、分辨率和級別、每秒幀數顏色格式和深度、內存使用以及壓縮/解壓縮操作。IDE還提供帶寬要求和功耗的估計值。嵌入式軟件支持任何硬件到視頻處理的嵌入式軟件開發支持可分為以下幾類：視頻編解碼器驗證和功能測試Linux支持，包括內核開發、驅動程序開發和應用程序支持工具和框架開發參考設計開發和部署根據需要使用和貢獻開源組織視頻處理器上的AVC和HEVC編解碼器的驗證非常廣泛。它必須以3840x2160p60性能級別執行，以便在裸機和Linux支持的環境中進行編碼和解碼。從原型設計到全面生產，低延遲性能也得到了驗證。Linux工作專注于多媒體框架和級別，以定制內核和驅動程序。這包括v4l2子系統、DRM框架和用于同步塊的驅動程序，以確保低延遲性能。編解碼器和Linux項目有效地引導自己代表客戶開發各種參考設計。編碼和解碼的邊緣設計、從低延遲視頻會議到32通道視頻流、基于感興趣區域的編碼和ML人臉檢測的開發，所有這些都可以通過使用經過仔細考慮的開放式選擇來完成源工具、框架和功能。在下面找到這些產品的摘要：GStreamer–一個開源的多操作系統多媒體組件庫，可以以流水線方式組裝，遵循面向對象的設計方法和插件架構，用于多媒體播放、編輯、錄制和流式傳輸。它支持多媒體應用程序的快速構建，并在GNULGPL許可下提供。GStreamer產品還包括各種非常有用的工具，包括gst-launch（用于構建和運行GStreamer管道）和gsttrace（一個基本的跟蹤工具。）StreamEye–一種開源工具，為深入分析視頻流提供數據和圖形顯示。Gstshark–作為Ridgerun的一個開源項目提供，該工具提供了用于分析和調試GStreamer多媒體應用程序構建的基準測試和跟蹤功能。FFmpeg和FFprobe–都是FFmpeg開源項目的一部分，它們是面向多媒體軟件開發人員的與硬件無關的多操作系統工具。FFmpeg允許用戶在多種格式之間轉換多媒體文件、更改采樣率和縮放視頻。FFprobe是多媒體流分析的基本工具。OpenMAX–通過KhronosGroup提供，這是一個API和信號處理函數庫，允許開發人員使多媒體堆棧可跨硬件平臺移植。Yocto–一個Linux基金會開源協作，它創建工具（包括SDK和BSP）和支持功能，為嵌入式和物聯網應用程序開發Linux自定義實現。社區及其Linux版本與硬件無關。Libdrm-一組用于支持DRM的開源低級庫。DirectRenderingManager是一個Linux內核，它代表用戶程序管理基于GPU的視頻硬件。它通過命令隊列以仲裁模式管理程序請求，并管理硬件子系統資源，特別是內存。libdrm庫還包括支持Intel、AMD和Nvidia的GPU的函數。Libdrm包括modetest等工具，用于測試DRM顯示驅動程序。Media-ctl–一