1、蘇寧圖像智能分析平臺及實踐二一六年六月二一六年六月內容內容3圖像智能分析系統組成及平臺介紹12圖像智能分析應用技術案例: 圖像自動標注方法圖像與大數據的關聯圖像與大數據的關聯1. 圖像是一種重要的數據載體。2. 圖像數據的爆炸，”圖像大數據“成為現實。3. 圖像分析技術的進步，挖掘圖像大數據成為可能。線上電商線上電商線下店商線下店商圖像大數據對蘇寧的價值圖像大數據對蘇寧的價值圖像智能分析系統組成及平臺介紹圖像智能分析系統組成圖像智能分析系統組成:離線算法平臺離線算法平臺線線上應用系統上應用系統智能監控系統智能監控系統線上應用系統線上應用系統:應 用算 法接 口數據圖像算法接口推薦平臺接口搜索平

2、臺接口圖像數據解析結果整合數據庫管理拍照購價簽購人臉分析Logo購.商品識別文字識別人臉分析目標檢測智能監控系統智能監控系統:.門店1數據通信智能分析模塊客流人臉行為設備管理數據整合模塊.門店N數據通信智能分析模塊客流人臉行為設備管理數據整合模塊.數據中心數據庫報表離線算法平臺離線算法平臺:效 果 層數 據 層模 型 層深度學習模型 訓練模型測試驗證特征提取及融合商品識 別人臉算 法OCR檢測算 法.圖像獲取圖像預處 理圖像標注傳統特征提取傳統模型訓練檢索模型目的: 為不同的應用需求提供一致性的算法接口， 滿足各種圖像智能分析需求，為內部和外部用戶提供智能分析服務。圖像智能分析平臺圖像智能分析

3、平臺功能: 商品識別Logo檢測 人臉分析 OCR應用.IC GTIC CGTIC GPart2圖像智能分析應用拍照購（商品識別）：介紹拍照購（商品識別）：介紹以商品識別算法和圖像檢索系統為基礎，利用深度神經網絡強大的表達能力，抽取圖像中商品的有效特征，并結合文本識別的結果，獲取高相關度商品的推薦結果。特點:1. 支持廣泛品類的商品識別(今年內基本做到全覆蓋)。2. 與文本識別相結合。3.較快的識別與檢索速度，相關性較高的返回結果。拍照購（商品識別）：算法系統組成拍照購（商品識別）：算法系統組成輸入圖像預處理特征提取圖像檢索文本識別結果融合拍照購（商品識別）：使用示例拍照購（商品識別）：使用示

4、例拍照購（商品識別）：優化策略拍照購（商品識別）：優化策略有用策略:1. 補充數據。增加有效的真實訓練樣本，提升模型的表達能力，并提高檢索 精度。2. 主體檢測。有效檢測出圖像中商品主體，減少背景的干擾，提升識別精度。拍照購（商品識別）：優化策略拍照購（商品識別）：優化策略智能門店監控：介紹智能門店監控：介紹目的: 實現門店監控視頻的智能分析，以獲取準確的客流人數、客流成分組成、商品熱區、顧客滯留分析等豐富的商業數據信息，進而為商業智能系統提供數據保障。特點:1. 能夠統計不同環境、不同狀態下的客流人數。2. 能夠檢測不同環境下人臉，并分析其年齡、性別等信息。3. 能夠得到不同排布商家的商品熱

5、區信息。4. 能夠分析顧客的滯留，進而對顧客行為進行判斷。智能門店監控：客流統計智能門店監控：客流統計方案：1. 采用置頂數字攝像頭2. 檢測進入區域的人體3. 跟蹤并確認有效客流智能門店監控：人臉分析智能門店監控：人臉分析特點: 利用特征點跟蹤有效估計人臉姿態，利用正面人臉進行去重分析。智能門店監控：顧客行為分析智能門店監控：顧客行為分析特點:1. 對于置頂或偏置攝像頭，都能夠有效獲取商品熱力圖。2. 結合滯留分析，能夠最大限度抑制銷售員影響。文本圖像識別：介紹文本圖像識別：介紹應用:1. 對價簽等豐富文本載體進行分析，得到文本內容。2. 對自然場景中文本進行識別，輔助物品識別。技術方案1.

6、 檢測圖像中可能的文本區域。2. 對文本區域進行驗證和校正。3. 迭代尋找最優的切分和識別結果。4. 利用語言模型進行校正。文本圖像識別：示例文本圖像識別：示例文本圖像識別：價簽購示例文本圖像識別：價簽購示例實踐: 一種圖像 樣本自動標注方 法Part 3 來源 拍照購 圖像識別引擎 深度學習 需求 海量的已標注圖像數據背景介紹背景介紹背景介紹背景介紹圖像來源1.拍攝: 成本太高2.商品主圖: ps過，與真實場景不符3. 網絡圖像: 曬單等。 噪聲太嚴重需求: 標注出商品圖像和噪聲圖像難度: 人工標注效率太低技術現狀技術現狀1. 學術圈關注度低2. 很常見的現實問題可能方案1. 標注少量數據進

7、行冷啟動標注數據影響結果2. 半監督學習? 數據太雜亂，不符合一般半監督學習方法的假設3. 主動學習 Good idea.技術思路技術思路1. 針對噪聲圖像多且雜，采用多重過濾2. 選擇合適的無監督聚類方法，自動獲得好的聚類中心3. 利用聚類的結果進行標注，數據量大且分布較為緊湊的聚類極有可能就是真實樣本圖像希望盡量少人工干預，人工干預對最終結果的影響很小。 效率盡量高，且結果無需迭代式優化。技術方案技術方案1. 圖像采集2. 重復圖片過濾3. 非商品噪聲圖片過濾4. 圖像聚類自動標注End-to-end 數據過濾數據過濾無監督聚類方法無監督聚類方法常見方法:1. 基于劃分: k均值， k眾數

8、，k中心點， Canopy2. 基于層次: BIRCH, Chameleon3. 基于密度: DBSCAN, DENCLUE4. 基于網格: STING5. 基于圖論: Spectral Clustering常見問題:1. 適用范圍窄2. 參數不易設置，對結果影響大3. 聚類中心選擇準則過于簡單或過于復雜，適應性差4. 高維情況下表現不好無監督聚類方法無監督聚類方法Clustering by fast search and find of density peaks, Alex Rodriguez and Alessandro Laio.步驟:1. 聚類中心選擇2. 根據聚類中心進行聚類特點1

9、. 基于密度的方法，能夠發掘不同形狀的聚類，也能很好描述離群點2. 提出一種尋找最佳聚類中心的新穎方法3. 形式簡單，效率較高4. 唯一參數需要設定，具有彈性，使用于不同情況無監督聚類方法無監督聚類方法: 聚類中心選擇聚類中心選擇基本思想: 尋找合適的聚類中心， 使其滿足自身的密度大，密度大于它的所有鄰居 與其他密度更大的數據點的距離相對更大 定義局部密度和距離無監督聚類方法無監督聚類方法: 聚類中心選擇聚類中心選擇當聚類個數不能輕易獲得時定義當越大時，越可能是聚類中心。無監督聚類方法無監督聚類方法: 聚類策略聚類策略步驟:1. 初始化各個聚類，以聚類中心為初始點2. 根據距離判斷其他非中心數據點的類別，將其劃分到某一聚類3. 將每個聚類中的點，進一步劃分為核心數據點和邊緣數據點截斷距離參數的選取:1. 太大的話太大，區分度太低；反之，會得到細碎的聚類2. 建議值: 使得每個數據點的平均鄰居個數約為數據點總數的1%2%無監督聚類方法無監督聚類方法: 聚類效果聚類效果實際效果實際效果總結總結目標: 為圖像自動打標簽，為圖像識別引擎準備訓練數據