大數據驅動的人工智能技術

2023/2/51崇志宏數據與智能實驗室東南大學提綱基本框架和智能計算基本框架技術痛點應用難點分析文本結構化抽取智能框架市場研究報告外部公開數據源大數據知識圖譜價值傳遞內部數據源淘寶、京東、蘇寧新聞公司網站社交媒體公司招聘專利智能爬蟲文本結構化抽取其他非結構化、半結構化數據知識庫數據終端什么產品？什么客戶？什么市場模式？數據直通API智能搜索智能問答智能平臺模型與價值發現用戶研究報告行為大數據運營數據推廣數據調查、反饋數據產品設計用戶手冊客服錄音文本結構化抽取智能框架市場研究報告外部公開數據源大數據知識圖譜價值傳遞內部數據源淘寶、京東、蘇寧新聞公司網站社交媒體公司招聘專利智能爬蟲文本結構化抽取其他非結構化、半結構化數據知識庫數據終端什么產品？什么客戶？什么市場模式？數據直通API智能搜索智能問答智能平臺模型與價值發現用戶研究報告行為大數據運營數據推廣數據調查、反饋數據產品設計用戶手冊客服錄音技術痛點：多維數據的融合-知識圖譜知識庫概念、屬性外部公開數據源淘寶、京東、蘇寧新聞公司網站社交媒體公司招聘專利其他非結構化、半結構化數據市場研究報告內部數據源用戶研究報告行為大數據運營數據推廣數據調查、反饋數據市場研究報告內部數據源用戶研究報告行為大數據運營數據推廣數據調查、反饋數據產品規格設計文檔用戶手冊客服錄音技術痛點：多維度異構數據上的分析建模知識圖譜概念、屬性市場研究報告外部公開數據源內部數據源淘寶、京東、蘇寧新聞公司網站社交媒體公司招聘專利其他非結構化、半結構化數據用戶研究報告行為大數據運營數據推廣數據調查、反饋數據市場研究報告內部數據源用戶研究報告行為大數據運營數據推廣數據調查、反饋數據模型與價值發現特征豐富約束條件語義向量化產品規格設計文檔用戶手冊客服錄音產品規格設計文檔用戶手冊客服錄音技術痛點：多維度異構數據上的分析建模知識庫概念、屬性市場研究報告外部公開數據源內部數據源淘寶、京東、蘇寧新聞公司網站社交媒體公司招聘專利其他非結構化、半結構化數據用戶研究報告行為大數據運營數據推廣數據調查、反饋數據市場研究報告內部數據源用戶研究報告行為大數據運營數據推廣數據調查、反饋數據模型與價值發現特征豐富約束條件語義向量化產品規格設計文檔用戶手冊技術痛點：用戶畫像、產品畫像中的數據的稀疏性價格差別品牌差別地區收入差別地區高低檔偏好差別評價（用詞偏好）關注偏好微博討論偏好零星個人信息購買記錄投訴記錄和關注點訪談調查記錄市場研究報告用戶研究報告促銷反饋職業差別人群差別特殊人群商品偏好…………………………………………特殊人群敏感度屬性社會屬性行為屬性技術痛點：用戶畫像、產品畫像中的數據的稀疏性價格差別品牌差別地區收入差別地區高低檔偏好差別評價（用詞偏好）關注偏好微博討論偏好零星個人信息購買記錄投訴記錄和關注點訪談調查記錄市場研究報告用戶研究報告促銷反饋職業差別人群差別特殊人群商品偏好…………………………………………特殊人群敏感度屬性社會屬性行為屬性數據稀疏性：1）知識圖譜數據融合；2）深度神經網絡的泛化能力；3）語義特征向量技術痛點：用戶畫像、產品畫像中的數據的稀疏性數據稀疏性：1）知識圖譜數據融合；2）深度神經網絡的泛化能力；3）語義特征向量模型與價值發現特征豐富約束條件知識圖譜的深度網絡表示技術痛點：高維屬性依賴關系模型訓練和推理特殊人群敏感度屬性社會屬性行為屬性痛點：高維屬性依賴關系模型訓練和推理特殊人群敏感度屬性社會屬性行為屬性提綱基本框架和智能計算基本框架技術痛點應用難點分析難點1：數據爬取和融合難點2：數據爬取和融合-圖片和文本融合文字描述多媒體信息融合與搜索圖片搜索圖片文字搜索圖片圖片搜索文字語音搜商品難點3：語音客服綜合平臺1.什么商品、品牌、規格2.什么原因、關切什么？3.解決方案偏好？4.……1.這個客戶是什么類型？2.一般的服務策略？3.詢問什么問題？4.可以提供什么繼續服務？抽取客戶信息客服支持語音客服綜合信息平臺客戶意圖識別客戶背景及相關資料服務模式和策略支持難點4：大規模信息結構評價行為語義網站結構語義一致性和網站結構評價根據日志行為的網頁矢量空間根據平臺結構的網頁矢量空間語義對齊語義距離度量行為語義和平臺結構語義的差別不同人群行為分析信息結構評價及改進點頁面布局問題網頁鏈接結構問題不同人群訪問模式特點難點5：國防綜合信息系統敵我部隊編制敵我指揮機構敵我武器裝備人防工程作戰條令、預案地理、氣象信息人工情報KafkaSparkStreaming知識圖譜HBASE存儲知識抽取、知識圖譜構建和維護SparkSPARQL接口作戰情報支持五月十五號早上敵飛機？？？飛近我釣魚島，飛行軌跡……滯留時間情報分析模型庫推測飛機型號、武器裝備、飛行目的以及推測依據……軍事知識圖譜構建和信息集成SparQL查詢接口語義搜索難點6：情感分析Yelp:57百萬用戶評論,132百萬獨立用戶訪問/月Dianping:26百萬評論,70百萬

獨立用戶/月OneproductinonereviewDetailedondifferentaspectsOverallscoreReviewcomment用戶對不同維度的信息關注度是推薦需要了解的結婚買什么樣的空調安靜的、掛起來的分析結果示意圖屬性(正面,負面)關于肉類

正面評價1465次負面評價497次關于雞翅

正面評價3次負面評價5次難點7：用戶潛在喜好分析推出一款新品，用戶的喜好程度如何？長期以來，一直忽視文本與評價分數的結合目標：1.用戶買過該產品2.用戶對該產品的體驗3.推薦可能滿意的產品難點8：基于潛在關聯的打包推薦推出相關產品，目的是組合售賣通過用戶的消費歷史，映射商品的可見特征到隱藏特征，獲取不同商品之間的關聯。難點9：數據融合不同廠家類似產品歸類NameDescriptionPriceTP-linkTL-WR703N

3G

MiniWirelessRouterProductName:TP-LinkBrand:

TP-LinkModel:

TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:

802.11b

802.11g

802.11n

802.3u

802.3Frequency:

2.4GSuitablefor:

Broadbandrouter￥99.00TP-linkTL-WR703N

MiniWirelessRouterBoardProductName:TP-Link

Brand:TP-LinkModel:TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:IEEE802.11b/g/nEmbeddedFirewall:NoVPNSupport:No￥44.45目標：提高自身的競爭力Unstructureddatacontainimportantinformationexquisiteandeasyofuse!Recommend!Satisfiedpurchase!Received!Veryexquisite!Hopeitcanstaylong!…It’spractical,exquisiteandportable.Theonlydrawback…Goodproduct,butit’simpossibletoaddLenovoh301cameratogetherwith301driver.Adduvcinstead…Itsappearanceisordinary,butthehandworkisgood,theboardisstable.Theserveranswerseveryquestion...Theboardisgood,thecraftisterrific.Bestchoiceforhandcraft文本特征重要MatchingResultInputEntityDataPreprocessingFeatureSelectionDataPartitioningPairGenerationSimilarityCalculationFeatureNormalizationRandom-basedAlgorithmsSignatureSorting&NeighborSelectionRedundancyReductionAdditionalMapReduceJobHammingDistance基于文本特征的分布式數據融合架構難點10：分布式內存數據處理用戶交易交易流水主機DB2查