面向生成式Al的向量數據庫：架構，性能與未來趨勢高超/Zilliz工程師高超D向量數據庫背景介紹D性能的關鍵-索引向量數據庫背景介紹zilliz樣的Metric,常見的有L2,IP米zilliz·向量數據庫是一種專為存儲和查詢高維度向量數據而優化的數據庫系統Vector已經被廣泛應用于機器學習應用中，包括推薦系統，搜索，風控，安防等系統中。現在仍然是重要的使用場景搞笑美女網頁新同首頁圖說新聞搞笑美女網頁新同首頁圖說新聞該圖片可能是：榴蓮酥該圖片可能是：榴蓮酥相似圖片Generation(RAG),VectorVector米zilliz什么是一個好的向量數據庫·可觀測可運維·加載和查詢4·Index:索引構建爭搶查詢資源LogBroker目目目▲▲▲▲實時性和性能的tradeoff·Segment是milvus查詢的最小單位詢，保證數據的實時可見，性能差queryNode上的數據加速查詢segment,加速查詢向量檢索更加友好件，跳過消息隊列，直接插入到對象存儲全局索引向量數據庫即服務多實例架多實例架訪問控制多AZ高可用監控告警審計全商業版商業版理鑒權BYOC三個版本，面向不同需鑒權網絡控制網絡控制Azure,阿里云、騰訊云等主流向量索引●樹索引：維度災難，性能差·量化：精度有限，但比哈希更為常用·圖索引：占用資源高，精度和性能優異樹哈希量化圖·Knowhere作為milvus的核心向量引擎，集成了多種向量算法，供用戶自由選擇·對外統一接口，方便集成新索引米zilliz·暴搜：效率很低，但100%準確!●數據量少的時候可能優于索引的性能·對數據點做聚類，分成若干個buckets,避免搜索全量數據量通過聚類編碼成聚類中心id,有效壓縮向量的內存占用·查詢時預計算query向量和每段聚類中心的距離，把距離計算轉化成查表操作y?Y?y?Y?y4y?y?y7y?·建索引的原則：近鄰的近鄰大概率是近鄰，同時引入一些長邊防止陷入局部最優索找到最終結果NeighborsVec2Neig計算精確距離，同時得到鄰居id,用到內存中的PQ編碼計算近似距離用于導航·DiskANN可以實現較低的內存占用，達到還不錯的性能和高精度集成到knowhere,充分利用gpu的并行計算能力，加速索引構建和查詢Milvus-CAGRAvsMilvus-HNSWMilvus-CAGRAvsMilvus-HNSW500K1536-dimT4A10GT4:16.8xA10G:25.8xT4:6.7xA10G:9x如何選擇最合適的索引量化的方案?！はＭ岣遖ccuracy則不去做激進的量化策略，要求很高則使用FLAT。索引/gpu索引方案Zillizcloud商業版索引引擎-cardinal成為一個基本需求標量過濾的效率。同時支持向量側通過標量分布構建融合索引加速過濾774a63r33s42e640700006076304004300004200000000032dense=[0.2,0.3,0.5,0.7,...]#severalhundredfloatsMRR@10R@1000NDCG@10R@1000--檢索，可以是多個densevector,也可以是denseVectors_t→→Input:Multi-VectorsDataset:Multi-fields78.480.056.955.557.778.657.859.356.072.869.970.178.686.67.168.743.738.845.265.335.548.248.956.361.544.557.979.070.79.681.159.457.258.880.159.061.458.274.571.271.279.087.79.680.758.857.559.279.757.662.858.373.971.369.878.5的需求。在文本檢索時，一個向量代表一個chunk,缺少全文視角Exam