GoogleIO’24用Gemini與RAG構建開發workflow低調專注于大模型項目的落地GoogleI/O2024GoogleI/O2024The“classicalstack”ofSoftware1.0iswhatwe’reallfamiliarwith—itiswrittenbyaprogrammerinlanguagessuchasPython,C++,JS,CSS,etc.Itconsistsofexplicit(declarativeorimperative)instructionstoacompiler/interpreter.Bywritingeachlineofcode/instruction,theprogrammeridentifiesaspecificpointintheprogramspacewithsomedesirablebehavior.Incontrast,Software2.0,iswritteninmuchmoreabstract,humanunfriendlylanguage,suchastheweightsofaneuralnetwork.Nohumanisinvolvedinwritingthiscodebecausetherearealotofweights(typicalnetworksmighthavemillions).AndrejKarpathyGoogleI/O2024我認為這基本是對的。-LLM創建了一個全新的抽象和專業層面。-到目前為止，我一直稱這個角色為“提示工程師PromptEngineer”，但同意這個說法具有誤導性。它不僅僅是Prompt，它周圍還有很多粘合代碼/基礎架構。也許“AI工程師AIEngineer”更合適，盡管它需要一些過于具體的東西，并且使其過于寬泛。-機器學習人員訓練算法/網絡，通常從頭開始，并且能力較低。-由于LLM訓練工作量大，因此與ML的訓練有了很大的不同，并且還分離出一種新的角色，專注于在超級計算機上對transformer進行大規模訓練。-從數量上看，AI工程師的數量可能比ML工程師/LLM工程師的數量多得多。-一個人無需經過任何訓練就能相當成功地扮演這個角色。-我不完全遵循軟件1.0/2.0框架。軟件3.0（在我看來~提示LLM）很有趣，因為Prompt是人類設計的“code”，用自然語言編寫，并由LLM（本身現在是軟件2.0產物）解釋。AI工程師同時在所有3個范例中編程。有點?????GoogleI/O2024需求分析20%從用例出發進行業務分解流程分析編碼9.6%調試22.4%3:7編程32%測試48%測試程序19.2%4:6測試數據28.8%2:3溝通成本商務成本開發測試80%營銷軟件開發與測試100%2:1一個軟件開發項目的整體構成程序員與AI：由生產力提升帶來的困惑GoogleI/O20241.更快速閱讀理解海量文本圖像數據2.領域知識更廣泛AI與人類對比準確率不足難以勝任專業任務資深程序員小白程序員領域業務知識AI不好用,生成的效果不是想要的用起來很爽，離不開啦，但很多場景還是有不足團隊程序員們的反饋Project工程上下文知識Prompt

Engineering知識不足沒有業務知識寫不好技術經驗不足寫不好。。。。。內部效率提升的2個點變思維給工具能不能不寫或少寫代碼提示詞模板庫教練Agent讓模型多干活AI關鍵字關鍵字關鍵字語義分類語義提取自然語言文本內容分析特征提取LLM大模型主題分類根據內容將文本分類為預定義的類別。情緒分析檢測文本中的積極、消極或中性情緒以表示緊急程度意圖分類根據客戶下一步想要做什么對文本進行分類。關鍵詞提取：在文本中查找相關的單詞和表達方式。實體提取識別文本中的命名實體。決策執行器工單類型微調（Fine-tuning）RAG{業務類型：物業投訴}輸出業務分類1業務分類21.數據匹配3.自動分發配置工具選擇器投訴原文工單生成2.業務類型匹配Agent引擎從前由程序員編碼解決現在由大模型完成AIAIAgents代碼Agent基于ChainofThought思維鏈思想，模擬『程序叫』的開過程序中的行為，提高Agent輸出質量基于知識庫的檢索增強AI大模型AI

Agents平臺自然語言指令關系數據庫元數據元數據結果返回數據查詢優化后指令提示提示詞+輸出報表大語言模型LLMs的知識局限GoogleI/O2024幻覺（Hallucination）：這種現象發生在模型以高置信度產生不正確響應的情況下。例如，如果一個模型聲稱"googlyretriever"（谷歌獵犬）是一種真實存在的狗品種，這就是一種幻覺，可能導致誤導性信息的產生。“googly牧羊犬"狗的品種是什么樣的?Prompt提示詞：知識截止（Knowledgecut-off）：這是指大語言模型（LLM）根據其訓練數據返回過時信息的現象。每個基礎模型都有一個知識截止點，意味著其知識僅限于訓練時可用的數據。例如，如果你詢問模型最近的NBA冠軍獲得者，它可能會回答過時的信息。大語言模型狗的品種“googly牧羊犬”并不存在作為一個公認的品種，所以它的外觀將取決于它可能包含的品種的假設混合的特征。結果最新一屆的歐洲杯冠軍是誰？Prompt提示詞：大語言模型我無法獲得實時信息，所以我無法提供截至目前最新的歐洲杯冠軍。請從可靠的新聞來源獲取最新消息。結果關于GeminiGoogleI/O2024關于GeminiGoogleI/O2024Gemini1.5ProGemini1.0ProGemini1.5

flash關于RAGGoogleI/O2024美國總統是誰？喬·拜登知識可以被更新或擴展，比如（新聞…)可解釋性通稱喬·拜登（JoeBiden），現任美國總統（第46任），曾于2009年至2017年擔任第47任美國副總統，是美國政壇資深政治人物，亦是美國歷史上年紀最大的在任總統。1.檢索增強生成(RAG)擺脫了知識限制，整合了外部數據，并增強了上下文理解。2.它能夠高效地整合外部數據且不需要不斷進行微調。關于RAG檢索增強生成GoogleI/O2024檢索增強生成(RAG)是一個多功能框架，它允許大型語言模型(LLM)訪問其訓練數據以外的外部數據。RAG不依賴于單一實現；它適用于針對不同任務和數據格式的各種方法。它使LLM能夠在運行時利用外部數據源，包括知識庫、文檔、數據庫和互聯網。這對于使用外部數據增強語言模型、彌補訓練數據未涵蓋的知識空白非常有價值。關于RAG(Retrieval-AugmentedGeneration)GoogleI/O2024檢索增強生成(RAG)是一個多功能框架，它允許大型語言模型(LLM)訪問其訓練數據以外的外部數據。RAG不依賴于單一實現；它適用于針對不同任務和數據格式的各種方法。它使LLM能夠在運行時利用外部數據源，包括知識庫、文檔、數據庫和互聯網。這對于使用外部數據增強語言模型、彌補訓練數據未涵蓋的知識空白非常有價值。向量數據庫Embedding模型向量數據庫向量embeddings為了高效地從文檔中檢索信息，一種常見的做法是使用能夠捕獲語義的嵌入向量，將文檔索引到向量數據庫中。此外，對大型文檔應用分塊以提高相關性并減少噪音，最終通過提供特定的上下文信息來增強模型的響應。知識文檔RAG框架內有兩個關鍵模型GoogleI/O2024RAG序列模型：該模型利用相同的檢索到的文檔來生成完整的序列。它將檢索到的文檔視為一個單一的潛在變量，該變量被邊緣化，通過前K個近似值獲得序列到序列的概率。在這種方法中，使用檢索器檢索前K個文檔，生成器計算每個文檔的輸出序列概率。然后通過邊緣化將這些概率組合起來。RAG-Token模型：在此模型中，可以為每個目標token繪制不同的潛在文檔，從而允許生成器在生成答案時從多個文檔中選擇內容。與RAG-Sequence模型類似，它會檢索前K個文檔，然后為每個文檔生成下一個輸出token的分布。對每個輸出token重復此過程，并相應地進行邊緣化。RAG的組件GoogleI/O2024Retriever：Retriever(DPR)，根據查詢和文檔索引檢索相關文檔。檢索組件基于密集段落檢索(DPR)，采用雙編碼器架構，密集表示和查詢表示源自BERT。利用MIPS算法，選擇先驗概率最高的前K個文檔。Generator：基于BART-large的Generator組件負責生成序列。它通過簡單地連接將輸入與檢索到的內容組合在一起。RAG的實現：基本流程GoogleI/O2024Prompt+QueryGemini大語言模型檢索相關信息知識資源檢索query增強上下文的相關信息EnhancedContextAgentPrompt+Query+EnhancedContext生成響應內容實現RAG工作流及從接受用戶prompt到查詢數據庫、文檔切片和協調整個過程的多個步驟。RAG的實現：使用LangChain的工作流GoogleI/O2024LangChain提供各種文檔加載器，可從各種來源獲取文檔。這些文檔可以是各種類型，例如HTML、PDF或代碼。DocumentTransformers組件負責準備這些文檔以供檢索，包括將大型文檔拆分為更小、更易于管理的塊。LangChain和類似的框架使實現RAG和其他增強技術變得更加容易，從而能夠快速開發充分利用LLM潛力的應用程序。RAG的實現：使用LangChain的工作流GoogleI/O2024TextEmbeddingModelsLangChain中的TextEmbeddingModels旨在與各種文本嵌入提供商和方法進行交互，包括OpenAI、Cohere和HuggingFace。這些模型創建文本的矢量表示，捕捉其語義含義。這種矢量化可以高效地檢索相似的文本片段。LangChain提供與50多種不同向量存儲的集成VectorStoresRetrieversCachingEmbeddingsLangChain中的Retrievers提供了檢索與查詢相關的文檔的接口。這些檢索器可以使用向量存儲作為其主干，但也支持其他類型的檢索器。LangChain的檢索器可以靈活地自定義檢索算法，從簡單的語義搜索到增強性能的高級方法。LangChain的緩存嵌入功能允許存儲或臨時緩存嵌入，從而減少重新計算的需要并提高整體性能。1.分塊的重要性：

-分塊是RAG系統中的關鍵預處理步驟。

-分塊可以解決LLM和嵌入模型的上下文窗口限制問題。

-合適的分塊大小可以提高檢索精度。

2.分塊大小的影響：

-過大的塊可能導致表示過于粗糙，影響檢索精度。

-較小的塊能聚焦上下文，有助于更準確地檢索信息。

-建議從約250個Token開始實驗。

3.常見的分塊方法：

-字符分割：簡單但不考慮文檔結構。

-句子級分塊或遞歸分塊：更好地保留句子完整性，

但仍難以捕捉復雜的文檔結構。

4.Unstructured的智能分塊策略：

-基于文檔元素進行分塊，保留文檔的邏輯結構。

-提供四種策略：基本、按標題、按頁面和按相似度。

-可以跨不同文檔類型統一應用，便于實驗和優化。。RAG系統的文本分塊：最佳實踐GoogleI/O2024

5.分塊的最佳實踐建議：

-實驗不同的分塊大小。

-使用能在語義上有意義的邊界分割文本的智能分塊策略。

-評估分塊選擇對整體RAG性能的影響。

6.Unstructured提供的優勢：

-簡化了分塊實驗過程。

-適用于各種文檔類型。

-提供ServerlessAPI，方便用戶進行實驗和構建。RAG系統的文本分塊：最佳實踐GoogleI/O2024Agents業務數據多模型數據關系數據行業報告論文多智能體執行者觀察者工具集數據查詢API調用語音交互圖片解析智能體記憶要素提取內容生成….基礎大模型利用多模型多任務Agents協作，避免單一模型交互的質量問題Knowledge知識庫，賦予大模型記憶力Knowledge為信息處理、理解分析、推理決策等知識應用提供通用解決方案，構建知識引擎，實現傳統搜索、問答與大模型總結生成、問答推理等特色能力的服務編排與智能調度，驅動知識加工效率提升、知識應用形式豐富、知識庫智能實時更新和修正，深度融入賦能政策定制化查詢、客戶側知識融合推薦等業務場景。知識引擎向量數據庫是一種專門設計用于存儲、檢索和管理高維向量數據的數據庫系統。向量數據庫VectorDatabase高維向量存儲：

功能：能夠高效存儲大量的高維向量數據。

優勢：適合處理來自各種數據源（如文本、圖像、用戶行為等）的向量數據。

快速相似度搜索：

功能：支持高效的相似度搜索算法，如K最近鄰（K-NN）、LSH（局部敏感哈希）等。

優勢：在大規模數據集中能夠快速找到最相似的向量，提升查詢響應速度。

分布式架構：

功能：采用分布式架構，支持水平擴展。

優勢：能夠處理大規模數據集和高并發查詢需求，確保系統的可擴展性和可靠性。

高效索引：

功能：使用專門的索引結構（如向量索引樹、哈希索引等）提高檢索速度和效率。

優勢：優化數據檢索流程，確保快速訪問和處理高維數據。

實時處理：

功能：支持實時數據流處理，進行在線學習和動態更新。

優勢：適應快速變化的應用場景，確保數據和模型的及時更新。向量數據庫的特點GeminiNano數據向量化：

作用：將原始數據（如文本、圖像）轉換為向量表示，便于存儲和檢索。

舉例：使用Word2Vec、BERT等模型生成文本向量，存儲在向量數據庫中。

高效檢索：

作用：在QA問答系統中，通過向量數據庫快速檢索與查詢向量最相似的向量。

舉例：用戶輸入一個問題，系統將其轉換為向量，并在數據庫中找到最相似的文檔或答案向量。

性能優化：

作用：利用分布式架構和高效索引，實現大規模數據的高性能處理和檢索。

舉例：在高并發訪問的情況下，向量數據庫能夠快速響應，提高用戶體驗。向量數據庫在RAG系統中的作用GeminiNanoWord2Vec示例GeminiNanobread和croissant在word2vec的向量1.分塊的重要性：

-分塊是RAG系統中的關鍵預處理步驟。

-分塊可以解決LLM和嵌入模型的上下文窗口限制問題。

-合適的分塊大小可以提高檢索精度。

2.分塊大小的影響：

-過大的塊可能導致表示過于粗糙，影響檢索精度。

-較小的塊能聚焦