傳統的大語言模型雖然已經具備生成文字、翻譯語言等強大功能，但知識來源主要來自於訓練時的龐大數據集。這代表對訓練數據之外的資訊可能缺乏了解，導致生成的內容不夠準確或不夠相關。檢索增強生成（ Retrieval Augmented Generation, RAG）的出現，正是為了解決 LLM 封閉環境訓練的問題，是一種對大語言模型（LLM）輸出進行優化的技術，結合生成式 AI 的強大能力與外部知識庫的即時檢索功能。大語言模型雖然經過海量資料訓練，能完成如回答問題、翻譯語言等多樣化任務，但其知識範疇受到訓練資料限制。RAG 透過在生成回應的過程中擷取外部知識庫中的相關資訊，彌補了 LLM 訓練資料的不足，提供更具脈絡、更準確且更實用的回應。不僅能降低重新訓練模型的成本，還能擴展 LLM 在特定領域或組織內部知識上的應用潛力，實現更加健全的語言理解和生成能力。簡單來說，這就像給 LLM 安裝外掛的「知識寶庫」，讓它能夠隨時查閱最新資料，從而生成更準確、更全面的回答。
RAG 優勢
- 提升回答的準確性： 透過參考外部知識庫，LLM 可以提供更符合事實的答案，減少產生錯誤資訊的可能性，強化使用者的信任感。
- 擴展知識範圍： LLM 不再受限於訓練數據，可以回答更多樣化的問題。
- 增強對上下文的理解： RAG 可以幫助 LLM 更好地理解問題的上下文，生成更具相關性的答案。
- 提高生成內容的品質： RAG 可以讓 LLM 生成更豐富、更具創造性的內容。
RAG 如何運作？
RAG 透過兩個主要步驟來幫助增強生成式 AI 輸出：
- 檢索與預先處理： RAG 利用強大的搜尋演算法查詢外部數據，例如網頁、知識庫和資料庫等。一旦檢索到，相關資訊就會經過預先處理，包括標記化、詞彙擷取和刪除停用詞。
- Grounding 產生：預先處理的檢索資訊隨後無縫合併到預先訓練的 LLM。這種整合增強了 LLM 的背景，使其能夠更全面地理解該主題，產生更精確、資訊更豐富、更有吸引力的答案。
RAG 的運作方式是先由 LLM 生成查詢，並透過檢索機制從資料庫中提取相關資訊，提取資訊會被整合到 LLM 的查詢輸入中，進一步生成更準確且符合上下文的文字。檢索過程通常由語意搜尋引擎處理，該引擎利用存儲於向量資料庫中的嵌入向量，結合高階的排序和查詢重寫功能，確保檢索結果與查詢高度相關，能夠有效解答使用者的問題。
你可以將 RAG 想像成一位全能的數位助理，擁有一個龐大的資料寶庫。這位數位助理不僅能快速搜尋出你需要的資訊，還能從資料中找出相關的內容，提供更完整的上下文資料。另外，這位助理還具備一強大的能力，能夠即時將資訊組織成條理清晰、有邏輯的回應，甚至幫你生成符合需求的文章或例句。當你提出問題（輸入文本）時，RAG 的檢索模組就像這位助理開始搜尋資料庫，挑選出最相關的資訊片段。這些片段就像從百科全書或專業書籍中摘錄的重要內容，為後續的回應奠定基礎；接著，提取的資訊會被交給生成模組，將相關內容重新組織並結合上下文，以邏輯嚴密且語意豐富的方式生成答案或其他所需的內容。這不僅僅是簡單的資訊組裝，而是結合分析與創造力的智能輸出。
RAG 的獨特之處在於它結合了檢索和生成的雙重能力。不僅能回答靜態的知識問題，還能根據實際需求即時生成個性化、針對性的內容，讓每次的互動都更加精準且有深度。
為什麼要使用 RAG？
RAG 提供了多項優勢來增強傳統的文字產生方法，特別是在處理正確資訊或資料驅動的回應時。以下是使用 RAG 有益的一些關鍵原因：
1. 獲取最新資訊
LLM 僅限於其預先訓練的資料，此封閉式的數據庫，會導致過時且可能不準確的回應，RAG 透過向 LLM 提供最新資訊克服此問題。
2. 事實 Grounding
LLM 是產生創意和引人入勝的文本的強大工具，但有時會難以保證事實的準確性。這是因為 LLM 接受了大量文字資料的培訓，這些資料可能包含不準確或偏見。
作為輸入提示的一部分向 LLM 提供「事實」可以減輕「AI 幻覺」。這種方法的關鍵是確保向 LLM 提供最相關的事實，並且 LLM 的輸出完全基於這些事實，同時回答使用者的問題，並遵守系統說明和安全約束。使用 Gemini 的長上下文視窗 (LCW) 是向 LLM 提供來源材料的好方法。如果您需要提供的資訊超出了 LCW 的範圍，或者需要擴展效能，您可以使用 RAG 方法來減少處理字元單位的數量，從而節省時間和成本。
3. 使用向量資料庫和相關性重新排序器進行搜尋
RAG 通常透過搜尋來檢索事實，現代搜尋引擎現在利用向量資料庫來有效地檢索相關文件。向量資料庫將文件儲存為高維空間中的嵌入，從而允許基於語義相似性進行快速且準確的檢索。多模式嵌入可用於圖像、音訊和視訊等，並且這些媒體嵌入可以與文字嵌入或多語言嵌入一起檢索。
Vertex AI Search 等高級搜尋引擎同時使用語義搜尋和關鍵字搜尋（稱為混合搜尋），以及對搜尋結果進行評分的重新排序器，確保返回頂部時，結果是最相關的。此外，透過清晰、集中且沒有拼字錯誤的查詢，搜尋效果會更好；因此，在查找之前，複雜的搜尋引擎將轉換查詢並修復拼字錯誤。
4. 相關性、準確性和品質
RAG 中的檢索機制至關重要，若需要在精選知識庫上進行最佳語意搜索，以確保檢索到的資訊與輸入查詢或上下文相關。如果檢索到的信息無關緊要，那麼此版本可能需要透過微調或快速設計 LLM 以完全基於檢索到的知識生成文本，以免生成的內容不相關。RAG 有助於最大限度地減少生成文本中的矛盾和不一致，顯著提高了生成文字的質量，並改善了使用者體驗。
Vertex Eval Service現在根據「連貫性」、「流暢性」、「groundedness」、「安全性」、「指示遵循」、「問題回答品質」等指標對 LLM 產生的文字和擷取的區塊進行評分。這些指標可幫助您衡量從 LLM 獲得的 grounded 文本。您可以透過配置搜尋引擎、整理來源資料、改進來源佈局解析或分塊策略或在搜尋前細化使用者的問題來優化 RAG 品質。像這樣的 RAG Ops、指標驅動方法將幫助您爬坡以實現高品質的 RAG 和接地世代。
5. RAG、代理商和聊天機器人
RAG 和 grounding 可以整合到任何需要存取最新、私有或專業資料的 LLM 應用程式或代理程式中。透過存取外部訊息，RAG 驅動的聊天機器人和對話代理利用外部知識來提供更全面、資訊豐富和上下文感知的回應，從而改善整體用戶體驗。
您的資料和用例使您使用 gen AI 建立的產品與眾不同。 RAG 和 grounding 將您的資料高效且可擴展地傳送給 LLM 。
Google 搜尋技術強力支援的 RAG
隨著基於 RAG 的方法日益普及，人們逐漸意識到，RAG 系統的效能完全取決於後端檢索系統的搜尋品質。雖然 LLM 通常夠聰明，能理解並回答問題，但如果後端無法提供高效能的搜尋功能來檢索大量資訊，就無法完全發揮其強大效能。AI 研究人員和開發者持續探索各種 RAG 技術，包括文字分塊、查詢擴充、混合搜尋、知識圖譜、重新排名等。簡而言之，LLM 需要正確的資料來避免捏造內容，而優秀的搜尋技術則是獲取最佳資料的關鍵。
Google 憑藉超過 20 年在大規模資訊檢索領域中的領先經驗，為 RAG 解決方案提供強大的資訊檢索能力。例如，通過 Vertex AI Search，開發者可以輕鬆將 LLM 與 Google 搜尋技術結合，專注於開發創新的 AI 應用，而不需要花費數個月時間自行設計和構建適用於 RAG 系統的高級搜尋引擎。
Vertex AI Search 是一個全託管平台，能為您的公開或內部網站、行動應用程式以及各類企業搜尋服務打造具備 AI 功能的搜尋體驗。這項產品結合了 Google 搜尋團隊與 Google Cloud 團隊的深度合作成果，為開發者提供了一種友好的方式，將 LLM 的智慧與 Google 搜尋技術無縫整合。
由上述說明可以更清楚理解 RAG 技術結合生成式 AI 的創造力與外部知識庫的即時檢索能力，顯著提升了 LLM 的效能與應用範圍。不僅解決了 LLM 對於訓練數據限制的問題，還能擴展其在多樣化情境中的知識運用能力。透過檢索、預處理與生成的精密整合，RAG 提供更準確、相關性更高且更具創造性的內容輸出，滿足不同領域使用者的需求。隨著技術的不斷進步，如 Google 的強大搜尋技術支援，RAG 已成為驅動生成式 AI 下一階段發展的關鍵利器，助力企業和開發者打造更具價值的智能應用與服務。下一篇提到支援 Google 搜尋的相同技術，如何極大地增強 RAG 系統資訊檢索能力的有效性。
本文內容翻譯並改寫自 Google Cloud 官方部落格，為您提供最前沿的科技趨勢與應用實例。本文探討了探討了 RAG 的概念，以及支援 Google 搜尋的相同技術如何極大地增強 RAG 系統資訊檢索能力的有效性，立即查看更多宏庭科技的成功案例，了解 RAG 應用。宏庭科技身為 Google Cloud 的菁英合作夥伴，將持續致力於推動這些創新技術的實際應用，協助企業客戶把握 AI 帶來的商業契機。若您有興趣了解更多如何運用 Vertex AI 來加速您的工作進程，歡迎與我們聯繫，宏庭科技期待成為您數位轉型的最佳夥伴。若您對 Google Cloud 的多元應用有興趣，請密切關注我們的活動訊息，期待在活動中與您相見！
