人們可能會認為大型語言模型 (LLM) 無需任何額外工作即可提供商業價值，但這種情況很少見。企業可以透過添加自己的數據來充分利用這些模型。
為此，團隊可以使用一種稱為檢索增強生成 (RAG) 的技術。什麼是 RAG 管道？繼續閱讀以找出答案！
什麼是 RAG 管道？
檢索增強生成 (RAG) 是一種優化大語言模式輸出的技術，模型在產生回應之前會查閱其訓練資料來源之外的可靠知識庫。
大型語言模型 (LLM) 在訓練過程中
使用數十億個參數和大量數據，為語言翻譯、句子完成和問答等任務產生獨特的輸出。
RAG 將法學碩士本已強大的功能擴展到特定領域或組織自己的知識庫，而無需重新訓練模型。這是一種價格合理的方法，可以提高法學碩士的輸出，並透過相關資訊確保其在各種情況下保持相關性、準確性和有用性。
RAG 管道使用非結構化資料
作為來源，這些資料可以跨資料庫和資料湖以各種不同的格式儲存。這種管道的目標是建立一個值得信賴的向量搜尋索引，其中充滿了準確的資訊和相關的上下文。
透過這樣做，您可以確保龐大的語言模型始終具有適當回應需要外部知識來源資訊的使用者查詢所需的上下文。
向量資料庫是管道的終點
整個過程中的各種轉換和文件預處理階段也有助於實現可擴展、可靠的 RAG 架構。
RAG 管道的組件
1. 食入
最初，檢索增強生成管道 西班牙 WhatsApp 號碼數據 接收來自各種來源的原始數據，包括資料庫、論文和即時回饋。LangChain提供了一系列文件載入器，可從眾多來源載入多種格式的數據，並對這些數據進行預處理。
原始文件並不總是您所認為的
普通文件（文字文件、PDF 等）。 LangChain可以從CSV檔案、電子郵件、Confluence等匯入資料。
2. 提取
我們必須將提取邏輯合併到 RAG 管道中，因為許多非結構化資料來源需要進行一些處理來提取儲存在其中的自然語言文字資料。
從資料來源取得的資料可能不會立即發揮作用。例如，將 PDF 文件轉換為可用文字是一項眾所周知的挑戰。
在簡單的場景中，使用開源庫預
處理相關文件效果很好。但是，要將提取的自然語言安排為更接近人類閱讀頁面的格式，您可能需要依賴更專門為複雜 PDF 的知識密集型自然語言處理 (NLP) 操作而設計的東西。
其他尖端選擇，例如AWS Textract，依靠機器學習和基於神經網路的解決方案來推動這一過程。
3、轉型
文件在載入後經常會被 能齊全的網站變得簡單而高 更改。材料分割是一種將冗長的材料分成可管理的塊的轉換技術。
如果您希望將文字放入 e5-large-v2 嵌入模型中，則需要執行此操作，該模型的最大標記長度為 512。
4. 分塊/嵌入一旦吸收，資料需
要轉換成系統可以有效處理的格式。資料必須轉換為高維向量或文字的數字表示，才能產生嵌入。
儘管這是兩個獨立的過程，但分塊和嵌入是相互關聯的。分塊是將來源資料中提取的內容劃分為一系列文字片段的過程。
當涉及檢索增強生成時分塊方
法至關重要，因為 RAG 將使用您在此階段編寫的文字區塊在運行時為 LLM 提供上下文。
嵌入的過程涉及將文字區塊轉換為文件嵌入，然後將其儲存在向量資料庫中。這些向量是使用 Mistral AI 等企業或 OpenAI 提供的各種嵌 人工智慧數據 入模型之一產生的，例如
儘管企業正在嘗試針對銀行或法律等特定領域的用例微調這些模型，但大多數嵌入模型都是通用的。
向量資料庫是保存產生的嵌入
和處理的資料的專用資料庫。由於它們對向量化資料的最佳處理，這些資料庫允許快速搜尋和資料檢索。如果資料儲存在 Milvus 等 RAPIDS RAFT 加速向量資料庫中，則在即時互動過程中資料將始終可用且及時存取。
4、堅持
嵌入模型通常會產生每個向量具有一定維度的向量。在向量資料庫中建立搜尋索引時，您通常會選擇搜尋索引的維度。輸入索引的新資料必須滿足所需的維度長度
5. 清爽
填充向量資料庫後，您將需要考慮如何保持向量資料和用於填充它的來源資料之間的同步。
如果您跳過此步驟，您的語言模型將為使用者查詢產生不準確的答案。您最終將遇到檢索增強生成用例的問題，因為正在檢索的文檔不再是最新的。