標籤: WS 行銷活動

在當今數據驅動的世界中，隨著數據呈指數級增長，組織面臨著巨大的挑戰。其中之一是資料儲存。

分析系統中的傳統資料儲存方法價格昂貴，並且可能導致供應商鎖定。這就是資料湖儲存大量資料的地方，而成本只是典型資料庫或資料倉儲的一小部分。

採用資料湖方法使企業能夠輕鬆管理其龐大的資料庫，從而在日益以資料為中心的環境中保持競爭力。

但是資料湖實施從哪裡開始呢？

繼續閱讀以了解有關資料湖的所有基本知識，並使用這個極其強大的解決方案啟動您的資料策略。

什麼是資料湖？
資料湖特性
資料湖是一個集中式儲存庫，旨在以其自然的原始格式儲存大量數據，無論是結構化、半結構化還是非結構化資料。資料湖的多功能性可以更輕鬆地滿足組織中不斷變化的資料類型和分析要求。

資料湖使用扁平化設計，而不是

像資料倉儲那樣典型的層次結構和預定模式。使用資料工程方法（例如物件儲存）、提供元資料標記、合併唯一識別碼、簡化資料檢索 越南 WhatsApp 號碼數據 並提高整體效能，可使此結構更有效率。

如果大數據的複雜性讓您目前的系統無法處理，那麼資料湖可能就是您需要的解決方案。

資料湖、資料倉儲、雲端資料湖
資料湖與資料倉儲有何不同？什麼時候該使用哪一個？

雖然資料湖和資料倉儲共享儲存和分

析資料的能力，但它們具有不同的專業化和用例。這就是為什麼企業級組織的分析生態系統通常包括資料湖和資料倉儲。兩個儲存庫協作提供安全的端到端系統，用於儲存、處理和更快地獲取見解。

數據湖從各種來源收集關係和非關係數據，包括業務應用程式、行動應用程式、物聯網設備、社交媒體和串流媒體，無需在讀取數據之前指定數據的結構或模式。

讀取模式可確保所有資料類型都可以

以其原始形式保存。因此，資料湖可以容納各種大小的資料類型，從結構化到半結構化再到非結構化。資料湖的適應性和可擴展性使其 概念中的資料庫 對於使用各種運算處理工具（例如 Apache Spark 或 Azure 機器學習）進行廣泛的資料分析至關重要。

相反，資料倉儲具有關係結構。結構或模式根據業務和產品需求進行建模或指定，然後針對 SQL 查詢操作進行審查、一致和最佳化。

數據湖包含各種結構類型的數據，

包括原始數據和未處理的數據，而數據倉庫儲存已為特定目的處理和轉換的數據，隨後可用於提供分析或操作報告。這使得資料倉儲適合提供更統一的 BI 分析並支援預先定義的企業用例。

資料湖 資料倉儲
支援的數據類型 結構化、半結構化、非結構化
關係型、非關係型 結構化
關係
模式 讀取時的架構 寫入時的架構

可擴展性 易於以低成本擴

展 規模化具有挑戰性，成本高昂
資料格式 生的 已加工
範例用例 即時分析、預測分析、機器學習 商業智慧（BI）
雲端與本地資料湖
大多數組織通常在其本 人工智慧數據 地資料中心使用資料湖。然而，現代資料湖通常在雲端架構中運行。

大數據雲端平台的開發以及使用 Spark 和 Hadoop 等工具的眾多託管服務加速了雲端轉型。 Google、微軟和 AWS 等領先的雲端供應商現在為大數據分析應用程式提供技術堆疊。

推動雲端資料湖趨勢不斷擴

大的另一個因素是基於雲端的物件儲存系統的成長，例如 S3。這些服務提供了 Hadoop 分散式檔案系統 (HDFS) 等資料儲存解決方案的替代方案。總而言之，雲端解決方案通常有助於降低資料儲存成本，因此絕對值得考慮。

資料湖架構
本節探討使用資料湖作為中央儲存庫的資料架構。雖然我們專注於基本元件，例如攝取、儲存、處理和消費層，但重要的是要強調目前的資料堆疊可以以各種架構風格建構。

儲存和運算資源都可以部署在本地、雲端或混合部署中，從而提供多種設計選項。了解這些基本層以及它們如何互動將使您能夠設計適合您組織需求的架構。

數據來源

資料來源大致可分為三類：

結構化資料來源－這些是最有組織的資料類型，通常源自於具有明確結構的關聯式資料庫和表格。  資料庫是常見的結構化資料來源。
半結構化資料來源－這種形式的資料在某種程度上是有組織的，儘管它並不完全適合表格框架。範例包括 HTML、XML 和 JSON 檔案。雖然它們可能包含分層或標記結構，但它們需要額外的處理才能正確組織。
非結構化資料來源－此類別包含多種缺乏預定結構的資料類型。非結構化資料可以包括工業物聯網 (IoT) 應用中的感測器資料、視訊和音訊串流、照片以及推文和 Facebook 貼文等社群媒體資訊。

您需要為資料湖提供資料版本控制功能，但不確定 LakeFS 採取了哪些保障措施？如果這聽起來很熟悉，那麼這篇文章適合您。

繼續閱讀以探索您在使用lakeFS等第三方資料版本控制解決方案時可能面臨的潛在風險，並深入了解lakeFS為保護您的資料而採取的所有安全措施。

使用lakeFS有哪些潛在風險？

元資料損壞
當系統視圖、進程和功能因停電、病毒、駭客攻擊、硬體故障、升級失敗、磁碟空間不足、關機問題或其他原因而損壞時，就會發生元資料損壞。

服務中斷
任何雲端服務（例如 Amazon S3）都可能會遇到中斷。這種情況並不常發生，但最近在美國發生的 S3 重大故障中斷了 等許多服務。雖然極度不尋常，但類似的中斷可能會影響您的資料湖營運。

API 故障如果您正在進行提

交或合併操作，當 LakeFS 寫入 S3 儲存桶並且 S3 開始出現 API 故障時，會發生什麼情況？在使用第三方解決方案處理與 S3 儲存桶 英國 WhatsApp 號碼數據 相關的任何內容時，您需要考慮此風險。

LakeFS為確保資料安全所採取的措施
提交合併操作是原子的

使用lakeFS，您可以確保每個

提交和合併操作都是原子的。這意味著他們不能只完成部分。

那麼分支操作呢？另一方面，分支只能從一個完整的提交移動到另一個完整的提交。

元資料描述了提交包含的內容
在lakeFS中，描述提交內容的所有元資料都儲存在物件儲存本身中。因此，如果您使用 S3，您就可以享受S3 的 11 個 9 的耐用性。

儲存命名空間

LakeFS 伺服器通常不會將資料

物件寫入底層物件存儲，因為此任務委託給利用預簽名 URL 的 LakeFS 用戶端。

然而，伺服器確實指示客戶 以建立有關您喜歡和熟悉的主題的影片 端將物件寫入其託管儲存命名空間中的何處。透過這樣做，它有意將資料檔案分散到許多 S3 分區，以減少物件儲存限制的可能性。

將資料安全保障付諸實踐：逐步指南

LakeFS 安全保證增強的流程如下所示：

客戶端向伺服器發出提交 API 呼叫，其中包含儲存庫、分支 ID、訊息和可選元資料。
伺服器記錄分支目前指向的目前提交 ID。

伺服器建立一個新的暫存令

密封分支的目前令牌，以確保排除新的寫入。從現在開始，我們需要提交一組確保不可變的變更。
然後，所有密封的暫存 人工智慧數據 令牌都會序列化到物件存儲，形成與 RocksDB 相容的 SSTable 樹。
寫入提交記錄，指向物件儲存上該樹的根。
完成後，分支指標將被修改為指向我們建立的提交。這是一個原子比較和交換操作：只有在當前提交 ID

仍然是第二步驟中觀察

到的 ID 時，新提交才會生效。
如果第 6 步故障會怎樣？
步驟 6 失敗可能有兩個原因：

寫入 LakeFS 支援 KV 儲存時出現一般錯誤

在這種情況下，伺服器將重試 KV 寫入操作或放棄。提交操作失敗，並且您仍然指向現有提交。

比較和交換謂詞失敗

這意味著有人「比我們先一步」——另一個提交/合併在我們之前成功完成。此時，您可以在第二步重新啟動流程。這確保了原子性並確保正確維護父子關係。就像在 Git 中一樣，每個提交都指向其父級。

包起來
LakeFS 為突然的 S3 停機或 API 故障等情況做好了準備，並提供了作為分支、提交和合併流程一部分的許多保證。

只有數據本身準確、一致且可靠，基於數據的決策才能產生正面影響。高數據品質至關重要，數據品質檢查是組織處理數據的關鍵部分。

這就是dbt 的用武之地。

透過在 dbt 工作流程中實施資料品質測試，您建立的流程不僅可以保護資料的可信度，還可以增強人們對由此產生的見解和決策的信心。

定期執行這些測試有助於及早識

別資料品質問題，從而降低基於不準確或不一致的資料進行有缺陷的分析和不當決策的風險。

dbt 品質檢查到底是什麼？繼續閱讀以找出答案。

什麼是 dbt 資料品質檢查？
dbt（資料建構工具）是一種用 Python 建構的流行開源命令列實用程式。 使資料團隊能夠建置、測試和部署複雜的資料轉換並執行內建的資料品質檢查。這些測試可讓您確認整個資料管道中資料的準確性和一致性。透過 資料品質測試，您可以在將資料用於下游分析之前確保資料正確。

一般來說，測試是 dbt 程式碼庫

中所述的操作，用於審核資料平台上的資料。 生態系統透過額外的套件（例如傳統的 dbt 期望）擴展了開箱即用的測試邏輯。

當 dbt 管道中產生資料集時，該工具會進行審核並根據測試結果（通過、失敗、警告）決定是否建置下一個資料集。如果檢查失敗，您可以指示 dbt 發出警告並繼續建置下游模型，或指定運行應終止並引發異常。

資料來源：dbt

dbt 測試與資料可觀察性
您可能聽說過數據 阿聯酋 WhatsApp 號碼數據 可觀察性，並可能懷疑它與數據測試不同。數據可觀察性是指對已投入生產的數據狀況進行持續監控並識別異常情況。

可觀察性有助於即時發現即時數據品質問題，例如檢查是否：

列中 NULL 值的百分比異常高

分析事件已停止發送數據
匯總收入列會產生預期值的一半
雖然測試和可觀察性是數據品質計劃的關鍵組成部分，但透過測試專注於數據品質預防有助於消除大多數問題。它透過減少出現生產問題時需要處理的噪音來增強生產中的數據監控。

用於資料品質檢查的 dbt 測試類型
通用測試

通用測試是基本 dbt 安裝附帶

的內建模組。核心 dbt 安裝包括四個通用測試：

獨特的
不為空
接受值
關係
通用測試相對簡單地包 副業可以讓你利用你的社群 含在您的測試方法中。您可以在專案資料夾中的檔案中描述通用狀態。

如果您需要更多測試能力怎麼辦？您可以使用外部套件新增更多測試，例如Great Expectations。

自訂通用測試
dbt 允許使用者編寫自己的自訂測試來滿足某些用例。但是，在建立自己的測試之前，請檢查它們是否在

開源解決方案中可用如果您

找到所需的測試，您可以輕鬆地從各種套件中匯入它們。

若要匯入套件（在我們的範例中為，請在專案資料夾中建立一個檔案並包含以下內容：

複製程式碼
packages:

若要安裝 人工智慧數據 此軟體包，請使用以下命令：

複製程式碼
dbt dependencies

如果該套件已正確安裝，您就可以從

中匯入測試了。要使用這些測試，只需將它們新增至您為核心 dbt 通用測試準備的架構 YAML 檔案。

奇異測試
當您需要建立我們自己的自訂測試時，單一測試非常有用。它們是與特定模型相關的 SQL 定義。如果測試成功，它應該產生一個空的結果集。單一測試允許使用者使用自己的用例開發測試。

還允許用戶將他們的單獨測試轉換為通用測試。這些巨集相當於 Python 和 Java 等程式語言中的函數。透過使用 Jinja 模板語言中的宏，該工具可以避免在不同模型之間重複程式碼。

使用 資料品質檢查的好處

使用 資料品質測試具有多種優勢，包括：

增強對資料正確性的信任－對資料執行自動檢查可以讓資料消費者對其品質和完整性更有信心。
及早識別資料品質問題—透過使用 dbt 資料品質檢查，您可以在資料管道中及早發現錯誤，避免它們對下游造成困難。
更快解決資料品質問題– 透過使用自動化測試，您可以快速檢測和處理資料品質問題，從而騰出團隊的時間進行更具策略性的活動。

我很高興與大家分享 LakeFS Mount 現已推出。 LakeFS Mount 允許將儲存庫（或儲存庫中的特定路徑）安裝為本機檔案系統。

為什麼選擇lakeFS山？
在本地處理大型資料集可以對執行和工作流程進行更多控制。

然而，這可能會帶來一些需要 LakeFS Mount 幫助解決的權衡：

Git 整合– 在 Git 儲存庫中安裝路徑會自動追蹤資料版本，並將其與您的程式碼連結。檢查較舊的程式碼版本時，您將獲得相應的資料版本，從而防止僅本地成功。
速度——保證資料一致性和效能。 LakeFS 預取會在亞毫秒內將元資料提交到本機快取中，讓您可以立即運作，而無需等待大型資料集下載。

智慧型－lakeFS Mount 有效率地

利用緩存，準確預測哪些物件將被存取。這樣可以在處理開始之前對元資料和資料檔案進行精細預取。
一致性－在本地工作存在使用過時或不正確的資料版本的風險。透過 Mount，您可以使用一致、不可變的版本，確保您確切地知道正在使用的資料版本。
讓我們探討一下促使我們開發lakeFS Mount 的技術細節。

什麼是坐騎？

檔案系統掛載是將本機裝置或遠端位置呈現為本機目錄的能力。它是所有作業系統都提供的基本功能，並被系統管理員和開發人員廣泛使用。

掛載物件存儲
將物件儲存位置安裝為 POSIX 目錄並不是新概念（請參閱S3 Mountpoint、gcs-fuse和blobfuse）。這些

工具在物件儲存之上提供了一個

抽象層，使其能夠在電腦上顯示為目錄。讀取和寫入物件的行為與從本機磁碟機讀取和寫入檔案完全相同。這樣做的好處有幾個原因：

易於整合：通常，與物件 土耳其 WhatsApp 號碼數據 儲存互動需要 SDK 和自訂程式碼來處理網路呼叫、身份驗證和配置。另一方面，讀取和寫入本機檔案無所不在，幾乎所有框架、工具或語言都支持

相容性：這種方法允許開發人

員實作一次邏輯，使用本機目錄，然後在需要時將該目錄切換到已安裝的物件儲存。
關注點分離：資料科學家可以擔心業務邏輯，而不必擔心 IO 可擴展性，而軟體開發人員和操作員可以透過簡單地用掛載替換輸入目錄來採用該邏輯並進行更大規模的應用。
然而，雖然這些好處是真實的，但現有的物件儲存掛載解決方案在效能和一致性方面往往存在不足，尤其是在機器學習和深度學習環境中使用時。在本文中，我們將回顧現有物件儲存掛載解決方案的不足，以及

為何lakeFS作為資料版本控制系

統最適合提供高效能且一致的物件儲存掛載。

為什麼安裝對象儲存通常會導致效能不佳
應用程式（和庫）期望 的男孩正在修剪草坪 割草 檔案系統元資料操作非常便宜
以下是一個簡單的範例：請參閱在 ML 應用程式中常見的一小段程式碼：

讓我們運行一下strace看看它的作用：

複製程式碼

請參閱下面的摘要，我們發現一行 Python 實際上觸發了 64,344 個檔案系統操作，只是為了查找元資料。

現在，假設每個此類操作都必 人工智慧數據 須轉換為具有約 10-50 毫秒延遲的HTTP 呼叫（目前平均延遲為 31 微秒）。即使在我們讀取單一位元組的實際資料之前，這也會大大減慢我們的腳本速度。

一些實作（例如S3 Mountpoint）透過允許使

用者透過快取元資料回應犧牲一些一致性來提高效能，從而克服了這個問題。

這減輕了部分延遲，但不是全部 – 許多應用程式仍然會嘗試stat每個檔案（或readdir每個目錄），期望此操作非常便宜 – 快取將有助於每個檔案只執行一次此操作，但每個第一次遇到的文件仍然會產生不可避免的往返。

（深度學習）應用程式通常會讀取多次相同文件
訓練深度神經網路需要在訓練網路時多次傳遞相同的輸入，因此實際上它的瓶頸通常是 I/O，而不是那些昂貴的 GPU。實際上，這意味著相同的文件在相對較快的連續時間內被訪問數千次。最佳地為 GPU 提供資料不僅取決於整體吞吐量（物件儲存在這方面表現出色），還取決於延遲。

品質可以從您在筆記本上編寫程式碼的那一刻開始。單元測試是使筆記本中的程式碼更加一致和更高品質的好方法。

一般來說，單元測試——頻繁且儘早測試獨立程式碼單元（例如函數）的做法——是儘早實施的良好做法。它可以幫助您更快地識別程式碼問題，更早地檢測到有關程式碼的錯誤假設，並組織您的開發工作。

什麼是傳統的單元測試以及如何

在筆記本中實現它們？閱讀本文，了解單元測試的好處，並取得在筆記本中建立和運行單元測試的逐步指南。

什麼是單元測試及其好處？
單元測試，也稱為功能測試，是一種用於驗證各個原始碼單元的測試方法。測試至關重要，因為它可以讓

您檢查程式碼是否有任何問

題編寫單元測試可以為您的程式碼提供安全網，因為單元測試旨在在出現問題時通知您，以便您可以修復它。

單元測試的主要目標是透過確 泰國 WhatsApp 號碼數據 認每個單獨的模組（例如函數和過程）是否按預期運行來確保對程式碼的任何修改或升級不會導致不可預見的錯誤。

單元測試的主要好處：

它透過測試應用程式的每個模組和功能來檢查程式碼是否正確，從而提高程式碼的品質
它加快了開發進程
在開發週期中及早發現缺陷可減少費用
透過此測試，開發人員能夠更好地掌握他們的程式碼庫，從而加快錯誤修復速度。
單元測試允許重複使用程式碼。

從長遠來看，它有助於節省時

間和資源，因為它有助於相對較早地檢測編碼缺陷。
為什麼單元測試對於克 線上商店可以幫助您銷售手工藝品並 服資料科學挑戰至關重要？
單元測試是確保最終產品與輸入規格之間一致性的關鍵步驟。它還在減少數據項目的不確定性方面發揮關鍵作用。

資料科學家或資料工程師通常

會在應用程式的開發階段進行單元測試，以檢查系統是否按預期運作以及輸出與輸入資料是否一致。

單元測試的工具和框架

您可以直接在筆記本中使

用Python標準測試工具，例如doctest和unittest 。

unittest單元測試框架的主要靈 人工智慧數據 感來源是 JUnit，它具有與其他語言編寫的流行單元測試框架類似的特徵。

它有助於測試自動化、測試獨立

於報告系統、共享測試設定和關閉程式碼以及測試集合聚合。

doctest模組尋找看似互動式 Python 會話的文字段落。然後它運行這些會話以確保一切正常運行。 doctest 有許多典型應用：

檢查所有互動式範例是否繼續

按描述運行，以確保模組的文件字串保持最新。
執行迴歸測試以確認測試對像或測試文件中的互動式範例按預期執行。
為套件建立指導性文檔，嚴重依賴輸入輸出範例。這具有“可執行文件”或“文字測試”的味道，這取決於範例還是解釋性文字是否更突出顯示。
您是否正在考慮使用另一台筆記型電腦？看看這些Jupyter 筆記本替代品。

持續整合/持續交付 (CI/CD) 可協助軟體開發人員在滿足業務需求的同時遵守程式碼的安全性和一致性標準。如今，CI/CD 也是資料工程最佳實踐之一，團隊用來保持資料管道有效率地提供高品質資料。

什麼是 CI/CD 管道以及如何實施它？繼續閱讀以找出答案。

什麼是 CI、CD 和持續部署？

在我們繼續探索 CI/CD 管道之前，讓我們先仔細看看 CI/CD 背後的方法。

什麼是持續整合（CI）？
使用持續整合 (CI)，團隊可以在向主程式碼分支或共用儲存庫提交大量變更的同時維護版本控制。它允許快速開發，同時防止合併衝突、問題和重複。

除了確保主分支始終保持最新

之外，資料庫持續整合還可以為較小的 台灣 WhatsApp 號碼數據 資料庫變更建立臨時的、隔離的側分支或功能分支，這些變更稍後可能會整合到主分支中。

什麼是持續交付（CD）？
持續交付是自動準備程式碼變更以發佈到生產的過程。它透過在建置階段之後將所有程式碼變更部署到生產環境來建置持續整合。

團隊可以使用持續交付跨

多個維度驗證應用程式更改，這使開發人員能夠在單元測試之外實現自動化測試。這些測試可以包括負載測試、整合測試、使用者介面測試、API 可靠性測試 – 所有這些都有助於及早發現問題並驗證更新。

什麼是持續部署？
作為持續部 關鍵在於將您的技能和熱情與市場需 署過程的一部分，應用程式的程式碼更新會自動部署到生產環境中。

一組預先編寫的測試用作自動化

的引擎。在軟體使用者通過這些測試後，系統會直接向他們提供最新的更新。

透過消除編碼和客戶價值之間通常發生幾天、幾週甚至幾個月的延遲，持續部署可以加快上市時間。

什麼是 CI/CD 管道？
持續整合/持續交付 (CI/CD) 管道是與部署相結合的自動化程式碼開發和測試流程。它允許團隊更快地創建、測試和部署應用程式。

此流程透過自動將應用程式發

佈到適當的環境來確保應用程式始 人工智慧數據 終可供客戶使用。自動化測試和建置可確保儘早發現錯誤並快速修正，從而保留高品質的軟體或資料。

使用 CI/CD 資料管道將資料庫

架構和邏輯變更整合到您的應用程式開發過程中。

將 CI/CD 理解為寫入-審核-發布 (WAP)
在資料工程中，寫入-審核-發布(WAP) 範式允許團隊更好地控制資料品質。

確保使用者資料的可靠性是

WAP的根本目標。這是透過在資料處理後、客戶可以存取資料之前驗證資料來實現的。我們將其稱為一種模式，因為實際實現將根據技術平台、架構佈局和其他可能衝突的需求的具體情況而有很大差異。

寫入-審核-發布很有用，因為它可以確保資料使用者可以信任他們使用的資訊。以程式方式強制執行資料

品質的多個方面（例如 NULL 是

否出現在不應出現的位置）很簡單。欄位是否落在預測範圍內？透過這樣做，我們可以防止在公開處理的資料並在發現錯誤後將其刪除或修正時可能發生的信心受到侵蝕的情況。

這是其工作原理的範例
我們的用戶最初僅查看目前可用的數據。它正在等待處理新數據。

如今，數據團隊面臨的一個常見問題是如何在數據環境中工作時避免踩到隊友的腳趾。資料資產通常像共用資料夾一樣處理，任何人都可以存取、編輯和寫入。這會導致衝突的變更或意外覆蓋，從而導致資料不一致或工作損失。

但這個問題並不新鮮。軟體開發團隊在原始碼協作時多年來一直面臨這個問題。幸運的是，他們還開發了一個解決方案：版本控制。

如今，很難想像沒有原始碼版

本控制的成功開發專案。

數據世界正迅速迎頭趕上。數據版本控制系統是數據協作的推動者。如果您是擁有兩名或更多成員的資料團隊的一員，或者您希望改善資料環境中的協作，請繼續閱讀以了解資料環境中良好協作的影響以及如何使用 LakeFS 實現它。

什麼是數據協作？

數據協作是指屬於數據團隊一部分的數據從業者之間以及數據團隊與更廣泛組織的合作。它要求團隊密切合作，共享資訊和見解以實現共同目標。

數據合作是一個重要的業務組成部分，因為它使公司能夠在可用數據量呈指數級增長的環境中保持競爭力。

軟體工程師在開發過程中進行協作。他們通常自己編寫程式碼，邊寫邊解釋並記錄。在自己喜歡的程式設計環境中磨練程式碼後，他們透過獨立的原始碼控制平台（例如 GitHub、GitLab 等）與其他人分享自己的工作成果。

聽起來輕而易舉，不是嗎？

嗯，這不適用於數據團隊。

資料從業人員不會從 A 點到 B 點。 他們回應查詢、找出根本問題、進行研究，通常會在沒有明確目的地或路線圖的情況下穿過未知領域。因此，與團隊成員和利害關係人的合作發生在流程的早期。

數據協作可以分為以下兩組之一：

協作類型 描述
團隊協作 通常會異步發生，並重視品質保證、監控和記錄專案進度等方面。

組織協作 在這裡，專案與技術

和非技術的利害關係人共享，共同塑造企業隨著時間的推移保存、安排、利用資料專案並從中受益的方式。
成功數據協作的好處
數據協作就是在團隊成員 瑞典 WhatsApp 號碼數據 之間交換資訊和想法，以創造協作環境並做出明智的決策。

增強決策能力
協作使團隊能夠存取即時數據，使他們能夠做出符合組織整體目標的明智決策。共享數據使團隊能夠降低根據有限、過時或不完整的資訊做出決策的風險。

簡化的工作流程

協作無需手動輸入數據​​，可協助組織簡化工作流程。資料協作工具和技術可實現營運自動化，節省手動資料輸入時間，同時提高資料準確性和可靠性。

增加創新
這種類型的合作促進了創新氛圍。數據合作透過為團隊提供多種觀點來促進創新的問題解決。團隊合作可以發展出新的想法，進而帶來更好的決策和業務成果。

數據協作最佳實踐
最佳數據協作其實是什麼樣的？對於希望加強合作的團隊來說，以下是四個關鍵考量：

與lakeFS的數據協作
1. 同步團隊合作
團隊必須使不同團隊的多人能夠處理資料資產，而不會發生衝突或失去工作。

2. 維護資料治理組織遵守資

料治理政策以保護隱私並遵守 GDPR 等法規。資料存取控制是資料治理流程的關鍵部分。資料協作應與治理政策保持一致，並確保 這將有助於塑造和改進您的業務理 正確的人員可以存取正確的資料。這就是基於角色的存取控制 (RBAC)和資料策略派上用場的地方。

3. 共享特定數據版本
溝通是協作的重要組成部分。當涉及不斷變化的數據時，在通訊中引用數據集是不夠的。我們需要指定我們使用的資料的版本，以便我們實際上談論相同的資料集。今天的數據不是一週前的數據。就像我們傳達軟體產品中的問題一樣，我們總是指定軟體的版本。當我們溝通數據時，我們需要指定數據的版本。

數據版本可以輕鬆展示工

作和實驗。團隊成員應提供可靠的靜態參考，以確保一致性並增強協作。

4. 清除變更歷史記錄
團隊成員應該能夠追蹤數據進行 人工智慧數據 了哪些更改、時間以及原因。透過存取更改歷史記錄，您可以維護透明且負責任的資料修改記錄，並實現過去事件的完全再現。

您如何在實務中實施這些？透過整合資料版本控制！

Git在軟體開發領域的成功可以

歸因於它對開發人員所需的工程最佳實踐的大力支持，具體來說：

在專案開發過程中能夠一起工作
如果發生錯誤，將程式碼儲存庫還原到先前的版本
重現並解決特定程式碼版本的問題
不斷整合和發布新程式碼（編寫-審核-發布）
借助 LakeFS，數據從業者現在可以使用簡單、直觀的類似 Git 的介面輕鬆管理數據，該介面提供了他們所缺少的精確優勢：

能夠同時處理資料資產，不會發生衝突或遺失工作。
如果發生錯誤，可以輕鬆恢復到先前版本的數據，確保用戶能夠存取高品質的數據。

人們可能會認為大型語言模型 (LLM) 無需任何額外工作即可提供商業價值，但這種情況很少見。企業可以透過添加自己的數據來充分利用這些模型。

為此，團隊可以使用一種稱為檢索增強生成 (RAG) 的技術。什麼是 RAG 管道？繼續閱讀以找出答案！

什麼是 RAG 管道？
檢索增強生成 (RAG) 是一種優化大語言模式輸出的技術，模型在產生回應之前會查閱其訓練資料來源之外的可靠知識庫。

大型語言模型 (LLM) 在訓練過程中

使用數十億個參數和大量數據，為語言翻譯、句子完成和問答等任務產生獨特的輸出。

RAG 將法學碩士本已強大的功能擴展到特定領域或組織自己的知識庫，而無需重新訓練模型。這是一種價格合理的方法，可以提高法學碩士的輸出，並透過相關資訊確保其在各種情況下保持相關性、準確性和有用性。

RAG 管道使用非結構化資料

作為來源，這些資料可以跨資料庫和資料湖以各種不同的格式儲存。這種管道的目標是建立一個值得信賴的向量搜尋索引，其中充滿了準確的資訊和相關的上下文。

透過這樣做，您可以確保龐大的語言模型始終具有適當回應需要外部知識來源資訊的使用者查詢所需的上下文。

向量資料庫是管道的終點

整個過程中的各種轉換和文件預處理階段也有助於實現可擴展、可靠的 RAG 架構。

RAG 管道的組件
1. 食入
最初，檢索增強生成管道 西班牙 WhatsApp 號碼數據 接收來自各種來源的原始數據，包括資料庫、論文和即時回饋。LangChain提供了一系列文件載入器，可從眾多來源載入多種格式的數據，並對這些數據進行預處理。

原始文件並不總是您所認為的

普通文件（文字文件、PDF 等）。 LangChain可以從CSV檔案、電子郵件、Confluence等匯入資料。

2. 提取
我們必須將提取邏輯合併到 RAG 管道中，因為許多非結構化資料來源需要進行一些處理來提取儲存在其中的自然語言文字資料。

從資料來源取得的資料可能不會立即發揮作用。例如，將 PDF 文件轉換為可用文字是一項眾所周知的挑戰。

在簡單的場景中，使用開源庫預

處理相關文件效果很好。但是，要將提取的自然語言安排為更接近人類閱讀頁面的格式，您可能需要依賴更專門為複雜 PDF 的知識密集型自然語言處理 (NLP) 操作而設計的東西。

其他尖端選擇，例如AWS Textract，依靠機器學習和基於神經網路的解決方案來推動這一過程。

3、轉型
文件在載入後經常會被 能齊全的網站變得簡單而高 更改。材料分割是一種將冗長的材料分成可管理的塊的轉換技術。

如果您希望將文字放入 e5-large-v2 嵌入模型中，則需要執行此操作，該模型的最大標記長度為 512。

4. 分塊/嵌入一旦吸收，資料需

要轉換成系統可以有效處理的格式。資料必須轉換為高維向量或文字的數字表示，才能產生嵌入。

儘管這是兩個獨立的過程，但分塊和嵌入是相互關聯的。分塊是將來源資料中提取的內容劃分為一系列文字片段的過程。

當涉及檢索增強生成時分塊方

法至關重要，因為 RAG 將使用您在此階段編寫的文字區塊在運行時為 LLM 提供上下文。

嵌入的過程涉及將文字區塊轉換為文件嵌入，然後將其儲存在向量資料庫中。這些向量是使用 Mistral AI 等企業或 OpenAI 提供的各種嵌 人工智慧數據 入模型之一產生的，例如

儘管企業正在嘗試針對銀行或法律等特定領域的用例微調這些模型，但大多數嵌入模型都是通用的。

向量資料庫是保存產生的嵌入

和處理的資料的專用資料庫。由於它們對向量化資料的最佳處理，這些資料庫允許快速搜尋和資料檢索。如果資料儲存在 Milvus 等 RAPIDS RAFT 加速向量資料庫中，則在即時互動過程中資料將始終可用且及時存取。

4、堅持
嵌入模型通常會產生每個向量具有一定維度的向量。在向量資料庫中建立搜尋索引時，您通常會選擇搜尋索引的維度。輸入索引的新資料必須滿足所需的維度長度

5. 清爽
填充向量資料庫後，您將需要考慮如何保持向量資料和用於填充它的來源資料之間的同步。

如果您跳過此步驟，您的語言模型將為使用者查詢產生不準確的答案。您最終將遇到檢索增強生成用例的問題，因為正在檢索的文檔不再是最新的。

機器學習團隊面臨許多障礙，從缺失值的資料來源到實驗再現性問題。MLflow是一個讓這一切變得更容易的工具。由於其託管的 MLflow 產品， Databricks使其使用變得更加簡單。

託管 MLflow 擴充了 MLflow 的功能，重點是可靠性、安全性和可擴充性。繼續閱讀以了解有關 Databricks 上的 MLflow 以及如何新增資料版本控制以實現實驗可重複性的更多資訊。

Databricks 上的 MLflow 是什麼？

MLflow 是一個管理整個機器學習生命週期的開源平台。它包含以下元件：

成分 它的作用
追蹤 此功能可讓您記錄和比較多次測試的參數和結果。

型號 您可以維護模型並將其

從一系列機器學習庫部署到各種模型服務和推理平台。
專案 這允許您以可重複使用、可重現的格式打包機器學習程式碼，以便與其他資料科學家共用或部署在生產中。
模型註冊表 它集中了一個模型存儲，用於管理模型從暫存到生產的整個生命週期階段轉換，並包括版本

控制和註釋功能 Databricks 提

供使用 Unity Catalog 的託管版本。
模特兒服務 這使您能夠將 MLflow 模型託管為 REST 端點。 Databricks 提供了部署、管理和查詢 AI 模型的統一介面。
ML流
來源：MLflow

Databricks 提供完全託管的 MLflow 版本

配備企業安全措施、高可用性以 南非 WhatsApp 號碼數據 及額外的 Databricks 工作區功能，例如實驗和營運管理以及筆記型電腦修訂記錄。

Databricks 上的 MLflow 的優勢
模型開發

Databricks 上的 MLflow
資料來源：Databricks

生產就緒模型的統一框架有助於

改善和加速機器學習生命週期管理。託管 MLflow Recipes 可實現平滑的 ML 專案啟動、快速迭代和大規模模型部署。

透過MLflow的LLM服務，您可以輕鬆開發與LangChain、Hugging Face和OpenAI順暢互動的生成式AI應用程式。

實驗追蹤

Databricks 上的託管 MLflow
資料來源：Databricks

此功能允許使用者使用任何機器學

習庫框架或語言運行實驗，並且每個實驗的參數、指標、程式碼和模型都將自動追蹤。

由於與 Databricks 工作區和筆 輯音訊以消除錯誤並根據需要添加音 記本的內建連接，MLflow 可讓您安全地共享、管理和比較實驗結果，以及匹配工件和程式碼版本。透過 MLflow 的評估功能，您還可以查看 GenAI 試驗的結果並提高其品質。

模型管理

MLflow模型管理
資料來源：Databricks

使用單一位置來識別和共享 ML 模型

協作從實驗到線上測試和生產的過渡，與批准和治 人工智慧數據 理程序以及編寫-審核-發布管道鏈接，並追蹤 ML 部署和性能。

模型註冊表促進技能和知識的交流，同時讓您保持掌控。

模型部署

模型部署MLflow
資料來源：Databricks
此功能可讓您輕鬆部署生產模型，以便在 Apache Spark 或 REST API 上進行批次推理，並與 或 Amazon SageMaker 內建整合。

Databricks 上的託管 MLflow 可讓您使用

作業排程器和根據業務需求成長的自動管理叢集來操作和監控生產模型。

MLflow 的最新改進可順利捆綁 應用程式進行部署。 模型服務可讓您擴展聊天機器人和其他 GenAI 應用程式。

如何在 上執行 項目
如果您已經是 Databricks 客戶，則可以透過 Databricks 工作區存取 服務。

注意： 中的 MLflow API 與開源版本相同，因此您可以在 或您自己的基礎架構上執行相同的程式碼。

我們很高興地宣布推出lakeFS Mount，這是一款功能強大的新lakeFS客戶端，旨在簡化您的資料工作流程。

LakeFS Mount 讓您可以將 LakeFS 儲存庫（或儲存庫中的路徑）作為本機目錄安裝在任何工作站或伺服器上，為您的資料操作 帶來前所未有的輕鬆和高效。

但安裝到底是什麼意思呢？

掛載檔案系統是指使儲存在遠端位置（如物件儲存）的資料看起來就像是本機檔案系統的一部分，從而無需安裝和配置 SDK 以及編寫自訂資料載入程式碼即可實現無縫存取。

掛載lakeFS儲存庫

LakeFS Mount 適合誰？
LakeFS Mount是為資料科學家和機器學習從業者量身定制的。無論您是製作模型原型、運行複雜的實驗還是從頭開始訓練大型模型，lakeFS Mount 都能讓您的生活變得更輕鬆。讓我們更詳細地了解 3 個常見好處。

透過無縫整合簡化工作流程

LakeFS Mount 的突出功能之一是它能夠與您現有的程式碼和工作流程順利整合。無需進行大量修改或重寫。透過簡單地安裝lakeFS儲存庫，任何可以 新加坡 WhatsApp 號碼數據 讀寫檔案的現有程式碼現在都可以存取lakeFS。這意味著您可以繼續使用您最喜歡的工具和函式庫，而不會受到任何干擾。

在實踐中，這意味著大多數機

器學習專案可以從構思和早期實驗（在本地目錄中使用小型資料集）一直到生產（需要大型分散式存儲，所有這些都使用完全相同的程式碼。

當事情從開發轉向生產時

這減少了「它在我的機器上運行」類型的 線玩視頻遊戲時進行直播來賺 驚喜。在這種情況下，程式碼必須更改以使用更複雜的儲存形式 – 更不用說所使用的庫根本不支援所需的物件儲存介面（或效能較差）的情況。

性能針對高要求的數據科

學家進行了最佳化
雖然 LakeFS Mount 非常容易使用，但它不會影響效能。它採用高級 I/O 模式，例如：

元資料預取：利用lakeFS的高效 人工智慧數據 元資料儲存來避免昂貴的伺服器往返來列出和聲明文件
內容可尋址檔案快取：根據其 LakeFS 身分有效快取數據，以允許快速隨機訪問

延遲獲取：僅在實際需要

時獲取數據，優化速度和資源使用
這些優化確保 LakeFS Mount 可以處理最苛刻的工作負載，防止昂貴的 GPU 在訓練運行期間因物件儲存存取時間而成為瓶頸。詳細了解LakeFS Mount 如何針對高效能和深度學習工作負載進行最佳化。

加速開發和生產工作流程

借助 LakeFS Mount，與外部資料來源整合的負擔已成為過去。這使您可以專注於您最擅長的事情：建立和部署創新的機器學習模型。在生產中，lakeFS Mount 的效能最佳化可確保您的模型高效運行，從而充分利用您的硬體投資。