在當今數據驅動的世界中，隨著數據呈指數級增長，組織面臨著巨大的挑戰。其中之一是資料儲存。
分析系統中的傳統資料儲存方法價格昂貴，並且可能導致供應商鎖定。這就是資料湖儲存大量資料的地方，而成本只是典型資料庫或資料倉儲的一小部分。
採用資料湖方法使企業能夠輕鬆管理其龐大的資料庫，從而在日益以資料為中心的環境中保持競爭力。
但是資料湖實施從哪裡開始呢？
繼續閱讀以了解有關資料湖的所有基本知識，並使用這個極其強大的解決方案啟動您的資料策略。
什麼是資料湖？
資料湖特性
資料湖是一個集中式儲存庫，旨在以其自然的原始格式儲存大量數據，無論是結構化、半結構化還是非結構化資料。資料湖的多功能性可以更輕鬆地滿足組織中不斷變化的資料類型和分析要求。
資料湖使用扁平化設計，而不是
像資料倉儲那樣典型的層次結構和預定模式。使用資料工程方法（例如物件儲存）、提供元資料標記、合併唯一識別碼、簡化資料檢索 越南 WhatsApp 號碼數據 並提高整體效能，可使此結構更有效率。
如果大數據的複雜性讓您目前的系統無法處理，那麼資料湖可能就是您需要的解決方案。
資料湖、資料倉儲、雲端資料湖
資料湖與資料倉儲有何不同？什麼時候該使用哪一個？
雖然資料湖和資料倉儲共享儲存和分
析資料的能力，但它們具有不同的專業化和用例。這就是為什麼企業級組織的分析生態系統通常包括資料湖和資料倉儲。兩個儲存庫協作提供安全的端到端系統，用於儲存、處理和更快地獲取見解。
數據湖從各種來源收集關係和非關係數據，包括業務應用程式、行動應用程式、物聯網設備、社交媒體和串流媒體，無需在讀取數據之前指定數據的結構或模式。
讀取模式可確保所有資料類型都可以
以其原始形式保存。因此，資料湖可以容納各種大小的資料類型，從結構化到半結構化再到非結構化。資料湖的適應性和可擴展性使其 概念中的資料庫 對於使用各種運算處理工具（例如 Apache Spark 或 Azure 機器學習）進行廣泛的資料分析至關重要。
相反，資料倉儲具有關係結構。結構或模式根據業務和產品需求進行建模或指定，然後針對 SQL 查詢操作進行審查、一致和最佳化。
數據湖包含各種結構類型的數據，
包括原始數據和未處理的數據，而數據倉庫儲存已為特定目的處理和轉換的數據，隨後可用於提供分析或操作報告。這使得資料倉儲適合提供更統一的 BI 分析並支援預先定義的企業用例。
資料湖 資料倉儲
支援的數據類型 結構化、半結構化、非結構化
關係型、非關係型 結構化
關係
模式 讀取時的架構 寫入時的架構
可擴展性 易於以低成本擴
展 規模化具有挑戰性，成本高昂
資料格式 生的 已加工
範例用例 即時分析、預測分析、機器學習 商業智慧（BI）
雲端與本地資料湖
大多數組織通常在其本 人工智慧數據 地資料中心使用資料湖。然而，現代資料湖通常在雲端架構中運行。
大數據雲端平台的開發以及使用 Spark 和 Hadoop 等工具的眾多託管服務加速了雲端轉型。 Google、微軟和 AWS 等領先的雲端供應商現在為大數據分析應用程式提供技術堆疊。
推動雲端資料湖趨勢不斷擴
大的另一個因素是基於雲端的物件儲存系統的成長，例如 S3。這些服務提供了 Hadoop 分散式檔案系統 (HDFS) 等資料儲存解決方案的替代方案。總而言之，雲端解決方案通常有助於降低資料儲存成本，因此絕對值得考慮。
資料湖架構
本節探討使用資料湖作為中央儲存庫的資料架構。雖然我們專注於基本元件，例如攝取、儲存、處理和消費層，但重要的是要強調目前的資料堆疊可以以各種架構風格建構。
儲存和運算資源都可以部署在本地、雲端或混合部署中，從而提供多種設計選項。了解這些基本層以及它們如何互動將使您能夠設計適合您組織需求的架構。
數據來源
資料來源大致可分為三類：
結構化資料來源－這些是最有組織的資料類型，通常源自於具有明確結構的關聯式資料庫和表格。 資料庫是常見的結構化資料來源。
半結構化資料來源－這種形式的資料在某種程度上是有組織的，儘管它並不完全適合表格框架。範例包括 HTML、XML 和 JSON 檔案。雖然它們可能包含分層或標記結構，但它們需要額外的處理才能正確組織。
非結構化資料來源－此類別包含多種缺乏預定結構的資料類型。非結構化資料可以包括工業物聯網 (IoT) 應用中的感測器資料、視訊和音訊串流、照片以及推文和 Facebook 貼文等社群媒體資訊。