現代化統一中繼資料架構：打破資料孤島的新方法

場次筆記

打破資料孤島的簡史

• 1980 年代後期：資料倉儲
• 2011：資料湖
• 2020：湖倉一體（Lakehouse）的目標
• 實現 SSOT（Single Source of Truth，單一真相來源）
• 全面管理資料
• 排除資料外洩、資料驅動型企業合規等風險。雲端與區域中的新資料孤島：沒有人喜歡供應商「鎖定」
• 如果資料部署在不同的雲端供應商：
• 難以一起處理
• 移動成本高昂：沒有人喜歡地理分散式資料，
• 但資料會隨著企業走向國際化：
• 法規要求
• 跨洋傳輸成本：不只是「資料存取」——你看得見的資料
• 技術與商業資料
• 法律保全資料：你忽略的中繼資料
• 第三方資料
• PII 與 PI 資料
• 憑證
• IP 資料：資料管理功能
• 資料連接：連接至最重要的資料。
• 資料權利自動化：將端對端資料權利請求與報告自動化。
• 中繼資料增補：以商業與營運中繼資料增補技術中繼資料，提供完整可見性。
• 資料探索：自動尋找、分類並繪製所有資料的分布位置，無論資料位於何處。
• 資料分類：在更多位置自動分類更多類型的資料。
• 資料生命週期管理：簡化並自動化從蒐集到銷毀的資料生命週期管理。

什麼是 Gravitino

新一代 Data/AI 統一資料目錄

整合：

• Trino
• Spark
• Flink
• Doris
• ClickHouse
• PyTorch
• TensorFlow：使用 Gravitino 元件的中繼資料湖：
• Hive Metastore
• 內建 Catalog
• Schema Registry
• Fileset 管理
• Model Catalog 資料來源：
• Hadoop 資料湖
• 資料倉儲
• 串流處理
• 非結構化資料
• 機器學習：要解決的問題
• 掌握所有資料的「全貌」
• 即使資料以各種方式分散與使用，仍能實現資料的 SSOT
• 在單一位置進行資料治理，並在所有位置保護及稽核資料：新一代資料目錄是新型開放資料架構的核心。

Gravitino 架構

功能層：

• 統一處理
• 統一治理介面層：
• 統一 REST API
• Iceberg REST API：採用物件模型的核心：
• Metalake
• Catalogs
• Schemas
• 物件類型：Table、Fileset、Model、Topic：連線層：
• Connections：中繼資料儲存
• 支援的資料類型（底層）：
• 表格式資料
• 檔案
• 模型
• 訊息佇列

使用 Gravitino 處理表格式與非表格式資料

表格式資料（透過 connectors）

• 引擎：Spark
• 操作：Create、Load、Alter、Drop
• API：統一表格式 API Schema（struct）：
• name: string
• comment: string
• properties: map<string, string> Table（struct）：
• name: string
• columns: Column[]
• partitioning: Transform[]
• distribution: Distribution
• sortOrder: SortOrder[]
• indexes: Index[] 相關定義：
• Transform, Distribution, SortOrder, Index, Type

非表格式資料

• 引擎：Spark、PyTorch、Ray、TensorFlow
• 檔案系統：Gravitino Virtual FileSystem、Python FileSystem
• 操作：Create、Load、Alter、Drop
• API：統一非表格式 API Schema（struct）：
• name: string
• comment: string
• Properties: map<string, string> Fileset（struct）：
• name: string
• storageLocation: string
• type: Type 儲存位置：
• S3, HDFS, ADLS, GCS

應用情境

湖倉一體聯邦（Lakehouse Federation）

• 多雲端、多引擎及多格式
• Lakehouse Federation 的開放式解決方案：平台能力
• 分析
• 機器學習
• 360° 視圖
• 應用程式查詢／語言工具
• SQL
• Python
• R：核心功能
• Gravitino Data Connector
• 跨多雲端、多格式與多引擎的聯邦查詢。

讓資料與 AI 團隊無縫協作

角色：

• 資料工程師
• 資料科學家
• AI 工程師：使用情境：
• 資料工程師與資料科學家或 AI 工程師之間的高效協作
• 資料科學家取得異質資料來源的統一中繼資料定義
• 資料工程師使用中繼資料處理資料
• 適用於多個 AI 框架的統一中繼資料
• 統一安全控制：核心技術：
• Gravitino：外部因素：
• 技術
• 通訊
• ETL
• 物聯網
• 自動化
• 網路：資料與工具：
• [ 1 ] 資料匯入：
• Spark
• HDFS Client
• S3 SDK
• [ 2 ] 模型訓練：
• Tensorflow
• Pytorch
• Ray
• Gravitino Python 程式庫
• [ 3 ] 資料類型：
• 結構化資料
• 非結構化資料：Gravitino 功能：
• Gravitino IO（資料讀取與寫入）
• Gravitino ACL（存取控制）

Gravitino Next——中繼資料驅動的動作系統

• Catalog 服務
• API：Unified REST API、Iceberg REST API
• 元件：Catalog、Schema、Table、Fileset、Model、Topic
• 連線：連接各種資料來源（資料庫、檔案）的 connectors：Gravitino Next
• Catalog 服務
• API：Unified REST API、Iceberg REST API
• 元件：Catalog、Schema、Table、Fileset、Model、Topic、Policy
• Job 系統項目：包含的 Job 系統：
• Policy 系統
• 統計系統
• Job 系統
• Action 框架：Action 框架項目：
• TTL Action
• Compaction Action
• Clustering Action