现代统一元数据架构：打破数据孤岛的新方法

场次笔记

打破数据孤岛的简史

• 1980 年代后期：数据仓库
• 2011：数据湖
• 2020：湖仓一体（Lakehouse）目标
• 实现 SSOT（Single Source of Truth，单一事实来源）
• 全面管理数据
• 消除数据泄露、数据驱动型企业合规等风险。云和区域中的新数据孤岛 没有人喜欢被供应商“锁定”
• 如果数据部署在不同的云服务提供商：
• 难以一起处理
• 迁移成本高昂 没有人喜欢地理分布式数据，
• 但数据会随着企业走向国际化：
• 法规要求
• 跨洋传输成本 不只是“数据访问” 你看到的数据
• 技术和业务数据
• 法律保全数据 你忽略的元数据
• 第三方数据
• PII 和 PI 数据
• 凭证
• IP 数据 数据管理功能
• 数据连接：连接最重要的数据。
• 数据权利自动化：自动执行端到端数据权利请求和报告。
• 元数据丰富：使用业务和运营元数据丰富技术元数据，实现全面可见。
• 数据发现：自动查找、分类并映射所有数据，无论数据位于何处。
• 数据分类：在更多位置自动对更多类型的数据进行分类。
• 数据生命周期管理：简化并自动执行从收集到销毁的数据生命周期管理。

什么是 Gravitino

面向 Data/AI 的新一代统一数据目录

集成：

• Trino
• Spark
• Flink
• Doris
• ClickHouse
• PyTorch
• TensorFlow 使用 Gravitino 组件的元数据湖：
• Hive Metastore
• 内置 Catalog
• Schema Registry
• Fileset 管理
• Model Catalog 数据源：
• Hadoop 数据湖
• 数据仓库
• 流处理
• 非结构化数据
• 机器学习 要解决的问题
• 掌握所有数据的“全貌”
• 即使数据以各种方式分布和使用，仍能实现数据的 SSOT
• 在一个位置进行数据治理，在所有位置保护和审计数据 新一代数据目录是新型开放数据架构的核心。

Gravitino 架构

功能层：

• 统一处理
• 统一治理 接口层：
• Unified REST API
• Iceberg REST API 采用对象模型的核心：
• Metalake
• Catalogs
• Schemas
• 对象类型：Table、Fileset、Model、Topic 连接层：
• Connections 元数据存储
• 支持的数据类型（底层）：
• 表格
• 文件
• 模型
• 消息队列

使用 Gravitino 处理表格和非表格数据

表格数据（通过 connectors）

• 引擎：Spark
• 操作：Create、Load、Alter、Drop
• API：统一表格 API Schema（struct）：
• name: string
• comment: string
• properties: map<string, string> Table（struct）：
• name: string
• columns: Column[]
• partitioning: Transform[]
• distribution: Distribution
• sortOrder: SortOrder[]
• indexes: Index[] 相关定义：
• Transform, Distribution, SortOrder, Index, Type

非表格数据

• 引擎：Spark、PyTorch、Ray、TensorFlow
• 文件系统：Gravitino Virtual FileSystem、Python FileSystem
• 操作：Create、Load、Alter、Drop
• API：统一非表格 API Schema（struct）：
• name: string
• comment: string
• Properties: map<string, string> Fileset（struct）：
• name: string
• storageLocation: string
• type: Type 存储位置：
• S3, HDFS, ADLS, GCS

场景

湖仓一体联邦（Lakehouse Federation）

• 多云、多引擎和多格式
• Lakehouse Federation 的开放式解决方案 平台能力
• 分析
• 机器学习
• 360° 视图
• 应用查询／语言工具
• SQL
• Python
• R 核心功能
• Gravitino Data Connector
• 跨多云、多格式和多引擎的联邦查询。

让数据和 AI 团队无缝协作

角色：

• 数据工程师
• 数据科学家
• AI 工程师 使用场景：
• 数据工程师与数据科学家或 AI 工程师之间的高效协作
• 数据科学家获得异构数据源的统一元数据定义
• 数据工程师使用元数据处理数据
• 适用于多个 AI 框架的统一元数据
• 统一安全控制 核心技术：
• Gravitino 外部因素：
• 技术
• 通信
• ETL
• 物联网
• 自动化
• 网络 数据与工具：
• [ 1 ] 数据摄取：
• Spark
• HDFS Client
• S3 SDK
• [ 2 ] 模型训练：
• Tensorflow
• Pytorch
• Ray
• Gravitino Python 库
• [ 3 ] 数据类型：
• 结构化数据
• 非结构化数据 Gravitino 功能：
• Gravitino IO（数据读写）
• Gravitino ACL（访问控制）

Gravitino Next——元数据驱动的操作系统

• Catalog 服务
• API：Unified REST API、Iceberg REST API
• 组件：Catalog、Schema、Table、Fileset、Model、Topic
• 连接：连接各种数据源（数据库、文件）的 connectors Gravitino Next
• Catalog 服务
• API：Unified REST API、Iceberg REST API
• 组件：Catalog、Schema、Table、Fileset、Model、Topic、Policy
• Job 系统项目：包括的 Job 系统：
• Policy 系统
• 统计系统
• Job 系统
• Action 框架 Action 框架项目：
• TTL Action
• Compaction Action
• Clustering Action