最新の統合メタデータアーキテクチャ：データサイロを解消する新たなアプローチ

セッションノート

データのサイロ化解消に向けた略史

1980 年代後半：データウェアハウス
2011：データレイク
2020：レイクハウス目標
SSOT（信頼できる唯一の情報源）の実現
データの完全な管理
データ漏えいなどのリスクを排除し、データ駆動型ビジネスのコンプライアンスを確保。クラウドとリージョンに生じる新たなデータサイロベンダー「ロックイン」を好む人はいません
データが異なるクラウドベンダーにデプロイされている場合：
まとめて処理することが困難
移動コストが高い地理的に分散したデータを好む人はいませんが、
ビジネスの国際化に伴い、データも移動します：
規制要件
大洋をまたぐ転送のコスト「データアクセス」だけではない目に見えるデータ
技術データとビジネスデータ
リーガルホールドデータ見落とされがちなメタデータ
サードパーティデータ
PII と PI データ
認証情報
IP データデータ管理機能
データ接続：最も重要なデータに接続します。
データ権利の自動化：データ権利に関するリクエストとレポートをエンドツーエンドで自動化します。
メタデータのエンリッチメント：技術メタデータにビジネスおよび運用メタデータを付加し、完全な可視性を確保します。
データ検出：あらゆる場所にあるすべてのデータを自動的に検出、分類、マッピングします。
データ分類：より多くの場所で、より多くの種類のデータを自動的に分類します。
データライフサイクル管理：収集から破棄までのデータライフサイクル管理を簡素化し、自動化します。

Gravitino とは

データ／AI のための次世代統合データカタログ

連携先：

Trino
Spark
Flink
Doris
ClickHouse
PyTorch
TensorFlow Gravitino を使用したメタデータレイクのコンポーネント：
Hive Metastore
組み込みカタログ
Schema Registry
ファイルセット管理
モデルカタログデータソース：
Hadoop データレイク
データウェアハウス
ストリーミング処理
非構造化データ
機械学習解決すべき課題
データ全体の「全体像」を把握する
データが分散し、さまざまな方法で利用されている状態でも、データの SSOT を実現する
データガバナンスを一元化し、あらゆる場所のデータを保護・監査する次世代データカタログは、新しいオープンデータアーキテクチャの中核です。

Gravitino アーキテクチャ

機能レイヤー：

統合処理
統合ガバナンスインターフェイスレイヤー：
Unified REST API
Iceberg REST API オブジェクトモデルを備えた中核：
Metalake
Catalogs
Schemas
オブジェクトタイプ：Table, Fileset, Model, Topic 接続レイヤー：
接続メタデータストレージ
サポートされるデータタイプ（最下層）：
表形式
ファイル
モデル
メッセージキュー

Gravitino による表形式データと非表形式データの処理

表形式データ（コネクター経由）

エンジン：Spark
操作：Create, Load, Alter, Drop
API：Unified Tabular API スキーマ（struct）：
name: string
comment: string
properties: map<string, string> Table（struct）：
name: string
columns: Column[]
partitioning: Transform[]
distribution: Distribution
sortOrder: SortOrder[]
indexes: Index[] 関連する定義：
Transform, Distribution, SortOrder, Index, Type

非表形式データ

エンジン：Spark, PyTorch, Ray, TensorFlow
ファイルシステム：Gravitino Virtual FileSystem, Python FileSystem
操作：Create, Load, Alter, Drop
API：Unified Non-tabular API スキーマ（struct）：
name: string
comment: string
Properties: map<string, string> Fileset（struct）：
name: string
storageLocation: string
type: Type ストレージロケーション：
S3, HDFS, ADLS, GCS

シナリオ

レイクハウスフェデレーション

マルチクラウド、マルチエンジン、マルチフォーマット
レイクハウスフェデレーションのためのオープンソリューションプラットフォームの機能
分析
機械学習
360° ビュー
アプリケーションクエリ／言語ツール
SQL
Python
R 中核機能
Gravitino Data Connector
マルチクラウド、マルチフォーマット、マルチエンジンを横断するフェデレーテッドクエリ。

データチームと AI チームのシームレスな連携

役割：

データエンジニア
データサイエンティスト
AI エンジニア利用シナリオ：
データエンジニアとデータサイエンティストまたは AI エンジニアとの効率的な連携
データサイエンティストは、異種データソースに対する統一されたメタデータ定義を取得
データエンジニアはメタデータを使用してデータを処理
複数の AI フレームワークに対応する統合メタデータ
統合セキュリティ制御中核技術：
Gravitino 外部要因：
テクノロジー
通信
ETL
モノのインターネット
自動化
ネットワーキングデータとツール：
[ 1 ] データ取り込み：
Spark
HDFS クライアント
S3 SDK
[ 2 ] モデル学習：
Tensorflow
Pytorch
Ray
Gravitino Python ライブラリ
[ 3 ] データタイプ：
構造化データ
非構造化データ Gravitino の機能：
Gravitino IO（データの読み取りと書き込み）
Gravitino ACL（アクセス制御）

Gravitino Next - メタデータ駆動型アクションシステム

カタログサービス
API：Unified REST API, Iceberg REST API
コンポーネント：Catalog, Schema, Table, Fileset, Model, Topic
接続：さまざまなデータソース（データベース、ファイル）へのコネクター Gravitino Next
カタログサービス
API：Unified REST API, Iceberg REST API
コンポーネント：Catalog, Schema, Table, Fileset, Model, Topic, Policy
ジョブシステムの項目：含まれるジョブシステム：
ポリシーシステム
統計システム
ジョブシステム
アクションフレームワークアクションフレームワークの項目：
TTL アクション
コンパクションアクション
クラスタリングアクション

最新の統合メタデータアーキテクチャ：データサイロを解消する新たなアプローチ

振り返りシリーズ

セッションノート