Isang Modernong Unified Metadata Architecture: Mga Bagong Paraan sa Pag-aalis ng mga Data Silo

Mga Tala ng Sesyon

Maikling Kasaysayan ng Pag-aalis ng mga Data Silo

• HULING BAHAGI NG DEKADA 1980: Data Warehouse
• 2011: Data Lake
• 2020: Lakehouse. Layunin
• Makamit ang SSOT (Single Source of Truth)
• Ganap na pamamahala ng data
• Alisin ang mga panganib, gaya ng data leak, at tiyakin ang compliance para sa negosyong nakabatay sa data. Mga Bagong Data Silo sa mga Cloud at Region. Walang may gusto ng vendor “lock-in”
• Kung naka-deploy ang data sa iba't ibang cloud vendor:
• Mahirap iproseso nang magkakasama
• Magastos ilipat. Walang may gusto ng geo-distributed data,
• Ngunit sumusunod ang data habang lumalawak sa iba't ibang bansa ang negosyo:
• Mga requirement sa regulasyon
• Gastos sa paglilipat sa kabilang panig ng karagatan. Higit pa sa “Data Access.” Data na nakikita mo
• Teknikal at Pangnegosyong Data
• Legal Hold Data. Metadata na hindi mo napapansin
• 3rd-party Data
• PII & PI Data
• Mga Credential
• IP Data. Mga Function sa Pamamahala ng Data
• Data Connect: Kumonekta sa Pinakamahalagang Data.
• Data Right Automation: I-automate ang end-to-end na mga kahilingan sa karapatan sa data at pag-uulat.
• Metadata Enrichment: Pagyamanin ang technical metadata gamit ang business at operational metadata para sa ganap na visibility.
• Data Discovery: Awtomatikong hanapin, uriin, at imapa ang lahat ng iyong data—nasaan man ito.
• Data Classification: Awtomatikong uriin ang mas maraming uri ng data sa mas maraming lugar.
• Data Lifecycle Management: Pasimplehin at i-automate ang pamamahala sa lifecycle ng data, mula pangongolekta hanggang pagsira.

Ano ang Gravitino

Next-generation na unified data catalog para sa Data/AI

Mga Integration:

• Trino
• Spark
• Flink
• Doris
• ClickHouse
• PyTorch
• TensorFlow. Metadata Lake na Gumagamit ng mga Component ng Gravitino:
• Hive Metastore
• Built-in Catalog
• Schema Registry
• Pamamahala ng Fileset
• Model Catalog. Mga Data Source:
• Hadoop Data Lake
• Data Warehouse
• Stream Processing
• Unstructured Data
• Machine Learning. Mga problemang dapat lutasin
• Magkaroon ng “Big Picture” ng kabuuang data
• Makamit ang SSOT ng data kahit distributed ito at ginagamit sa iba't ibang paraan
• Pamahalaan ang data sa iisang lugar, at gawing secure at naa-audit ang data saanman. Ang Next-Gen Data Catalog ang sentro ng Bagong Open Data Architecture.

Architecture ng Gravitino

Functionality Layer:

• Unified Processing
• Unified Governance. Interface Layer:
• Mga Unified REST API
• Mga Iceberg REST API. Core na may Object Model:
• Metalake
• Catalogs
• Schemas
• Mga Object Type: Table, Fileset, Model, Topic. Connection Layer:
• Mga Connection. Metadata Storage
• Mga Sinusuportahang Data Type (Bottom Layer):
• Tabular
• Files
• Models
• Message Queue

Magproseso ng Tabular at Non-tabular na Data gamit ang Gravitino

Tabular data (sa pamamagitan ng mga connector)

• Engine: Spark
• Mga Operation: Create, Load, Alter, Drop
• API: Unified Tabular API. Schema (struct):
• name: string
• comment: string
• properties: map<string, string> Table (struct):
• name: string
• columns: Column[]
• partitioning: Transform[]
• distribution: Distribution
• sortOrder: SortOrder[]
• indexes: Index[]. Mga Kaugnay na Definition:
• Transform, Distribution, SortOrder, Index, Type

Non-tabular na data

• Mga Engine: Spark, PyTorch, Ray, TensorFlow
• Mga Filesystem: Gravitino Virtual FileSystem, Python FileSystem
• Mga Operation: Create, Load, Alter, Drop
• API: Unified Non-tabular API. Schema (struct):
• name: string
• comment: string
• Properties: map<string, string>. Fileset (struct):
• name: string
• storageLocation: string
• type: Type. Mga Storage Location:
• S3, HDFS, ADLS, GCS

Mga Scenario

Lakehouse Federation

• Maraming cloud, engine, at format
• Isang open solution para sa Lakehouse Federation. Mga Kakayahan ng Platform
• Analytics
• Machine Learning
• 360° na View
• Mga App Query/Language Tool
• SQL
• Python
• R. Pangunahing Functionality
• Gravitino Data Connector
• Federated Query sa maraming cloud, format, at engine.

Gawing Maayos ang Pagtutulungan ng mga Data at AI Team

Mga Role:

• Data Engineer
• Data Scientist
• AI Engineer. Scenario ng Paggamit:
• Mahusay na pagtutulungan ng mga Data Engineer at Data Scientist o AI Engineer
• Nakakakuha ang mga Data Scientist ng iisang definition ng metadata para sa magkakaibang data source
• Ginagamit ng mga Data Engineer ang metadata upang iproseso ang data
• Unified metadata para sa maraming AI framework
• Unified security control. Pangunahing Teknolohiya:
• Gravitino. Mga Panlabas na Salik:
• Teknolohiya
• Komunikasyon
• ETL
• Internet of Things
• Automation
• Networking. Data at mga Tool:
• [ 1 ] Data Ingestion:
• Spark
• HDFS Client
• S3 SDK
• [ 2 ] Model Training:
• Tensorflow
• Pytorch
• Ray
• Gravitino Python library
• [ 3 ] Mga Data Type:
• Structured Data
• Unstructured Data. Mga Feature ng Gravitino:
• Gravitino IO (pagbasa at pagsulat ng data)
• Gravitino ACL (Access Control)

Gravitino Next—action system na pinapatakbo ng metadata

• Catalog service
• Mga API: Unified REST API, Iceberg REST API
• Mga Component: Catalog, Schema, Table, Fileset, Model, Topic
• Mga Connection: Mga connector sa iba't ibang data source (mga database, file). Gravitino Next
• Catalog service
• Mga API: Unified REST API, Iceberg REST API
• Mga Component: Catalog, Schema, Table, Fileset, Model, Topic, Policy
• Mga item ng job system. Mga Kasamang Job System:
• Policy system
• Statistics system
• Job system
• Action framework. Mga item ng action framework:
• TTL Action
• Compaction Action
• Clustering Action