현대적인 통합 메타데이터 아키텍처: 데이터 사일로를 허무는 새로운 접근 방식

세션 노트

데이터 사일로 해소의 간략한 역사

• 1980년대 후반: 데이터 웨어하우스
• 2011: 데이터 레이크
• 2020: 레이크하우스의 목표
• SSOT (Single Source of Truth) 달성
• 데이터의 완전한 관리
• 데이터 유출, 데이터 기반 비즈니스의 규정 준수 등 위험 제거. 클라우드 및 리전의 새로운 데이터 사일로 누구도 벤더 “종속”을 좋아하지 않음
• 데이터가 서로 다른 클라우드 벤더에 배포된 경우:
• 함께 처리하기 어려움
• 이동 비용이 많이 듦 누구도 지리적으로 분산된 데이터를 좋아하지 않음,
• 하지만 비즈니스가 국제화되면서 데이터도 함께 이동함:
• 규제 요구 사항
• 대양 횡단 전송 비용 "데이터 액세스" 그 이상 눈에 보이는 데이터
• 기술 및 비즈니스 데이터
• 법적 보존 데이터 간과하는 메타데이터
• 서드 파티 데이터
• PII 및 PI 데이터
• 자격 증명
• IP 데이터 데이터 관리 기능
• 데이터 연결: 가장 중요한 데이터에 연결.
• 데이터 권리 자동화: 엔드 투 엔드 데이터 권리 요청 및 보고를 자동화.
• 메타데이터 강화: 완전한 가시성을 확보하도록 기술 메타데이터를 비즈니스 및 운영 메타데이터로 강화.
• 데이터 검색: 어디서든 모든 데이터를 자동으로 찾고 분류하고 매핑.
• 데이터 분류: 더 많은 위치에서 더 다양한 유형의 데이터를 자동으로 분류.
• 데이터 수명 주기 관리: 수집부터 폐기까지 데이터 수명 주기 관리를 간소화하고 자동화.

Gravitino란

데이터/AI를 위한 차세대 통합 데이터 카탈로그

연동:

• Trino
• Spark
• Flink
• Doris
• ClickHouse
• PyTorch
• TensorFlow 메타데이터 레이크, Gravitino 구성 요소 사용:
• Hive Metastore
• 내장 카탈로그
• 스키마 레지스트리
• Fileset 관리
• 모델 카탈로그 데이터 소스:
• Hadoop Data Lake
• 데이터 웨어하우스
• 스트리밍 처리
• 비정형 데이터
• 머신 러닝 해결 과제
• 전체 데이터의 "큰 그림" 파악
• 데이터가 분산되어 다양한 방식으로 사용되는 동안에도 데이터의 SSOT 달성
• 데이터 거버넌스를 한곳에서 수행하고 어디서나 데이터를 보호하고 감사 차세대 데이터 카탈로그는 새로운 오픈 데이터 아키텍처의 핵심.

Gravitino 아키텍처

기능 계층:

• 통합 처리
• 통합 거버넌스 인터페이스 계층:
• Unified REST API
• Iceberg REST API 객체 모델 기반 코어:
• Metalake
• Catalogs
• Schemas
• 객체 유형: Table, Fileset, Model, Topic 연결 계층:
• 연결 메타데이터 스토리지
• 지원되는 데이터 유형(하위 계층):
• 테이블형
• 파일
• 모델
• 메시지 큐

Gravitino로 테이블형 및 비테이블형 데이터 처리

테이블형 데이터(커넥터를 통해)

• 엔진: Spark
• 작업: Create, Load, Alter, Drop
• API: Unified Tabular API 스키마 (struct):
• name: string
• comment: string
• properties: map<string, string> Table (struct):
• name: string
• columns: Column[]
• partitioning: Transform[]
• distribution: Distribution
• sortOrder: SortOrder[]
• indexes: Index[] 관련 정의:
• Transform, Distribution, SortOrder, Index, Type

비테이블형 데이터

• 엔진: Spark, PyTorch, Ray, TensorFlow
• 파일 시스템: Gravitino Virtual FileSystem, Python FileSystem
• 작업: Create, Load, Alter, Drop
• API: Unified Non-tabular API 스키마 (struct):
• name: string
• comment: string
• 속성: map<string, string> Fileset (struct):
• name: string
• storageLocation: string
• type: Type 스토리지 위치:
• S3, HDFS, ADLS, GCS

시나리오

레이크하우스 페더레이션

• 멀티 클라우드, 멀티 엔진 및 멀티 포맷
• 레이크하우스 페더레이션을 위한 개방형 솔루션 플랫폼 기능
• 분석
• 머신 러닝
• 360° 뷰
• 앱 쿼리/언어 도구
• SQL
• Python
• R 핵심 기능
• Gravitino Data Connector
• 멀티 클라우드, 멀티 포맷 및 멀티 엔진을 아우르는 페더레이션 쿼리.

데이터 및 AI 팀의 원활한 협업 지원

역할:

• 데이터 엔지니어
• 데이터 사이언티스트
• AI 엔지니어 사용 시나리오:
• 데이터 엔지니어와 데이터 사이언티스트 또는 AI 엔지니어 간의 효율적인 협업
• 데이터 사이언티스트는 이기종 데이터 소스에 대한 통합 메타데이터 정의를 확보
• 데이터 엔지니어는 메타데이터를 사용해 데이터를 처리
• 여러 AI 프레임워크를 위한 통합 메타데이터
• 통합 보안 제어 핵심 기술:
• Gravitino 외부 요인:
• 기술
• 커뮤니케이션
• ETL
• 사물 인터넷
• 자동화
• 네트워킹 데이터 및 도구:
• [ 1 ] 데이터 수집:
• Spark
• HDFS Client
• S3 SDK
• [ 2 ] 모델 훈련:
• Tensorflow
• Pytorch
• Ray
• Gravitino Python 라이브러리
• [ 3 ] 데이터 유형:
• 정형 데이터
• 비정형 데이터 Gravitino 기능:
• Gravitino IO(데이터 읽기 및 쓰기)
• Gravitino ACL(액세스 제어)

Gravitino Next - 메타데이터 기반 액션 시스템

• 카탈로그 서비스
• API: Unified REST API, Iceberg REST API
• 구성 요소: Catalog, Schema, Table, Fileset, Model, Topic
• 연결: 다양한 데이터 소스(데이터베이스, 파일)에 연결하는 커넥터 Gravitino Next
• 카탈로그 서비스
• API: Unified REST API, Iceberg REST API
• 구성 요소: Catalog, Schema, Table, Fileset, Model, Topic, Policy
• 작업 시스템 항목: 포함된 작업 시스템:
• 정책 시스템
• 통계 시스템
• 작업 시스템
• 액션 프레임워크 액션 프레임워크 항목:
• TTL Action
• Compaction Action
• Clustering Action