Nasdaq: 글로벌 금융 서비스를 위한 복원력 있는 인프라 구축(HMC327)

세션 노트

NASDAQ의 클라우드 여정과 복원력 있는 시스템 아키텍처

• 금융 서비스를 위한 복원력 있는 고성능 시스템 구축.
• NASDAQ의 클라우드 여정, 재해 복구 전략, 하이브리드 인프라 솔루션, 아키텍처 고려 사항 및 향후 전망 개요.
• NASDAQ 배경:
• 전자 거래소의 선구자로 전 세계 30개 이상의 거래소 운영.
• 거래, 청산, 위험 관리, 금융 범죄 방지 솔루션을 포함해 130개 이상의 시장에 소프트웨어 제공.
• 기존 관리형 소프트웨어, 관리형 서비스 및 SaaS 형태로 솔루션 제공.
• 클라우드 여정:
• 15년 전에 시작해 매칭 엔진과 시장 시스템 같은 핵심 시스템을 점진적으로 마이그레이션.
• T+1 백업에서 초저지연 트랜잭션을 처리하는 하드 실시간 시스템으로 발전.
• 덜 중요한 시스템에서 국가 경제에 체계적으로 중요한 시스템으로 이동.
• 과제:
• 마이크로초와 나노초 단위로 측정되는 초저지연 트랜잭션.
• 근접성과 지연 시간 때문에 특정 물리적 위치가 필요.

재해 복구 전략과 하이브리드 인프라

복원력과 규제 요구 사항

• 고객이 100% 가동 시간을 기대하는 높은 복원력 목표.
• 전 세계 여러 관할권의 규제 감독.
• 재해 복구 범위:
• 백업 및 복구에서 다중 사이트, 액티브-액티브, 다중 리전 시스템까지 포괄.
• RPO 및 RTO 목표를 조율하고 재해에 대한 시스템의 대응을 이해하는 것이 중요.
• 핵심 시스템에 집중:
• 항상 가동되어야 하며 중단될 수 없는 시스템을 중심으로 함.
• Outposts를 사용한 하이브리드 컴퓨팅, 장애 도메인, 정적 안정성 및 연결 해제 운영.
• Outposts를 사용한 하이브리드 컴퓨팅:
• 데이터 센터에 워크로드를 배치하면서 EC2 API와 Amazon 인프라로 관리하기 위해 Outposts 사용.
• 리전과 데이터 센터 간 연결을 위한 Direct Connect 회선.
• 데이터 센터 랙에서 EC2 서버를 서비스로 관리하여 사용.
• 시장 시스템을 위한 초저지연 네트워크 인터페이스 카드 추가.
• 완전히 물리적으로 분리된 데이터 플레인을 위해 베어 메탈 서버와 네트워크 구현.
• 베어 메탈 서버
• 하이퍼바이저를 통해 하드웨어를 공유하는 가상 서버와 달리, 고객에게 모든 하드웨어 리소스에 대한 직접적이고 독점적인 액세스를 제공하는 물리적 단일 테넌트 서버입니다. 이 구성은 최고의 성능, 일관된 I/O, 소프트웨어 스택에 대한 완전한 제어를 제공하므로 고성능 컴퓨팅, 게임이나 AI/ML 같은 고부하 애플리케이션, 물리적 격리나 특정 하드웨어 구성이 필요한 워크로드에 적합합니다.

장애 도메인과 정적 안정성

장애 도메인

• 시스템 구성 요소 사이의 운명 공유를 이해하기 위한 장애 도메인 개념.
• 중복성을 위해 여러 인스턴스와 hot spare(사전 프로비저닝된 EC2 인스턴스)로 소프트웨어를 실행하는 EC2 서버.
• 모든 소프트웨어 구성 요소를 AB 쌍으로 구성하여 백업 구성 요소가 같은 인스턴스에 함께 배치되지 않도록 함.
• 랙 수준 장애 도메인:
• 잠재적인 랙 수준 장애(예: 전력 손실) 고려.
• 랙 수준 장애: 전력 손실, 냉각 장애, 네트워크 스위치 장애 또는 물리적 손상으로 서버 랙 전체가 오프라인이 되어 그 안의 모든 서버에 영향.
• 여러 랙을 사용하고 소프트웨어 구성 요소의 AB 쌍을 서로 다른 랙에 분산하여 두 구성 요소가 동시에 손실되는 것을 방지.
• 사이트 수준 장애 도메인:
• 복원력을 보장하기 위해 데이터 센터를 여러 물리적 사이트에 배치.
• 미국 시장의 주 사이트는 New Jersey, 보조 사이트는 Chicago.
• 정적 안정성:
• 백업 리소스를 즉시 사용할 수 있도록 hot spare(사전 프로비저닝된 EC2 인스턴스) 사용.
• 장애 시 시스템 무결성을 유지하기 위해 소프트웨어 구성 요소의 AB 쌍을 랙과 사이트에 분산.
• hot spare:
• AWS에서 사전 프로비저닝된 EC2 인스턴스는 주로 EC2 Auto Scaling warm pool 기능으로 구현됩니다. 이 기능을 사용하면 애플리케이션이 확장해야 할 때 즉시 서비스에 투입할 준비가 된 인스턴스 풀을 유지할 수 있습니다.
• 재해 복구(DR) 전략: Warm pool은 "warm standby" 또는 "pilot light" 재해 복구 전략의 핵심 요소
• 더 빠른 확장: Warm pool의 인스턴스는 사전 초기화되어 시간이 오래 걸리는 애플리케이션 시작 및 구성 프로세스가 이미 실행됨.

정적 안정성과 연결 해제 운영

정적 안정성

• 중단 상황에서 시스템 복원력을 보장하는 정적 안정성 개념.
• 장애 중 EC2 컨트롤 플레인에 대한 의존을 피하기 위해 hot spare(사전 프로비저닝된 DC2 인스턴스) 사용.
• 사전 구성된 리소스에 의존하여 중단 중 변경 없이 시스템 기능을 유지하는 것이 목표.
• 연결 해제 운영:
• AWS 서비스 연결이 끊길 수 있는 시나리오(예: 광케이블 손상)에 대비.
• 이러한 상황에서도 시장 시스템이 외부 서비스에 의존하지 않고 계속 작동하도록 보장.
• 연결이 끊긴 시나리오에서 기능을 유지하기 위해 hot spare와 사전 구성된 리소스 사용.
• 운영 런북:
• 각 장애 도메인 수준에 대해 명확히 정의된 운영 런북의 중요성.
• 서버, 랙 및 사이트 수준 장애 대응 절차는 체계화되고 운영 직원에게 익숙해야 함.
• 실제 재해 시 예상 밖의 상황을 최소화하도록 예측 가능하고 충분히 연습된 대응을 갖추는 것이 목표.

연결 해제 운영과 테스트

연결 해제 운영

• AWS 서비스 연결이 끊기는 시나리오(예: 네트워크 회선 절단)에 대비.
• 외부 서비스에 의존하지 않고 시스템을 로컬에서 관리할 수 있도록 비상 액세스에 Local Gateway 사용.
• 외부 연결이 필요할 수 있는 내부 종속성과 작업을 인지하고 이를 해결하거나 피하도록 보장.
• 장애 모드 테스트:
• 시스템 동작을 관찰하기 위해 Outposts 연결을 장시간 끊는 철저한 테스트 수행.
• 중단 중 실패할 수 있는 작업(예: SSL 검사, IAM 상호 작용)을 식별하고 해결.
• 리전 또는 서비스 링크 문제 중에도 Local Gateway에 액세스할 수 있도록 보장.
• 전략 요약:
• 하이브리드 컴퓨팅을 위해 데이터 센터에서 Outposts 사용.
• 구성 요소의 상호 의존성과 운명 공유를 이해하기 위해 장애 도메인 분석.
• 중단 중 변경 없이 시스템 기능을 유지하도록 정적 안정성을 설계하고 테스트.
• AWS 서비스와 단절되어도 시스템이 로컬에서 계속 실행되도록 연결 해제 운영에 집중.
• 복원력을 달성하고 재해 시 예상 밖의 상황을 피하기 위해 신중한 계획, 명확한 운영 런북 및 광범위한 테스트를 강조.
• Break glass
• 정상적인 액세스 제어를 우회하여 권한 있는 직원이 중요 시스템, 데이터 또는 기능에 긴급 액세스하도록 허용하는 보안 조치입니다. 화재 경보기 같은 비상 장비에 접근하기 위해 유리를 깨는 개념에서 유래했습니다. 보안 침해, 시스템 오작동 또는 비밀번호 잠금 같은 사고로 표준 방법이 실패할 때 사용하는 fail-safe 프로토콜입니다. Break glass 계정에는 높은 권한이 미리 구성되어 있지만 비상 상황 전까지 안전하게 비활성 상태로 보관하며, 사용을 엄격히 모니터링하고 문서화해야 합니다.
• 긴급 액세스: 위기가 발생하고 표준 액세스 방법을 사용할 수 없을 때.
• 제어 우회: 이러한 계정은 일반적인 Identity and Access Management(IAM)를 우회하도록 설계됨.
• 높은 수준의 권한: 계정에 상승된 권한이 미리 구성됨.
• 엄격한 관리: 오용 방지를 위해 break glass 자격 증명을 극도로 신중하게 관리.

향후 방향과 개선 사항

동적 배포

• 규칙 기반 구성을 통한 더 동적인 배포 계획.
• 성능과 복원력의 균형을 위해 affinity 및 anti-affinity 패턴 사용.
• Anti-affinity 패턴은 특정 워크로드(VM, Pod)가 같은 물리 호스트나 장애 도메인에서 함께 실행되지 않도록 하는 클라우드/가상화(Kubernetes, VMware, OpenStack 등)의 규칙입니다. 성능을 위해 함께 배치하려는 affinity와 반대로 워크로드를 분산하여 고가용성, 내결함성 및 로드 밸런싱을 보장합니다.
• 시장이 퍼블릭 클라우드로 이동할 때 중단 없이 시스템을 확장하는 것이 목표.
• 고급 하드웨어 실험:
• Graviton 4에서 긍정적인 경험을 얻고 차세대 CPU를 위해 Amazon과 협력.
• Graviton용 초저지연 네트워크 카드와 기타 기술 발전을 테스트.
• 실시간 위험 분석을 위해 FPGA 및 GPU를 사용하는 가속 컴퓨팅 탐색.
• FPGA(Field-Programmable Gate Array)는 제조 후 다양한 디지털 논리 기능을 수행하도록 프로그래밍할 수 있는 재구성 가능 집적 회로입니다.
• Outposts 기능 확장:
• 더 고급 구성 요소(맞춤형 실리콘, FPGA, GPU)를 Outposts에 도입하는 데 관심.
• 시스템을 제3자에게 판매하여 더 많은 기능과 서비스를 제공하는 것이 목표.
• 신중한 서비스 통합:
• Outposts에 더 많은 서비스를 추가할 때 서비스 팀과 심층 검토를 수행하는 신중한 접근 방식.
• 장애 모드를 이해하고 높은 서비스 가용성과 기능을 보장하는 데 집중.
• 결론:
• 시스템 복원력, 성능 및 가용성을 향상하기 위한 지속적인 노력.
• 향후 목표 달성을 위해 세심한 계획, 테스트 및 AWS와의 협업을 강조.
• 청중의 참여에 감사를 표하고 자세한 정보를 위한 양식 작성을 권장.

초저지연 거래 운영을 지원하기 위해 Nasdaq 데이터 센터 내에 배치된 AWS Outposts. 주요

구성 요소와 기능은 다음과 같습니다.

• AWS Cloud 및 Region: 격리된 여러 가용 영역(AZ)에서 서비스를 제공하는 표준 AWS 환경.
• AWS Direct Connect: Nasdaq 데이터 센터와 기본 AWS 리전을 연결하는 전용 프라이빗 네트워크 연결로, Outposts 관리를 위한 컨트롤 플레인 및 서비스 링크 연결에 사용.
• Nasdaq Data Center(온프레미스): AWS Outposts를 호스팅하는 물리적 위치로, 짧은 지연 시간과 규정 준수를 위해 워크로드를 로컬에서 실행할 수 있음.
• AWS Outposts: Nasdaq 데이터 센터 내에 배포되며, AWS 인프라, 서비스 및 API를 온프레미스 환경으로 확장하는 완전관리형 AWS 컴퓨팅 및 스토리지 용량.
• Nitro 및 ULL NIC를 사용하는 Amazon EC2 Instances: 거래 애플리케이션을 실행하는 컴퓨팅 인스턴스. 향상된 성능과 보안을 위해 AWS Nitro System을 활용하고 금융 거래의 엄격한 지연 시간 요구 사항을 충족하기 위해 Ultra-Low Latency(ULL) Network Interface Card(NIC)를 사용.
• Local Gateway: Outpost의 이 구성 요소는 온프레미스 네트워크를 Outpost의 VPC 서브넷 내 인스턴스와 연결하여 기존 Nasdaq 인프라와의 통신을 지원.

Nasdaq 네트워크

• ULL Trading Network: 초저지연을 위해 설계된 물리적으로 분리된 네트워크로, 빠른 트랜잭션 처리를 위해 EC2 인스턴스의 ULL NIC와 직접 인터페이스.