AWS re:Invent 리캡

AWS에서 지연 시간 거래 플랫폼을 거래하려면 선택하세요.

리캡: 14

리캡 시리즈

English 繁體中文 简体中文 Filipino 한국어 日本語

세션 노트

여기에는 방해자, aeron, FPGA, Verilog, VHL, Linux 커널 선점-PT 패치, yugabytedb, raft 합의 프로토콜, AWS Cluster Placement Groups(CPG), FIX 프로토콜, Liquidnet SmartDark 및 Barracuda가 있습니다. 알고리즘, 5/20 EMA 교차 전략, Amazon Time Sync Service, Hardware Packet Timestamping, MiFID II, FIX Adapted for STreaming (FAST) , Simple Binary Encoding (SBE) , 아마존 Cluster Placement Groups(CPG)

Coinbase: Aeron Cluster를 사용하여 복원력이 뛰어난 클라우드 기반 거래 인프라를 구축하여 짧은 대기 시간으로 높은 거래량을 처리합니다.

EDX Markets(EDXM): 거래 플랫폼에서 Aeron Cluster를 활용하여 내결함성과 초저 대기 시간을 달성합니다.

IMMIX: Aeron Cluster를 사용하여 고성능 디지털 자산 거래 시스템 및 시퀀서를 구축합니다.

HSBC: Aeron를 통합하여 전자 거래 시스템을 강화합니다.

Man Group: 대기 시간이 짧은 FX 거래 시스템에서 Aeron를 사용하여 견적 스트림을 빠르게 처리합니다.

스위스 즉시 결제 플랫폼이 Aeron 클러스터를 배포한 SIX Interbank Clearing Corporation.

다가오는 소매 중심 미국 주식 거래 플랫폼인 BLOX Markets는 Aeron 시스템을 통합하고 있습니다.

내부 메시징을 위한 Aeron 오픈 소스 개발 프로젝트를 후원한 CME(Chicago Mercantile Exchange).

Kepler Chevron(Kcx)은 Adaptive와 협력하여 Aeron를 기반으로 하는 이벤트 중심 주식 거래 플랫폼을 구축합니다.

중개 서비스 분야의 선두주자인 DriveWealth는 Aeron를 사용하여 거래 아키텍처를 재구성하고 거래소 수준의 성과를 달성합니다.

Talos는 디지털 자산 생태 플랫폼에서 Aeron 전송 프로토콜을 사용하여 고성능 트랜잭션 및 메시지 직렬화 처리를 달성합니다.

매수측과 매도측

구매측 참가자:

  • 기관 투자자
  • 디지털 자산 펀드
  • 소매업자
  • 자기 무역 회사
  • 투자 포트폴리오를 위한 디지털 자산 확보
  • 수익 창출을 위한 전략 개발, 연구 및 거래 실행에 집중

판매측 회사:

  • 시장 조성자 및 브로커
  • 거래 실행 및 주문 라우팅을 촉진합니다.

디지털 자산 교환:

  • 자산을 상장하고 거래할 수 있는 플랫폼 제공
  • 매도회사와 함께 핵심 트레이딩 인프라 구축
  • 유동성 보장, 주문 일치, 필수 금융 서비스 제공
  • 주로 수수료와 입찰가 스프레드를 통해 수익 창출

틱-투-트레이드 성과

  • 고주파수, 저지연 거래(HFT)가 중앙 집중식 디지털 자산 거래에서 급속도로 떠오르고 있습니다.
  • HFT는 수십 년 동안 주식, 상품, 외환 시장은 물론 선물을 포함한 파생 상품 시장 전반에 걸쳐 금융 시장 인프라의 중요한 구성 요소였습니다.
  • 시장 참가자에게 유동성 증가, 거래 비용 절감, 가격 효율성 및 발견을 제공하는 핵심 기능입니다.
  • HFT 플랫폼의 주요 기술 성공 지표: 지연 시간, 지터
  • 디지털 자산 시장에서 운영되는 HFT 회사는 경쟁력을 유지하기 위해 낮은 두 자릿수 마이크로초의 틱투트레이드 성능을 위해 노력합니다.

시장 만들기

  • HFT 회사는 장부의 양면에 시장 가격을 제시할 의무가 있습니다.
  • 입찰(MM는 매수, 상대방은 매도)
  • 물어보세요(MM는 매도, 상대방은 매수)

MM 전략의 핵심 기능:

  • 스프레드 포착(입찰가와 매도가의 차이)
  • 위험을 관리하고 최상의(가장 빠른) 실행을 제공합니다.

유동성을 제공하지만 일시적인 재고 위험도 수반합니다.

  • MMs는 시장에 유동성을 제공하고 스프레드에서 이익을 얻기 위해 매우 많은 양의 주문을 실행해야 합니다.
  • HFT 회사는 디지털 자산이 거래되는 여러 거래소에서 일시적인 가격 차이를 활용합니다.
  • 성공하려면 최적화된 실행과 마이크로초 수준의 속도가 필요합니다. 지연으로 인해 재정 거래 기회가 사라질 수 있기 때문입니다.

HFT에서 지터의 중요성

예측 가능한 실행:

  • HFT 알고리즘은 일관되고 예측 가능한 성능을 기반으로 정확한 순간과 가격으로 거래를 실행합니다. 예측할 수 없는 대기 시간(높은 지터)으로 인해 거래가 의도한 것보다 늦게 실행되어 최적의 가격대를 놓치고 잠재적으로 손실을 초래할 수 있습니다.

차익거래 기회:

  • 지터는 여러 거래소에서 가격 발견을 지연시켜 마이크로초 동안만 존재하는 일시적인 재정 거래 기회를 제거할 수 있습니다.

위험 관리:

  • 일관된 대기 시간을 통해 실시간 위험 관리 및 모니터링이 향상됩니다. 지터가 높으면 가변성이 발생하여 스트레스 상황에서 시스템 동작을 예측하고 위험을 효과적으로 관리하기가 더 어려워집니다.

알고리즘 무결성:

  • 특정 기간 내에 반응하도록 설계된 알고리즘은 예상치 못한 지연으로 인해 중단될 수 있으며 잠재적으로 의도하지 않은 거래 결과로 이어질 수 있습니다.

지터를 최소화하는 기술

하드웨어 최적화:

  • 중요한 처리 경로에 Field-Programmable Gate Array(FPGA)와 같은 결정적 하드웨어를 사용합니다.
  • 낮은 지터 성능을 위해 설계된 특수 네트워크 인터페이스 카드(NIC)를 사용합니다.

운영 체제(OS) 및 커널 조정:

  • 실시간 운영 체제(RTOS) 또는 사용자 정의된 Linux 커널(예: PREEMPT-RT 패치)을 사용하여 거래 프로세스의 우선 순위를 지정하고 비결정적 중단을 최소화합니다.
  • 전용 CPU 코어에 스레드 고정과 같은 기술을 구현하고 컨텍스트 전환을 최소화하여 CPU 캐시 누락 및 리소스 경합을 방지합니다.

네트워크 아키텍처:

  • 커널 우회 기술을 활용하여 데이터를 네트워크 하드웨어에서 사용자 공간 애플리케이션으로 직접 이동함으로써 범용의 비결정적 Linux 네트워크 스택을 방지합니다.
  • 물리적 거리와 네트워크 경로 가변성을 최소화하기 위해 교환 코로케이션 시설에 서버를 배치합니다.

소프트웨어 디자인:

  • 효율적인 데이터 구조와 디자인 패턴(예: 파괴자 패턴)을 사용하여 메시지 흐름을 최적화하고 불필요한 메모리 할당을 줄입니다.
  • 대용량 데이터를 효율적으로 처리하기 위해 직렬화/역직렬화 프로세스를 최적화합니다.

LMAX 교환 Disruptor 패턴:

  • 고성능, 낮은 대기 시간의 스레드 간 메시징 시스템입니다.
  • 효율적인 이벤트/작업 전달을 위해 Ring Buffer를 활용합니다.
  • 고빈도 거래(HFT)에서 일반적입니다.

핵심 개념 및 작동 방식:

Ring Buffer:

  • 메모리의 원형 고정 크기 배열입니다.
  • 이벤트/메시지를 보관합니다.

제작자:

  • 시퀀스 번호를 사용하여 버퍼의 슬롯을 요청합니다.
  • 데이터를 쓰고 커밋합니다.

소비자(일괄 처리기):

  • 버퍼의 이벤트를 처리합니다.
  • 종속성 그래프에서 작동합니다.
  • 새로운 데이터를 서로에게 알립니다.

기계적 동정:

  • CPU 캐시(L1, L2, L3)를 악용합니다.
  • 데이터를 연속적이고 예측 가능하게 유지합니다.
  • 비용이 많이 드는 메모리 가져오기를 줄입니다.

잠금/경합 없음:

  • 잠금 대신 시퀀스 번호와 장벽을 사용합니다.
  • 스레드가 서로 차단되는 것을 방지합니다.

허위 공유 방지:

  • 변수가 캐시 라인을 공유하지 않도록 데이터를 채웁니다.
  • 불필요한 캐시 무효화를 방지합니다.

최적화:

CPU 캐시 사용법:

  • CPU 캐시(L1, L2, L3)를 악용합니다.
  • 데이터를 연속적이고 예측 가능하게 유지합니다.

잠금 방지:

  • 잠금 대신 시퀀스 번호와 장벽을 사용합니다.
  • 스레드가 서로 차단되는 것을 방지합니다.

허위 공유 방지:

  • 변수가 캐시 라인을 공유하지 않도록 데이터를 채웁니다.

거래에 사용:

속도:

  • 마이크로초 지연이 중요한 HFT에 필수적입니다.

처리량:

  • 방대한 양의 시장 데이터와 주문 흐름을 처리합니다.

확장성:

  • 복잡한 처리 파이프라인을 여러 CPU 코어로 확장할 수 있습니다.

작업 중심 파이프라인:

  • 주문 처리를 순차적이고 병렬 가능한 작업으로 나누는 데 이상적입니다.

이익:

낮은 지연 시간:

  • 단계 간 나노초 수준의 처리를 달성합니다.

높은 처리량:

  • 기존 대기열 기반 시스템보다 훨씬 더 많은 이벤트를 처리합니다.

예측 가능한 성능:

  • 잠금 및 가비지 수집 일시 중지의 예측 불가능성을 방지합니다.

Field-Programmable Gate Array (FPGA)

  • 유연한 집적회로(IC)이다.
  • 제조 후 프로그래밍 가능.
  • 맞춤형 디지털 회로를 생성할 수 있습니다.
  • 하드웨어 수준의 사용자 정의를 제공합니다.
  • 고성능 컴퓨팅, 신호 처리 및 신속한 프로토타이핑에 적합합니다.
  • 고정 기능 칩과 다릅니다.
  • 재구성 가능한 논리 블록, 상호 연결 및 메모리를 사용합니다.
  • 다양한 기능을 병렬로 구현합니다.
  • 하드웨어 가속 및 짧은 대기 시간 성능을 지원합니다.
  • 통신, 자동차(ADAS), 항공우주 및 데이터 센터에 이상적입니다.

하드웨어 설명 언어(HDL):

  • 엔지니어는 Verilog 또는 VHDL를 사용합니다.
  • 원하는 디지털 회로를 설명하시오.

논리 합성 및 장소 및 경로:

  • 소프트웨어는 HDL 코드를 변환합니다.
  • 구성 파일(비트스트림)을 생성합니다.
  • 디자인을 FPGA의 내부 리소스에 매핑합니다.

프로그래밍 가능한 리소스:

  • 칩에는 조회 테이블(LUT), 플립플롭, 멀티플렉서가 포함되어 있습니다.
  • 프로그래밍 가능한 상호 연결.
  • 모든 디지털 회로를 구성할 수 있습니다.

병렬 처리:

  • 작업은 하드웨어 전체에서 동시에 발생합니다.
  • 높은 처리량과 낮은 대기 시간을 제공합니다.
  • 복잡한 작업에 이상적입니다.

디지털 자산 시장의 공정하고 평등한 접근:

  • 모든 참가자가 정보를 거래하고 접근할 수 있는 동일한 기회를 갖도록 보장합니다.
  • 성숙한 시장(주식 및 파생상품)에서는 규제 감독을 통해 엄격한 공개 및 평등한 접근 요구 사항이 적용됩니다.

기술 구현:

  • 지연 시간 격차를 최소화하여 달성됩니다.
  • 모든 참가자가 정의된 허용 오차(마이크로초~밀리초) 내에서 유사한 응답 시간을 경험하도록 보장합니다.
  • 가격 발견, 유동성 제공 및 거래 실행에 안정적인 참여를 가능하게 합니다.

AWS 기여:

  • 많은 장소는 정확한 성능 조정이 아닌 확장성을 위해 클라우드 플랫폼을 기반으로 구축되었습니다.
  • 거래소 및 무역 회사를 지원하기 위해 플랫폼을 지속적으로 개선합니다.
  • 공정성과 평등성을 높이기 위한 역량을 강화합니다.

건축학:

  • 중앙 집중식 디지털 자산 교환은 대기 시간이 짧은 성능을 위해 AWS의 인프라를 최적화합니다.
  • 마켓 메이커(MMs)가 초당 수천 건의 거래를 실행할 수 있도록 합니다.
  • AWS는 컴퓨팅 배치 및 네트워크 토폴로지에 대한 최적화를 제공하여 대기 시간과 지터를 줄입니다.
  • 참조 아키텍처는 MM를 사용한 대기 시간 최적화 액세스를 위한 일반적인 CEX 트랜잭션 처리 핫 경로를 보여줍니다.

거래 접수 및 처리 흐름:

주문 제출:

  • 주문이 Exchange 게이트웨이로 제출됩니다.

주문 전달:

  • 주문은 Fair Order Sequencer로 전달됩니다.

일괄 처리 및 타임스탬프:

  • 시퀀서는 일괄 처리를 적용하고 타임스탬프가 지정된 주문을 일치 엔진에 보냅니다.

실행 승인:

  • 일치 엔진이 실행 승인을 보냅니다.

시장 데이터 업데이트:

  • 시장 데이터 업데이트가 배포 서버로 전송됩니다.
  • 업데이트는 시장 데이터 게이트웨이로 전송됩니다.

HFT 피드 핸들러:

  • 시장 데이터는 HFT 피드 핸들러로 전달됩니다.
  • 피드 핸들러는 시장 데이터를 거래 전략 엔진으로 보냅니다.

거래 전략 엔진:

  • 유동성을 제공하거나 빼앗기 위한 신호를 생성합니다.
  • 신호는 주문 관리 시스템(OMS)으로 전송됩니다.

주문 관리 시스템(OMS):

  • OMS는 주문을 보내고 실행 확인을 받습니다.
  • 실행 알림은 OMS로 전달됩니다.

데이터 복제:

  • 데이터는 보조 Availability Zone 또는 AWS Region에 복제됩니다.
  • 기본 Availability Zone가 손상된 경우 지속적인 작동을 보장합니다.

고가용성 및 재해 복구:

  • 교환 장소에 따라 접근 방식이 다릅니다.
  • 위치 관리 및 조정을 위한 동기식 장애 조치부터 주문 계층의 부분 장애 조치까지 범위가 다양합니다.

지연 시간 최적화 접근 방식:

  • 이러한 계층 전체를 최적화하여 거래 및 실시간 워크로드에 대한 엔드투엔드 대기 시간을 최소화하십시오.

주요 지연 시간:

  • 주문-승인 지연: 주문 거래의 전체 흐름을 나타냅니다.
  • Tick-to-Order Latency: 가격 변동 소비, 거래 신호로 전환 및 포지션 수정 속도를 측정합니다.

성공 지표:

  • 가격 발견, 전략 및 주문 실행을 위한 지연 시간 및 지터.
  • 목표: 낮은 두 자릿수 마이크로초 틱-투-거래 성능.

최적화 카테고리:

회로망:

  • 기본 네트워크의 지연 시간입니다.
  • AWS 라우팅, 인스턴스 배치 및 연결 선택이 포함됩니다.

컴퓨팅:

  • Amazon EC2 인스턴스 유형의 지연 시간입니다.
  • 인스턴스 선택, 커널 및 OS 조정, Elastic Network Adapter(ENA) 성능 최적화가 포함됩니다.

애플리케이션:

  • 비즈니스 로직 및 사용자 공간 처리로 인한 지연 시간입니다.
  • 효율적인 트래픽 처리, CPU/메모리 사용 및 리소스 경합 최소화에 중점을 둡니다.

체계:

  • 시스템 전체 프로세스의 대기 시간입니다.
  • 데이터 배포, 타이밍 서비스 및 전반적인 아키텍처 효율성이 포함됩니다.

CEX 및 MM 핫 경로:

CEX 핫 경로:

  • 주문 입력, 주문서 실행 및 시장 데이터 배포에 중점을 둡니다.
  • 주문 입력, 잔액 확인, 매칭, 승인 및 시장 이벤트 게시가 포함됩니다.
  • 목표: 유동성 확보를 위한 최고의 실행 및 가격 책정 경험을 제공합니다.

MM 핫 경로:

  • 틱-트레이드 지연 시간에 중점을 둡니다.
  • 시장 데이터 수신, 거래 기회 평가 및 거래가 포함됩니다.
  • 목표: 시장에 대한 최신 관점을 유지하고 위험 및 기회 비용을 방지합니다.

마켓 메이커 "핫 경로":

  • 기술 시스템 내에서 지연 시간이 중요한 데이터 및 실행 경로.
  • 경쟁 우위를 유지하고 위험을 관리하기 위해 속도와 효율성에 최적화되었습니다.

주요 구성 요소:

시장 데이터 수집:

  • 외부 시장 데이터를 신속하게 수신하고 처리합니다.
  • 자산의 현재 공정 가격을 결정합니다.

가격 및 기회 평가:

  • 최적의 입찰가와 매도호가를 계산하고 거래량을 결정합니다.
  • 재고 위험을 관리하고 방향성 노출을 최소화합니다.

주문 입력 및 실행:

  • 지정가 주문을 신속하게 배치하기 위한 저지연 시스템입니다.

내부 커뮤니케이션 및 잔액 확인:

  • 내부 시스템 간의 신속한 통신.
  • 허용 가능한 한도 내에서 주문 유효성과 회사의 노출을 보장합니다.

헤징:

  • 헤지 포지션에 대한 상쇄 거래를 신속하게 실행합니다.
  • 고객 거래를 통해 획득한 재고를 관리합니다.

시장 이벤트 배포:

  • 내부 시장 이벤트 및 감사의 글을 즉시 게시합니다.
  • 관련 내부 시스템 및 외부 클라이언트에 배포합니다.

최적화 기술:

Cluster Placement Groups(CPG):

  • 구성 요소 간의 물리적 네트워크 거리를 줄이는 데 사용됩니다.
  • CPG에 CEX 및 MM 워크로드를 배치하여 Availability Zone의 동일한 네트워크 스파인에 인스턴스 배치를 현지화합니다.

이익:

  • CPG 외부 인스턴스에 비해 P50에서 평균 37% 감소, P90 UDP 왕복 시간 지연 시간이 39% 감소합니다.

지연 시간 소스:

  • 네트워크 카드, 커널, 운영 체제 및 애플리케이션 계층을 통해 네트워크에서 인스턴스로 확장됩니다.

지연 시간 최적화 장단점:

  • Cluster Placement Groups(CPG) 사용:
  • 네트워크 대기 시간을 최소화합니다.
  • 완전한 복원력을 갖춘 Multi-AZ 아키텍처와 호환되지 않습니다.

상태 머신으로서의 매칭 엔진:

  • 일반적으로 결정론적 상태 머신으로 모델링됩니다.
  • 동일한 입력 이벤트 순서로 인해 동일한 예측 가능한 상태가 발생합니다.
  • CEX 주문장 및 금융 시스템의 일관성에 매우 중요합니다.
  • 핵심 실행은 비결정성을 방지하고 선형 처리를 보장하기 위해 단일 스레드로 이루어집니다.

고가용성 및 확장성을 위한 분산 상태 머신:

  • 고가용성 및 확장성을 위해 여러 인스턴스에 걸쳐 구현됩니다.
  • 일부 노드가 실패하더라도 작동을 유지하기 위해 여러 노드에 걸쳐 논리를 복제합니다.
  • 여러 복제본에 워크로드를 분산하여 수평 확장합니다.
  • 강력한 합의 프로토콜(예: Raft)을 통해 일관성이 유지됩니다.

메시징, 일관성 및 짧은 지연 시간:

  • 최소한의 대기 시간과 일관성을 위해 메시징 프로토콜과 결합된 합의 프로토콜입니다.
  • 고객은 맞춤형 메시징 계층을 설계하거나 Aeron 또는 Chronicle와 같은 성숙한 제품을 사용할 수 있습니다.
  • [https://github.com/aeron-io/aeron](https://github.com/aeron-io/aeron)
  • 짧은 대기 시간, 높은 처리량의 통신에 최적화된 메시징 레이어입니다.
  • 대기 시간 오버헤드를 최소화하면서 상태 시스템 입력의 결정적 복제를 활성화합니다.

Aeron: 대기 시간이 매우 짧은 메시징 미들웨어

매우 짧은 지연 시간

  • 마이크로초 범위의 대기 시간: 고주파수 거래에 중요한 마이크로초 범위의 대기 시간을 제공하도록 설계되었습니다.
  • 예측 가능한 성능: 다양한 부하에서 일관된 성능을 보장합니다.

높은 처리량

  • 초당 수백만 개의 메시지: 대량의 메시지를 안정적으로 처리할 수 있습니다.
  • 확장 가능한 아키텍처: 대규모 거래 시스템의 요구 사항을 충족하기 위한 확장을 지원합니다.

신뢰성과 탄력성

  • 연중무휴 가용성: 고가용성을 보장하는 기능을 통해 지속적인 운영을 위해 구축되었습니다.
  • 내결함성: 자동 장애 조치 및 복구를 위한 메커니즘이 포함됩니다.

비용 효율성

  • 오픈 소스: 무료로 사용할 수 있어 라이선스 비용이 절감됩니다.
  • 효율적인 리소스 활용: 하드웨어 및 운영 비용을 최소화합니다.

주요 기능 및 구성 요소

Aeron Transport:

  • 핵심 기능: 고성능, 짧은 대기 시간의 메시지 전송.
  • 프로토콜: UDP(유니캐스트 및 멀티캐스트) 및 프로세스 간 통신(IPC)을 활용합니다.
  • 지원되는 API: Java, C/C++ 및 .NET.

Aeron Archive:

  • 목적: 메시지 녹음 및 재생을 위한 확장입니다.
  • 기능: 전체 메시지 속도로 디스크에 스트리밍을 유지하여 메시지 손실 없이 데이터 복구 및 원활한 서비스 재연결을 보장합니다.

Aeron Cluster:

  • 프레임워크: 내결함성, 분산 서비스 구축을 위한 것입니다.
  • 합의 알고리즘: Raft 알고리즘을 사용합니다.
  • 기능: 자동 장애 조치 및 강력한 데이터 일관성으로 교환 및 트랜잭션 워크플로에 이상적입니다.

Agrona 및 Simple Binary Encoding(SBE):

  • Agrona: 고성능 데이터 구조를 제공합니다.
  • SBE: 메시지 크기와 CPU 주기를 최소화하기 위해 오버헤드가 낮은 컴팩트한 이진 메시지 형식을 제공합니다.

무역회사를 위한 이점

매우 짧은 지연 시간:

  • 성능: 클라우드 환경에서는 100마이크로초 미만의 지연 시간을 제공하고 물리적 하드웨어에서는 20마이크로초 미만의 지연 시간을 제공합니다.
  • 중요: 고주파수 거래.

높은 처리량:

  • 용량: 초당 수백만 개의 메시지를 안정적으로 처리할 수 있습니다.

신뢰성과 탄력성:

  • 가용성: 연중무휴 가용성을 보장합니다.
  • 기능: 자동 장애 조치, 즉각적인 복구 및 강력한 데이터 손실 처리 메커니즘.

비용 효율성:

  • 비용 절감: 공급업체 종속을 방지하여 하드웨어 및 운영 비용을 절감합니다.

입증된 채택:

  • 사용자: Coinbase, Man Group 및 SIX Interbank Clearing을 포함한 전 세계 주요 금융 기관 및 플랫폼.
  • 애플리케이션: 실시간 거래 및 결제 시스템을 강화합니다.

Aeron 시스템의 주요 구성 요소:

Media Driver:

  • 기능: 버퍼 처리, 네트워크 I/O 및 데이터 전송을 관리하는 핵심 엔진입니다.
  • 배포: 애플리케이션 내에 포함된 스레드로 실행되거나 별도의 프로세스로 실행될 수 있습니다.
  • 이점: 가비지 수집 일시 중지와 같은 이벤트가 대기 시간에 미치는 영향을 최소화합니다.

Aeron Client:

  • 인터페이스: 개발자를 위한 애플리케이션 지향 API.
  • 작업: 클라이언트는 게시(메시지 전송용) 및 구독(메시지 수신용)을 생성합니다.

채널 및 스트림:

  • 채널: 통신 경로를 정의합니다.
  • 스트림 ID: 동일한 채널을 통해 서로 다른 논리적 메시지 흐름을 다중화하는 데 사용되는 정수 식별자입니다.

로그 버퍼:

  • 저장소: 메시지는 로그 버퍼라고 하는 일련의 메모리 매핑된 파일에 기록됩니다.
  • 설계: 예측 가능하고 대기 시간이 짧은 액세스를 위해 JVM 가비지 수집을 우회하여 직접 메모리 액세스(힙 외부)를 허용합니다.

실제 사용 사례

  • Coinbase: Aeron Cluster를 사용하여 복원력이 뛰어난 클라우드 기반 거래 인프라를 구축하여 짧은 대기 시간으로 높은 거래량을 처리합니다.
  • EDX Markets(EDXM): 거래 플랫폼 내에서 내결함성과 초저 지연 시간을 위해 Aeron Cluster를 활용했습니다.
  • IMMIX: 고성능 디지털 자산 거래 시스템 및 시퀀서를 구축하기 위해 Aeron Cluster를 채택했습니다.
  • HSBC: 전자 거래 시스템을 강화하기 위해 Aeron를 통합했습니다.
  • Man Group: 신속한 견적 스트림 처리를 위해 대기 시간이 짧은 외환 거래 시스템에서 Aeron를 활용합니다.
  • SIX Interbank Clearing Ltd: 스위스 즉시 결제 플랫폼을 위해 Aeron 클러스터를 배포했습니다.
  • BLOX Markets: 소매 투자자에 초점을 맞춘 다가오는 미국 주식 거래 플랫폼은 Aeron 시스템을 통합하고 있습니다.
  • Chicago Mercantile Exchange (CME): 내부 메시징을 위한 Aeron 오픈 소스 개발 프로젝트를 후원했습니다.
  • Kepler Cheverton(Kcx)는 Adaptive와 제휴하여 Aeron를 기반으로 하는 이벤트 중심 주식 거래 플랫폼을 구축했습니다.
  • 중개 서비스 선두업체인 DriveWealth는 Aeron를 채택하여 거래 인프라를 재설계하고 거래소 수준의 성능을 달성했습니다.
  • Talos는 고성능 거래 및 메시지 직렬화 처리를 위해 디지털 자산 생태계 플랫폼 내에서 Aeron 전송 프로토콜을 활용했습니다.

메시지 흐름 및 메커니즘

출판:

  • 방법: 게시자 클라이언트는 Offer() 메서드를 사용하여 공유 메모리의 로그 버퍼에 메시지를 씁니다.
  • 작동: 비차단; 성공을 나타내는 상태 코드 또는 배압이 적용된 경우를 반환합니다.

Media Driver 동작:

  • 기능: 게시자의 로그 버퍼에서 지속적으로 읽고 구성된 채널(UDP 또는 IPC)을 통해 데이터를 적절한 대상으로 전송합니다.

구독 및 폴링:

  • 메서드: 구독자 클라이언트는 poll() 메서드를 호출하여 연결된 로그 버퍼에서 메시지를 읽습니다.
  • 모델: 폴링 모델은 애플리케이션이 데이터를 처리할 때 제어권을 부여하고 인터럽트 기반 콜백을 방지하여 예측 가능한 대기 시간을 유지합니다.

신뢰할 수 있음:

  • 계층: Aeron는 UDP를 통해 자체 신뢰성 계층을 구현합니다.
  • 메커니즘: 메시지 손실을 감지하고 Negative Acknowledgements(NAK)를 사용하여 누락된 조각의 재전송을 요청하여 최소한의 오버헤드로 안정적이고 순차적인 전달을 보장합니다.

잠금이 없는 디자인:

  • 기술: 모든 내부 작업은 로그 버퍼의 원자 꼬리 업데이트와 같은 기술을 사용하여 잠금이 없습니다.
  • 이점: 스레드 경합을 방지하고 처리량을 최대화합니다.

원자 꼬리 업데이트

네트워킹 프로토콜:

  • Atomic tail 업데이트는 고성능 네트워킹 및 데이터베이스 시스템에서 매우 중요합니다.
  • 링 버퍼나 로그와 같은 데이터 구조를 효율적으로 관리합니다.
  • 꼬리 포인터를 원자적으로 업데이트하면 데이터 손상 없이 동시 상호 작용이 보장됩니다.

시스템 업그레이드:

  • 특정 Linux 배포판(원자 배포판)에서 원자 업데이트에는 단일 트랜잭션으로 전체 OS 이미지를 업그레이드하는 작업이 포함됩니다.
  • 업데이트가 성공한 경우에만 시스템이 새 이미지로 부팅되어 무결성이 보장됩니다.
  • 이는 원자성 원칙을 활용하는 시스템 전체 업데이트입니다.

Raft 합의 알고리즘:

  • 서버가 데이터 상태에 동의하도록 보장하고 리더 선택, 로그 복제 및 노드 역할(팔로워, 후보, 리더)을 통해 이해성을 강조하는 분산 시스템 알고리즘입니다.
  • 리더 선택: 리더가 감지되지 않으면 노드는 추종자에서 후보로 전환되어 새 리더를 선택하기 위한 선거를 시작합니다.
  • 로그 복제: 리더는 클라이언트 요청을 기록하고 이를 팔로어에게 보냅니다. 다수가 확인하면 항목이 커밋되어 모든 노드가 작업 순서에 동의하도록 합니다.

노드 상태:

  • 팔로어(Follower): 리더의 명령과 하트비트를 받아들입니다.
  • 후보자: 선거 기간 동안 리더십을 추구합니다.
  • 리더: 복제 및 클라이언트 요청을 조정합니다.

단순화된 작업 흐름:

  • 시작: 모든 노드는 무작위 선택 시간 초과와 함께 추종자로 시작됩니다.
  • 선거: 추종자가 시간 초과되어 후보자가 되고 임기가 증가하고 투표를 요청합니다.
  • 투표: 팔로어는 현재 기간에 투표하지 않았고 후보자의 로그가 최신인 경우 후보자에게 투표합니다.
  • 리더: 과반수 표를 얻은 후보자가 리더가 되어 하트비트를 보냅니다.
  • 복제: 클라이언트는 리더에게 요청을 보내고, 리더는 이를 기록하고 팔로워에게 복제합니다.
  • 커밋: 대다수의 팔로워가 항목을 기록하면 리더는 이를 커밋하고 상태 시스템에 적용하여 팔로어에게도 동일한 작업을 수행하도록 지시합니다.

주요 이점:

  • 이해성: Paxos와 같은 이전 프로토콜에 비해 구현하고 파악하기가 더 쉽습니다.
  • 강력한 일관성: 모든 노드가 동일한 순서로 작업을 볼 수 있도록 보장합니다(선형성).
  • 내결함성: 서버 오류를 처리할 새로운 리더를 선출합니다.

신청:

  • 데이터베이스: CockroachDB, YugabyteDB.
  • 클러스터 관리자: HashiCorp Consul.
  • 메시지 대기열: Apache Kafka 및 KRaft.

고가용성 및 재해 복구를 위한 Multi-AZ 배포:

  • 합의 및 메시징 솔루션은 단일 Availability Zone 내에서 고가용성을 제공하고 여러 Availability Zones 또는 Regions 전반에 걸쳐 재해 복구를 제공합니다.
  • 보조 대상 또는 영구 스토리지 계층에 대한 로그 복제를 통해 달성됩니다.
  • Amazon S3, Amazon FSx와 같은 스토리지 서비스와 Amazon Aurora 및 Amazon Aurora DSQL와 같은 분산 데이터베이스를 사용합니다.
  • Raft 로그 복제 모드는 완전 동기, 준동기, 비동기 등 다양합니다.
  • 시스템 상호 작용의 전체 기록을 포함하므로 감사 및 규정 준수에 유용한 복제 데이터입니다.

CPG 및 Amazon EC2 용량 이행 고려 사항:

  • CPG를 사용하여 배치를 최적화하고 EC2 인스턴스를 같은 위치에 배치합니다.
  • 용량 이행을 통해 균형을 관리합니다.
  • CPG는 단일 Availability Zone 네트워크 척추 아래에 효과적인 배포 경계를 생성하여 사용 가능한 Amazon EC2 용량 풀을 줄입니다.
  • 영향은 Availability Zone의 크기에 따라 다릅니다. 큰 Regions 및 Availability Zones에서는 완화되고 작은 크기에서는 높아집니다.
  • On-Demand Capacity Reservations를 사용하여 Amazon EC2 용량을 예약하여 위험을 관리합니다.
  • 이점에는 공유 CPG를 통한 대기 시간 단축 및 향상된 용량 보장이 포함됩니다.

CEX 및 MM 네트워크 경계 대기 시간:

  • 디지털 자산 교환을 통해 지연 시간이 짧은 코로케이션을 추구하는 HFTs에 매우 중요합니다.
  • 고객은 이러한 경계를 제어할 수 없습니다. 대기 시간과 지터는 배치와 네트워크 설계에 따라 달라집니다.

지연 시간 최적화를 위한 CPG:

  • Cluster Placement Groups(CPG)는 대기 시간 최적화 배치의 기본입니다.
  • 공유 CPG는 다양한 AWS 계정에 걸쳐 코로케이션을 확장합니다.
  • Region 내의 클라우드 코로케이션 원칙에 부합합니다.

연결 패턴:

  • 디지털 자산 거래소는 50~200마이크로초에서 1밀리초 이상에 이르는 대기 시간 특성을 지닌 다양한 연결 패턴을 제공합니다.

최적의 연결성:

  • HFT 고객은 CDN 및 로드 밸런서를 피하면서 지연 시간이 가장 짧은 교환 경로를 목표로 합니다.
  • 이상적으로는 VPC 피어링 연결을 통해 공용 또는 개인 IP를 사용하여 EC2 주문 게이트웨이에서 직접 교환 엔드포인트와 인터페이스합니다.
  • 프로토콜 선택에 맞게 최적화하고 REST 또는 WebSockets보다 FIX를 선호하여 프로토콜로 인한 대기 시간을 최소화합니다.

지연 시간 모니터링:

  • HFTs는 계층화된 테스트를 사용하여 CEX 엔드포인트에 대한 대기 시간을 모니터링합니다.
  • 기본 HTTP/TCP 핑.
  • 종단 간 대기 시간.
  • 시장 이벤트 및 주문 실행을 위한 애플리케이션 수준 모니터링.
  • Availability Zone 내 CEX 엔드포인트 및 HFT 인스턴스의 잠재적 이동으로 인해 배치를 지속적으로 최적화하고 지연 시간, 가용성 및 인스턴스 선택의 균형을 조정합니다.

Financial Information eXchange(FIX) 프로토콜

핵심 개념 및 메커니즘

  • 구조화된 메시지: FIX 프로토콜은 구조화된 메시지에 태그-값 쌍 형식을 사용합니다.
  • 태그-값 쌍: 각 데이터 필드는 값과 쌍을 이루는 고유한 정수 태그로 식별됩니다.

주요 운영 계층:

  • 세션 레이어: 두 당사자 간의 연결을 관리하여 하트비트 및 갭 필과 같은 메커니즘을 사용하여 안정적인 메시지 전달, 순서 지정 및 중단 복구를 보장합니다.
  • 애플리케이션 레이어: 신규 주문, 실행 보고서, 주문 취소, 거래 할당 등 비즈니스 관련 메시지의 내용을 정의합니다.

광범위한 채택 및 사용 사례

  • 출처: 원래 Salomon Brothers와 Fidelity Investments 간의 미국 주식 거래를 위해 1992년에 개발되었습니다.
  • 지원되는 자산 클래스: 채권, 외환(FX), 파생 상품, 상품 및 디지털 자산/암호화폐를 포함한 거의 모든 자산 클래스를 지원하도록 확장되었습니다.

주요 사용 사례:

  • 주문 라우팅 및 실행: 시장 참여자 간의 주문 및 실행 보고서를 원활하게 전송합니다.
  • 시장 데이터 배포: 실시간 가격 견적, 거래량 및 시장 깊이 정보를 배포합니다.
  • 거래 후 처리: 거래 할당, 확인 및 정산 세부 사항을 처리하고 백오피스 운영 및 규제 보고를 간소화합니다.
  • 알고리즘 및 고주파 거래(HFT): 구조화되고 지연 시간이 짧은 특성으로 인해 극한의 성능 요구 사항을 해결하는 Simple Binary Encoding(SBE) 및 FIX Adapted for STreaming(FAST)와 같은 최적화된 바이너리 인코딩을 사용하여 자동화된 거래 전략에 매우 적합합니다.

FIX 프로토콜의 작동 방식

  • 메시지 기반 표준: 상호 운용성과 효율성을 위해 일련의 태그-값 쌍을 중심으로 구성되었습니다.

메시지 구조: 태그-값 쌍:

  • 정수 태그: FIX 메시지 내의 모든 데이터 조각은 정수 태그로 표시됩니다.
  • 등호: 등호가 뒤에 옵니다.
  • 데이터 값: 그런 다음 데이터 값입니다(예: 신규 주문 단일의 경우 35=D).

FIX 메시지의 구성요소:

  • 헤더: BeginString, MsgType, SenderCompID 및 TargetCompID와 같은 세션 수준 필드를 포함합니다.
  • 본문: Symbol, OrderQty, Price 및 Side와 같은 핵심 애플리케이션 수준 비즈니스 데이터를 포함합니다.
  • 예고편: 메시지 무결성을 확인하기 위한 CheckSum가 포함되어 있습니다.

운영 계층

세션 계층:

  • 두 상대방 간의 안정적이고 지속적인 연결을 관리합니다.

주요 메커니즘:

  • 하트비트: 연결이 활성 상태인지 확인하는 정기적인 메시지입니다.
  • 시퀀스 번호: 누락된 메시지를 감지하기 위해 각 메시지에 대해 고유하고 증가하는 번호입니다.
  • 재전송 요청: 수신자는 시퀀스 간격이 감지되면 누락된 메시지의 "간격 채우기"를 요청할 수 있습니다.

애플리케이션 계층:

  • 메시지의 실제 비즈니스 콘텐츠를 정의합니다.
  • 유효한 주문 유형, 실행 보고서, 거래 확인 및 시장 데이터 요청을 지정합니다.

예: 신규 주문 - 싱글(35=D)

  • $150.00에 Apple(AAPL) 100주 주문을 구매하세요.
  • 8=FIX.4.2|9=100|35=D|34=10|49=BUYER|56=SELLER|52=20251211-10:00:00.000|11=ORD1001|21=1|38=100|40=2|54=1|55=AAPL|44=150.00|10=000|
  • 8=FIX.4.2: FIX Version (e.g., 4.2).
  • 9=100: 본문 길이(메시지 본문의 문자 수).
  • 35=D: 메시지 유형(D = 새 주문 - 단일).
  • 34=10: 시퀀스 번호(세션의 메시지 번호 10).
  • 49=구매자: 보낸 사람 ID(귀하의 회사).
  • 56=판매자: 대상 ID(브로커/거래소).
  • 52=20251211-10:00:00.000: 타임스탬프.
  • 11=ORD1001: ClOrdID(클라이언트 주문 ID).
  • 21=1: HandlInst(1 = 자동 실행, 비공개, 브로커 개입 없음).
  • 38=100: OrderQty (수량: 100주).
  • 40=2: OrdType(2 = 지정가 주문).
  • 54=1: 측면(1 = 구매).
  • 55=AAPL: 기호(Apple Inc.).
  • 44=150.00: 가격(한도 가격: $150.00).
  • 10=000: 체크섬(메시지 무결성용)

Simple Binary Encoding (SBE)

  • 전자 거래 및 초단타 거래(HFT) 환경에서 많이 사용되는 전문 개방형 표준 바이너리 프로토콜입니다.
  • 미션 크리티컬 거래 메시지에 대해 매우 높은 처리 속도와 예측 가능한(결정론적) 대기 시간을 달성합니다.

SBE가 거래에 사용되는 이유

  • 거래에서는 매 마이크로초가 중요합니다.
  • XML 또는 JSON와 같은 기존 데이터 형식은 너무 느리고 부피가 큽니다.
  • SBE는 FIX 거래 커뮤니티에서 CPU 효율성을 최대화하고 인코딩 및 디코딩 프로세스 중 대기 시간을 최소화하는 프로토콜의 필요성을 해결하기 위해 개발되었습니다.
  • SBE는 주문이 생성된 순간부터 거래소에 도달할 때까지 거래 메시지 경로를 최적화합니다.

주요 원칙

고정 오프셋 바이너리 레이아웃

  • SBE의 핵심 개념.
  • 거래 메시지의 모든 단일 필드에 정확한 메모리 위치(오프셋)를 할당합니다.
  • 거래에 미치는 영향: 직접 메모리 액세스는 복잡한 구문 분석 논리를 방지하여 처리 시간을 줄이고 대기 시간을 예측 가능하게 만듭니다.

CPU 최적화(캐시 친화적)

  • 최신 컴퓨터 프로세서에 "캐시 친화적"으로 설계되었습니다.
  • 거래에 미치는 영향: 고정 오프셋 설계는 조건부 분기를 최소화하여 CPU의 내부 예측 메커니즘이 효과적으로 작동하도록 합니다.

단순성과 코드 생성

  • 구조화되고 기계 판독이 가능한 XML 스키마를 사용하여 메시지 레이아웃을 정의합니다.
  • 도구는 이러한 특정 거래 메시지를 읽고 쓰는 데 필요한 코드(Java, C++, C# 등)를 자동으로 생성합니다.
  • 거래에 미치는 영향: 코드 생성은 인적 오류를 제거하고 송신자와 수신자 모두가 정확하고 매우 효율적인 방식으로 바이너리 데이터를 해석하도록 보장합니다.

무역용 SBE 대 FAST

SBE(주문 입력)

  • 실제 주문을 거래소로 보내는 데 선호되는 경우가 많습니다.
  • 상태 비저장 특성과 결정론적 대기 시간 덕분에 주문 제출 시 중요한 지점 간 통신에 이상적입니다.

FAST(시장 데이터)

  • 주로 시장 데이터(가격, 견적) 수신에 사용됩니다.
  • 강점은 반복적인 데이터 스트림(델타 인코딩)을 대규모로 압축하는 것이며, 이는 수백만 건의 가격 업데이트를 효율적으로 방송하는 데 적합합니다.

FIX Adapted for STreaming (FAST)

  • 일반적으로 거래 주문(주문 입력)을 보내는 것이 아니라 주로 시장 데이터 배포를 위해 거래 환경에서 사용됩니다.

목적 및 사용 사례

  • FAST는 FIX 거래 커뮤니티에서 특히 거래소에서 거래 회사로의 대용량 실시간 시장 데이터 피드 전송을 최적화하기 위해 설계되었습니다.
  • 대용량 데이터: 거래소는 매초 수백만 건의 가격 업데이트, 견적 및 시장 심도 메시지를 생성합니다. 이를 전통적인 텍스트 기반 FIX 형식으로 보내면 너무 많은 대역폭을 소비하고 대기 시간이 발생합니다.
  • 압축 효율성: FAST는 반복적인 데이터를 제거하고 템플릿 기반 시스템을 사용하여 이러한 메시지의 크기를 크게 줄이는 강력한 압축 알고리즘 역할을 합니다.
  • 배포(팬아웃): 일대다 통신(하나의 교환이 여러 가입자에게 데이터를 전송)에 고도로 최적화되어 있습니다. 이는 거래 운영의 "시장 데이터" 측면에 이상적입니다.

FAST가 거래 데이터에 대해 작동하는 방식

  • FAST는 수신자가 세션 내 이전 메시지의 값을 기억하는 "상태 저장" 접근 방식을 사용합니다.
  • 비유: 주문장이 업데이트되고 통화, 교환 및 시간이 동일하게 유지되는 동안 특정 주식의 가격만 변경되는 경우 FAST는 새 가격 값만 보냅니다.
  • 이점: 이는 대역폭 사용량과 전체 네트워크 대기 시간을 대폭 줄여 거래자가 정보에 입각한 결정을 내릴 수 있도록 가능한 한 빨리 가격 업데이트를 받을 수 있도록 보장합니다.

FAST와 주문 입력(SBE가 다른 이유)

  • FAST는 데이터 수신을 최적화하지만 일반적으로 거래 주문(주문 입력) 전송을 위한 기본 프로토콜은 아닙니다.
  • 주문 입력에는 예측성이 필요합니다. 거래 주문 전송은 결정적 대기 시간이 가장 중요한 지점 간 매우 중요한 상호 작용입니다. 수신 교환에서는 이전 메시지의 상태에 의존하지 않고 모든 주문이 완전하고 즉시 구문 분석 가능해야 합니다.
  • SBE는 주문에 선호됩니다. Simple Binary Encoding(SBE)는 즉각적인 비조건부 구문 분석을 허용하는 고정 오프셋 바이너리 레이아웃을 사용하고 FAST의 상태 저장 압축에 비해 더 예측 가능한 초저 지연 시간을 제공하기 때문에 주문 입력에 선호되는 경우가 많습니다.

시장 데이터 및 멀티캐스트:

CEX 매칭 엔진:

  • 주문서를 지속적으로 업데이트하여 시장 활동에 대한 동적인 보기를 생성합니다.

시장 데이터 변환:

  • 원시 주문서 상태는 집계 및 정규화를 통해 시장 데이터로 변환됩니다.
  • Exchange는 다양한 수준(Level 1, Level 2, Level 3)에서 최적의 입찰가 및 매도가와 같은 주요 지표를 추출합니다.
  • Level 1 데이터: 최고 입찰가(구매자가 지불할 의사가 있는 최고 가격) 및 최고 매도/제안(판매자가 수락할 의사가 있는 최저 가격)에 대한 실시간 정보를 제공합니다. 또한 일반적으로 마지막 거래 가격과 거래량도 포함됩니다.
  • Level 2 데이터: 다양한 가격 수준(주문장)의 여러 입찰 및 매도 가격을 표시하여 시장에 대한 더 깊은 시각을 제공합니다. 이러한 시장 깊이(DOM) 정보는 거래자가 전반적인 공급과 수요를 측정하는 데 도움이 됩니다.
  • Level 3 데이터: 일반적으로 시장 조성자 및 거래소 회원을 위해 예약되어 있습니다. 여기에는 Level 1 및 Level 2의 모든 정보와 주문장과 상호 작용하고 거래를 직접 실행할 수 있는 기능이 포함됩니다.

시장가 주문:

  • 시장 데이터는 시장 주문에 대해 생성되며, 이는 사용 가능한 최상의 입찰가 또는 요청 가격과 즉시 일치합니다.

AWS Transit Gateway의 멀티캐스트:

  • VPC 내 또는 VPC 사이에서 멀티캐스트 전달을 복제하고 시뮬레이션하는 데 필요합니다.
  • 더 작은 CEX는 시장 데이터를 MMs에 배포하기 위해 공유 전송 게이트웨이를 사용할 수 있습니다.
  • Transit Gateway는 편리하지만 빈도가 높고 지연 시간이 짧은 거래용으로 설계되지 않았으며 더 큰 CEX에 대한 확장 제한이 있습니다.

시장 데이터 배포:

전통시장:

  • 최적화되고 물리적으로 제한된 코로케이션 네트워크를 통해 시장 데이터를 HFT MMs에 배포하려면 UDP 멀티캐스트를 사용하세요.

클라우드 호스팅 CEX:

  • 실시간 시장 데이터 배포를 위해 주로 TCP 유니캐스트 WebSocket API를 사용합니다.

REST API:

  • 주문형 또는 주기적인 데이터 검색(예: 과거 거래, 촛대 데이터)에 사용됩니다.
  • 포트폴리오 추적기와 같은 비실시간 애플리케이션에 적합합니다.
  • REST 엔드포인트를 폴링하면 대기 시간이 길어지고 속도 제한이 더 엄격해집니다.

FIX 게이트웨이:

  • 일부 CEX는 기관 MMs를 위한 FIX 게이트웨이를 통해 실시간 시장 데이터를 제공합니다.
  • 메시지 표준화 및 지연 시간이 짧은 액세스를 제공합니다.
  • FIX 엔드포인트는 특정 기관 MMs, 헤지 펀드 및 소품 거래 회사를 위한 전용 클라우드 인프라에서 호스팅되는 경우가 많습니다.

정확한 시간과 공정하고 동등한 주문 처리:

공정하고 평등한 접근의 중요성:

  • 네트워크 인프라를 넘어 애플리케이션 구성 요소로 확장되는 디지털 자산 교환에 중요합니다.
  • MiFID II와 같은 규제 프레임워크는 전통 시장에서 공정성을 강화하며 디지털 자산 교환은 유사한 원칙을 따릅니다.

공정한 주문 및 시장 이벤트 순서:

  • 거래 매칭 전후에 중요합니다.
  • 정확한 타이밍은 공정한 주문 순서 지정의 핵심이므로 CEX가 분산된 구성 요소 전체에 걸쳐 메시지에 타임스탬프를 찍을 수 있습니다.

HFT MMs의 정밀 시간:

  • 보다 정확한 이벤트 처리 및 신호 생성이 가능합니다.
  • 전략 실행 및 위험 관리를 알려줍니다.

과거 클라우드 타이밍 서비스:

  • 수백 마이크로초 또는 밀리초까지의 정확도를 달성했는데, 이는 낮은 자릿수의 마이크로초 정확도를 요구하는 HFT 전략에는 충분하지 않습니다.

MiFID II(금융상품 시장 지침 II)

  • 2018년부터 발효되는 EU 규정입니다.
  • 보다 공정하고 투명하며 효율적인 금융시장을 만드는 것을 목표로 합니다.
  • 유럽 ​​전역에서 투자자 보호 및 경쟁을 강화합니다.
  • 더 많은 도구를 다루고 행동, 투명성 및 보고에 대한 규칙을 강화합니다.

주요 측면:

  • 고객에게 자세한 비용/요금 공개
  • 지속 가능성 선호를 포함한 더욱 엄격한 적합성 평가
  • 고객 거래에 대한 최선의 실행 의무
  • 시장 감시를 위해 규제 기관에 대한 거래 보고 강화
  • OTFs(조직화된 거래 시설)와 같은 새로운 거래 장소에 대한 규칙 및 기존 거래 장소에 대한 더 엄격한 규칙

주요 목표

  • 투자자 보호: 명확한 비용/위험 정보를 통해 고객이 최상의 결과(최상의 실행)와 적합한 제품을 얻을 수 있도록 보장합니다.
  • 투명성: 규제 기관(ESMA) 및 고객을 위한 거래 활동(가격, 거래량)에 대한 자세한 보고를 의무화합니다.
  • 시장 효율성: 경쟁을 촉진하고, 불투명한 거래(예: 다크 풀)를 줄이고, 조화로운 EU 전역 규칙을 만듭니다.

핵심 요구 사항 및 변경 사항

  • 비용 및 요금: 회사는 모든 비용(수수료, 커미션)을 고객에게 미리 공개해야 합니다.
  • 최상의 실행: 기업은 고객의 거래에 대해 가능한 최상의 결과(가격, 속도, 비용)를 얻기 위해 모든 조치를 취해야 합니다.
  • 제품 거버넌스: 제조업체와 유통업체가 각 제품의 "목표 시장"을 식별하기 위한 규칙입니다.
  • 거래 장소: 새로운 장소(OTFs) 생성 및 기존 장소에 대한 더 엄격한 규칙.
  • 데이터 보고: 시장 남용 감시를 위해 규제 기관(ESMA)에 대한 거래 보고가 증가했습니다.

적용 대상

  • 투자회사
  • 은행
  • 자산운용사
  • 거래 장소(새로운 OTFs 포함)
  • 금융상품 제조 및 유통업체

Organised Trading Facility (OTF)

  • 채권, 구조화 상품, 배출권 및 파생 상품을 위한 유럽 금융 장소입니다.
  • 구매/판매 이해관계가 만나 계약을 형성하는 다자간 시스템 역할을 합니다.
  • OTF 운영자는 실행 재량권을 갖고 있어 일치하는 원금 거래가 가능합니다.
  • MiFID II 규칙에 따라 비유동 기기에 대한 투명성을 생성합니다.

주요 특징:

  • 제품 초점: 주로 채권, 구조화 금융 상품, 배출권 및 파생 상품(MiFID II 상품)과 같은 비지분 상품에 사용됩니다.
  • 다자간 시스템: 다른 거래 장소와 유사하게 여러 제3자의 구매 및 판매 이익을 통합합니다.
  • 임의 실행: OTF의 운영자는 Multilateral Trading Facilities(MTFs)의 비재량 규칙과 달리 거래 실행 방법을 결정할 재량권을 갖습니다.
  • 일치된 원금 거래: 운영자는 구매 및 판매 주문을 일치시키기 위해 주체 역할을 할 수 있지만, 특히 유동성이 적은 국가 부채의 경우 엄격한 조건에서만 가능합니다.
  • 규제 프레임워크: MiFID II/MiFIR에 따라 생성되었으며 승인이 필요하고 엄격한 시장 남용 규칙 및 투명성 요구 사항이 적용됩니다.

MTFs(Multilateral Trading Facilities)와 다른 점:

  • 재량: OTFs는 운영자 재량을 허용합니다. MTFs는 임의적이지 않습니다.
  • 상품: OTFs 채권 및 파생상품에 중점을 둡니다. MTFs는 주식 및 기타 상품을 거래할 수 있습니다.
  • 원금 거래: OTFs는 일반적으로 MTFs에서 금지되는 제한된 일치 원금 거래를 허용합니다.

Multilateral Trading Facilities (MTFs)

  • 전통적인 증권 거래소에 대한 대안을 제공하는 규제된 전자 플랫폼입니다.
  • 유럽의 MiFID II와 같은 규칙에 따라 구매자와 판매자를 연결합니다.
  • 유동성이 낮은 상품이나 장외(OTC) 상품에 대한 다양한 자산(주식, 채권, 파생상품) 거래를 촉진합니다.
  • 시장 운영자 및 은행에 효율적이고 비재량적인 거래를 제공합니다.
  • 악기에 대한 심사가 덜 엄격하다는 점에서 기존 거래소와 대조됩니다.

MTFs의 주요 특성:

  • 전자 및 다자간: 금융 상품에 대한 여러 제3자 매수 및 매도 이익을 통합합니다.
  • 대체 장소: 종종 이국적인 제품이나 OTC 제품을 위한 비상환 장소 역할을 하여 시장 유동성을 높입니다.
  • 운영자 운영: 시장 운영자 또는 투자 회사가 운영하며 반드시 증권 거래소 자체는 아닙니다.
  • MiFID 프레임워크: MiFID II와 같은 유럽 지침에 따라 규제되어 투명성과 공정성을 보장합니다.
  • 자산 클래스: 주식, 채권, 파생상품을 거래할 수 있지만 특정 규칙이 있습니다(예: 독점 거래 없음).

규제 시장과의 차이점:

  • 상장 프로세스: MTFs의 상품은 전통적인 거래소(규제 시장)에 필요한 광범위한 심사와 지속적인 의무를 반드시 거치지는 않습니다.
  • 재량: MTFs는 비주식에 대한 재량권을 허용하는 조직화된 거래 시설(OTFs)과 달리 거래 매칭에 대한 비재량적 규칙에 따라 운영됩니다.

예:

  • Liquidnet Europe
  • Currenex MTF
  • UBS MTF

Currenex MTF

  • Currenex MTF(Multilateral Trading Facility)는 기관 FX 거래를 위한 State Street의 전자 플랫폼입니다.
  • 60개 이상의 은행에서 긴밀한 스프레드와 풍부한 유동성을 제공합니다.
  • 익명의 전체 ECN 액세스를 제공합니다.
  • 전문가는 다양한 주문 유형, 알고리즘 및 지연 시간이 짧은 API 연결을 통해 거래를 실행할 수 있습니다.
  • 순수 ECN(No Dealing Desk) 시스템으로 작동합니다.
  • 효율적이고 비용 효율적인 FX 및 대규모 플레이어를 위한 금속 거래에 중점을 둡니다.

리퀴드넷

  • 기술 중심의 대행사 실행 전문가이자 TP ICAP 그룹의 자회사입니다.
  • 주로 주식, 채권 및 파생상품의 대량 거래를 위해 기관 투자자를 대규모 글로벌 유동성 풀에 연결합니다.

핵심 서비스 및 기능:

  • 블록 트레이딩: 기관 투자자 간의 대규모 익명 거래를 촉진하여 시장 영향 비용을 최소화하고 거래 정보를 보호합니다.
  • 글로벌 네트워크: 6개 대륙, 57개 시장에 걸쳐 1,000개 이상의 자산 관리 회사를 연결하여 수조 달러에 달하는 자산을 공동으로 관리합니다.

기술 및 플랫폼:

  • 다크 풀: 거래를 위해 비공개 포럼을 사용하여 Alternative Trading System(ATS) 또는 Multilateral Trading Facility(MTF)로 작동합니다.
  • 알고리즘 거래: "Barracuda" 및 "SmartDark"와 같은 고급 알고리즘을 제공하여 시장 입지를 최소화하면서 내부 및 외부 장소에서 유동성을 추구합니다.
  • OMS/EMS 통합: 회원의 기존 Order Management Systems(OMS) 및 Execution Management Systems(EMS)와 원활하게 통합되도록 설계되었습니다.

자산 클래스:

  • 채권: 신디케이트 은행과의 연결을 포함하여 2차 시장 거래 및 1차 채권 시장을 위한 혁신적인 전자 워크플로우를 위한 솔루션입니다.
  • 상장 파생상품: 다중 자산 역량을 강화하기 위해 미국 주식 옵션으로 확장.

비재량적 규칙

  • 개인적인 판단이나 선택의 여지를 남기지 않고 특정 조치나 결과를 요구하는 지침이나 요구 사항입니다.
  • 금융(거래에 대한 고객 승인 필요), 법률(필수 지출/조치) 및 거래 시스템(5/20 크로스오버와 같은 고정된 구매/판매 트리거)에서 일반적입니다.
  • 투자에서는 자문가가 결정하는 임의 계좌와 달리 브로커가 모든 거래에 대해 고객의 동의를 얻어야 함을 의미합니다.
  • 비재량이란 개인적인 재량권을 행사하기보다는 엄격한 프로토콜을 따르는 것을 의미합니다.

주요 측면:

  • 의무적 준수: 식품이나 주택과 같은 필수품에 대한 비재량 지출에서 볼 수 있듯이 규칙을 정확하게 따라야 합니다.
  • 명확한 트리거: 종종 거래 시스템의 알고리즘(예: 5일 평균과 20일 평균)과 같은 객관적인 기준이 포함됩니다.
  • 고객 통제(투자): 금융에서 고객은 주문 접수자 역할을 하는 브로커와 함께 모든 거래를 승인하는 "최종 결정"을 유지합니다.

임의 규칙과 대조:

  • 비재량: 사전 결정된 규칙이나 고객 지시를 엄격히 준수합니다(예: "XYZ 주가가 50달러에 도달하면 100주를 구매하세요").
  • 임의적: 조언자가 자신의 판단을 사용하여 결정을 내릴 수 있도록 허용합니다(예: "성장을 위해 내 포트폴리오 관리").

외환 거래의 No Dealing Desk(NDD) 시스템

  • 고객 주문은 내부 개입이나 상대방 역할을 하는 "딜링 데스크" 없이 외부 유동성 공급자에게 직접 전달됩니다.
  • 투명성을 보장하고 브로커와 거래자 사이의 잠재적인 이해 상충을 제거합니다.

NDD 시스템 작동 방식:

  • NDD 브로커는 자동화 시스템을 사용하여 유동성 공급자 네트워크에서 최상의 가격을 찾는 링크 역할을 합니다.

주로 두 가지 메커니즘을 통해 작동합니다.

  • 직접 처리(STP): 고객 주문은 유동성 공급자에게 직접 전달되며 브로커는 스프레드에 소규모 고정 마크업을 커미션으로 추가합니다.
  • 전자 통신 네트워크(ECN): 거래자의 주문은 분산형 시장의 다른 참가자(은행, 기타 중개인 및 개인 거래자 포함)와 직접 연결됩니다. ECN 브로커는 일반적으로 거래당 고정 수수료를 청구하는 동시에 시장에서 원시 가변 스프레드를 제공합니다.

장점과 단점:

  • 기준 : No Dealing Desk (NDD)
  • 브로커의 역할: 반대 입장을 취하지 않고 거래를 촉진합니다.
  • 이해 상충: 브로커는 고객 손실이 아닌 수량/수수료로 이익을 얻으므로 잠재적인 이해 상충이 없습니다.
  • 주문 실행: 재주문 없이 실제 시장 가격으로 자동으로 즉시 실행됩니다.
  • 가격: 실제 시장 상황에 따른 가변 스프레드.
  • 투명성: 직접적인 시장 접근 및 실시간 가격 책정으로 인한 높은 투명성.
  • 잠재적인 단점: 변동성이 높을 때 스프레드가 확대될 수 있습니다. 수수료 또는 전체적으로 약간 더 높은 비용이 포함될 수 있습니다. 미끄러질 위험이 있습니다.

제품 및 브로커:

  • 거래자는 NDD 거래를 위해 특정 플랫폼을 사용하는 경우가 많으며 평판이 좋은 여러 브로커가 이 시스템을 제공합니다.

NDD 브로커:

  • FP Markets: 지속적으로 낮은 RAW 스프레드(종종 0핍)와 빠른 실행 속도로 호평을 받습니다.
  • Pepperstone: 뛰어난 MT4 거래 도구와 Razor 계정의 경쟁력 있는 스프레드로 유명합니다.
  • IC Markets: 사용 가능한 가장 낮은 평균 RAW 스프레드(EUR/USD에서 최저 0.02핍)를 보유하고 있다는 점에서 두드러집니다.
  • FxPro: 깔끔한 인터페이스와 고급 차트 도구로 유명한 RAW 스프레드가 포함된 cTrader 플랫폼을 제공합니다.

Liquidnet Barracuda 알고리즘

  • 유동성 추구 거래 알고리즘
  • 다크 집계와 라이트 거래를 결합합니다.
  • 높은 참여율과 최소한의 시장 영향을 목표로 합니다.

Barracuda 알고리즘 작동 방식

  • 유동성 확보를 위해 기회주의적 논리 활용

다크 어그리게이션

  • 핵심 구성 요소: 다크 애그리게이터
  • 다크 풀에서 대규모 익명 유동성 블록을 찾습니다.
  • 주문 규모나 의도를 공개하지 않고 거래를 실행합니다.
  • 가격 영향 감소

조명 거래

  • 다크 어그리게이션(Dark Aggregation) 보완
  • 유리한 경우 공개 증권 거래소에서 거래
  • 최상의 실행 기회를 위해 기회주의적 논리를 사용합니다.

결과 및 이점

높은 참여율

  • 시장 규모에 상당한 참여 달성(예: 조명 시장 규모의 65.5%)

시장 영향 절감

  • 시장 영향 비용 절감
  • 블록 실행으로 인해 10.0bps 절감이 보고되었습니다.

성능 지표

  • 10% POV(볼륨 거래 비율) 거래 비용 모델을 17.4bps 능가합니다.
  • 간격 VWAP(거래량 가중 평균 가격) VWAP를 4.8bps 능가합니다.

결론

  • 대량 주문을 효율적으로 실행
  • 시장 가격에 대한 혼란을 최소화합니다.

Liquidnet SmartDark 알고리즘

  • 기관 거래자를 위해 설계됨
  • 다크 풀에서 대규모 주식 주문을 효율적으로 실행합니다.
  • 시장영향 최소화 및 가격안정성 제고

SmartDark 알고리즘 작동 방식

  • Liquidnet Dark 거래 환경 내에서 작동합니다.
  • 표시되지 않은 대규모 유동성 블록을 찾습니다.

우선순위 라우팅

  • 우선순위 라우팅 시스템을 사용합니다.
  • "수율 및 품질 지표"를 평가합니다.
  • 주문의 일부를 어디로 보낼지 지능적으로 결정
  • 더 나은 실행 규모와 안정적인 가격을 갖춘 장소를 선호합니다.

유동성 추구 전략

  • 다양한 어둠의 장소를 적극적으로 찾아 접근합니다.
  • 내부 블록 교차 기회 활용
  • 수동적으로 경기를 기다리는 것을 방지합니다.

노출 극대화

  • 최대 유동성 노출과 타겟 전략을 결합합니다.
  • 트레이더가 고품질 장소에 접근할 수 있도록 합니다.

시장 영향 최소화

  • 다크 풀에서 익명으로 대규모 거래를 실행합니다.
  • 더 넓은 공개 시장에서 대규모 주문 규모가 발생하는 것을 방지합니다.
  • 조명 거래소에서 발생하는 상당한 가격 변동을 방지합니다.

5/20 EMA 크로스오버 전략

  • 단기 추세 변화를 파악하기 위해 20주기 EMA를 교차하는 5주기 EMA를 사용합니다.
  • 5 EMA가 20 EMA를 상향 교차할 때 강세 신호(매수)
  • 5 EMA가 20 EMA 아래로 교차할 때 약세 신호(매도)
  • 빠르게 변화하는 트렌드 시장에 이상적
  • 잘못된 신호를 방지하려면 확인(예: RSI, 볼륨)이 필요합니다.

작동 방식

  • 5 EMA(빠름): 최근 가격 변화에 빠르게 반응합니다.
  • 20 EMA(느림): 단기 추세에 대한 더 넓고 부드러운 보기를 제공합니다.

진입 신호

  • 강세 (매수): 5 EMA가 20 EMA를 초과하여 교차합니다.
  • 약세 (매도): 5 EMA가 20 EMA 아래로 교차합니다.

구현 단계

  • 추세 파악: 전체 시장 방향을 확인하려면 더 높은 기간(일별/주별)을 사용하세요.
  • EMA 플롯: 차트에 5주기 및 20주기 EMA를 추가합니다.
  • 교차 대기: 선택한 기간에 20 EMA를 교차하는 5 EMA를 찾습니다.
  • 확인: RSI, 볼륨 또는 촛대 패턴과 같은 다른 도구를 사용하여 신호를 검증합니다.
  • 정지 및 목표 설정: 정지 손실을 스윙 저점 아래(장기의 경우) 또는 스윙 고점 위에(단기의 경우) 배치합니다. 이익 실현을 위해 위험/보상 비율(예: 1:2, 1:3)을 사용합니다.

최고의 대상

  • 모멘텀 트레이딩: 빠르고 날카로운 움직임 포착
  • 동향 시장: 명확한 방향이 있는 시장에서 가장 잘 작동합니다.
  • 활성 거래자: 더 짧은 기간(15분, 1시간, 5분)의 일중 또는 스윙 거래에 적합합니다.

주요 고려 사항

  • 잘못된 신호: 5 EMA의 빠른 특성은 많은 신호를 생성하며 그 중 대부분은 가짜입니다(채찍톱).
  • 확인이 핵심입니다. 크로스오버에만 의존하지 마십시오. 항상 다른 지표에서 확인을 구하십시오.

Amazon Time Sync Service:

  • PTP 및 PTP 하드웨어 시계를 사용하여 100마이크로초 미만(종종 50마이크로초 미만)의 시간 정확도를 달성하기 위해 2023년 후반에 개선되었습니다.
  • 모든 Availability Zone에서 전용 타이밍 네트워크와 GPS 규정 클록으로 지원됩니다.

Hardware Packet Timestamping:

  • 2025년 6월에 도입되어 하드웨어 수준에서 모든 인바운드 네트워크 패킷에 64비트 나노초 정밀도 타임스탬프를 추가합니다.
  • AWS Nitro System의 참조 클럭을 활용하고 소프트웨어로 인한 지연을 우회합니다.
  • Nitro NIC에 패킷 도착 시 나노초 단위의 가시성을 제공합니다.

향상된 실행 및 모니터링 기능:

  • AWS의 디지털 자산 교환 및 HFT MMs에 대한 실행 및 모니터링 기능을 향상합니다.

더 큰 공정성과 정확한 측정:

  • CEX가 더 큰 공정성을 구현할 수 있도록 합니다.
  • HFTs를 활성화하여 왕복 및 단방향 대기 시간을 정확하게 측정합니다.