FSI がエージェント型 AI で HFT 分析に革命をもたらした方法 (GBL302)

セッションノート

導入

• 免責事項: 表明された見解は個人的なものであり、AWS または関連組織の公式の立場ではありません。情報提供のみを目的としており、財務的または専門的なアドバイスではありません。
• 取引エコシステムの概要
• 参加者: 買い手と売り手は取引所に注文を出します。
• 市場の流動性: 十分な流動性が不足している可能性があります。
• マーケットメーカーの役割: 継続的な売買注文を保証し、流動性と取引相手を提供します。
• オーダーブックの抽象化
• 買い注文 (左): 買い手の注文。
• 売り注文 (右): 売り手の注文。
• Y 軸: 各価格レベルの累積サイズ。
• 価格レベル: 右側に近づくほど価格が高くなります。
• マーケットメーカーの日常業務
• 複数の買い注文と売り注文を出します。
• リスク管理: ニュースや発表は市場に重大な変動を引き起こす可能性があります。
• 在庫管理: 市場の突然の変化による損失を回避するために重要です。
• マーケットメーカーにとって理想的な市場条件
• 制御されたボラティリティ: 市場の変動が小さい。
• 迅速な約定: 入札および売注文は迅速に約定されます。
• 高い回転率: 取引ごとの利益は小さいにもかかわらず、取引頻度が高いと全体の利益が大きくなる可能性があります。

マーケットメーカー戦略とボラティリティ要因

スプレッドと利益のトレードオフ

• スプレッドの拡大: マーケットメーカーは、取引あたりの利益を高めるためにスプレッドの拡大を検討する場合があります。
• トレードオフ: スプレッドが高いと約定が減り、全体の利益が減少する可能性があります。
• 高頻度取引: マーケットメーカーは、売上高を最大化するために、利益が少なくても頻繁な取引を選択することがよくあります。
• ボラティリティとスプレッドの調整
• ボラティリティの影響: ボラティリティは価格設定における重要な要素です。マーケットメーカーは予想されるボラティリティに基づいてスプレッドを調整します。
• イベント主導のボラティリティ: 例には、フェデラル ファンド金利に関する FOMC 会議が含まれます。
• 迅速な分析とアクション: マーケットメーカーはニュースを迅速に分析し、損失を回避するために注文を調整する必要があります。
• 市場を動かすイベントの例
• FOMC会議: 発表時期と結果がわかっている予測可能なイベント。
• ソーシャルメディアの影響: 影響力のある人物（Trump、Elon Muskなど）のツイートなどの予測不可能なイベントは、即座に市場の反応を引き起こす可能性があります。
• Dogecoin 例: 暗号通貨に関する Elon Musk のツイートは、急激な価格変動を引き起こす可能性があり、ソーシャル メディア主導のニュースの予測不可能性と解釈の難しさを示しています。

デジタル資産市場センチメント分析における課題

デジタル資産におけるインフルエンサーの影響

• 予測不可能な性質: Elon Musk のようなインフルエンサーのツイートは、仮想通貨の価格に急速に影響を与える可能性があります。
• 解釈の難しさ: ツイートは主観的なものが多く、知的な解釈が必要です。
• 分析の速度: 人間の判断はリアルタイム取引には遅すぎます。自動化されたソリューションが必要です。
• 感情分析アプローチの進化
• 辞書アプローチ: 業界用語 (例: 弱気、強気) とパターン マッチングを使用した初期手法。
• 制限事項:
• 語彙が限られており、文脈の処理が不十分（例：「大規模な短期清算イベント」を否定的なものとして誤解する）。
• 統計的マッチングと機械学習:
• Naive Bayes や FinBERT などのモデルを使用した教師あり学習に移行します。
• 利点: 一般化とコンテキストの理解が向上します。
• 課題: 大量のラベル付きデータが必要なため、コストが高く、市場投入までの時間が長くなります。
• 高度なソリューションの必要性
• リアルタイム分析: 市場の動きに対応するための迅速な自動センチメント分析の必要性。
• コンテキスト認識: ソリューションはコンテキストを正確に解釈して、信頼できる感情分析を提供する必要があります。

大規模言語モデル (LLM) による感情分析の進歩

トランスフォーマーベースのマルチモーダル推論

• LLM、Claude、DeepSeek などの最新の LLM を使用すると、最小限の微調整でコンテキストを認識したセンチメント分析が可能になります。
• 特定のニュース タイトルやドメイン固有のイベント (プロトコルの悪用など) について推論することができます。
• 推論パフォーマンスの最適化
• 時間枠が短いダイナミックな市場におけるリアルタイムのセンチメント分析には不可欠です。
• 最適化の旅:
• 2025 年 2 月: P5EN インスタンスで SageMaker Jumpstart を使用した初期デプロイメントにより、1 秒あたり 80 個の出力トークンを達成。
• 2025 年 4 月: VLLM に切り替え、マルチトークン予測、混合精度、線形アテンション、分散並列処理が可能になり、パフォーマンスが 1 秒あたり 140 出力トークンに向上しました。
• 2025 年 8 月: VLLM を SGLN に置き換え、投機的デコードを利用して 1 秒あたり 180 個の出力トークンを達成しました。
• 最適化の重要性
• 大量のイベント: 1 分あたり 10,000 件のイベントが発生すると、ミリ秒単位の推論遅延が増加します。
• 処理能力の倍増: 1 秒あたりの出力トークンが 80 から 180 に増加すると、同じ時間枠内でのニュース取り込み処理が 2 倍になります。
• エンドツーエンドの遅延: 10 秒未満を達成し、逆選択を回避します。
• 実装の概要
• Day One アーキテクチャ: 最適化されたセンチメント分析ソリューションを展開するために使用される初期セットアップとコンポーネント。

感情分析における初日のアーキテクチャと重複処理

初日のアーキテクチャ

• ニュースの取り込み: ニュース ストリーミング API はデータを X 線バケットにフィードし、資産、緊急性、感情に基づいて分類するための Lambda 関数をトリガーします。
• メタデータのタグ付け: Lambda 関数は、ディープシーク モデルをトリガーして、メタデータを Aurora プロスペクトや OpenSearch などのデータベースにタグ付けします。
• ユーザーインタラクション: QCLI ターミナルを使用すると、トレーダーやアナリストは、Claude などの LLM を使用してニュース ソースに特定の情報 (例: Trump 発表の最新ニュースや Elon Musk のツイート) を問い合わせることができます。
• 暗号ニュースにおける複製チャレンジ
• 問題: 同じニュースが数分以内にさまざまなプラットフォーム (Twitter、Reddit、Discord、Telegram) で複数回報告されました。
• コストとレイテンシ: 高価な LLM を介してすべての重複を処理すると、コストとレイテンシが増加します。

複製パイプライン

ステップ 1: 埋め込み

• VGEM3 などの埋め込みモデルを使用して、Lambda の埋め込みを計算します。
• ステップ 2: 類似性チェック:
• 類似度 > 0.75 の場合: 処理を回避するために、重複としてマークし、OpenSearch の重複コレクションに挿入します。
• 類似度 < 0.5 の場合: 一意である可能性が高くなります。過去のニュースについては、OpenSearch の固有のコレクションと照合してください。
• ステップ 3: 分析:
• 本当にユニークな場合は、ほぼリアルタイムの予測、スプレッド拡大の推奨事項、資産への影響評価、および価格変動確率を実行します。
• ステップ 4: 予測レポートの生成:
• アクションに関する人間の決定のために、レポートをトレーダーデッキ選択チャネルに送信します。

埋め込みの微調整

• 汎用埋め込みモデルは、暗号固有の重複を効果的に処理できない可能性があります。
• 微調整の重要性: 暗号ニュースからの数千のクエリ ドキュメント ペアに対する、すぐに使える BGEM3 のパフォーマンスを示す散布図で示されています。

埋め込みとエージェント アーキテクチャの微調整

初期散布図

• 緑色の点: 類似性スコアが高い (>0.75) 重複したニュース記事。
• 赤い点: 類似性スコアが低い (<0.5) 重複していないニュース記事。
• Muddy Middle (オレンジ): 0.5 と 0.75 の間の重なりは、分離が効果的でないことを示します。
• 微調整された BGEM3:
• 何千ものラベル付き暗号ニュース記事を微調整した結果、緑の点と赤の点が明確に区別されました。
• 0.3 ～ 0.6 の類似性スコアをきれいに分離し、中間の濁りを排除します。
• 5 億 6,000 万個のパラメーターを備えた微調整された小さな埋め込みモデル。
• エージェントのアーキテクチャと迅速なエンジニアリング
• LLM を微調整する必要はありません。迅速なエンジニアリングで十分です。
• エージェント アーキテクチャの力:
• Cock のような一般的な推論モデルを使用した階層的タスクの分解。
• 費用対効果が高く、市場投入までの時間を短縮するための特殊な埋め込み層。
• アーキテクチャによるバイアスの排除。
• 新しい出来事について推論するための教育システム。
• クイックデモ
• トレーダーデッキ: 右側にはニュースチャンネルが表示されます。
• 左側: パイプラインによって分析されたストリーミング ニュース。
• 例:
• SEC への提出書類: 分析はされましたが、市場を動かさないとしてトレーダーには送信されませんでした。
• 定期ニュース: 影響なしとして分類されています。
• 影響力のあるニュース: 例: 中国が敵対的になるに関する Trump のツイートは、影響力があると特定され、スプレッド調整の決定のためにトレーダーに送信されます。
• 重要なポイント
• 微調整よりもエージェント アーキテクチャの使用。
• 一般的な推論モデルによる階層的タスクの分解。
• 費用対効果と迅速な結果を実現する特殊な埋め込みレイヤー。
• 継続的なシステム改善のためのトレーダーのフィードバック ループによる人間参加型。
• 人間の監視による年中無休のリアルタイムの報道。

エージェントティック ニュース分析に AWS マクロ サービスを使用するデジタル資産マーケット メーカー

免責事項: 表明された見解は個人的なものであり、公式の AWS または関連組織によるものではありません。

ポジション。情報提供のみを目的としており、財務的または専門的なアドバイスではありません。

取引エコシステムの概要

参加者: 買い手と売り手は取引所に注文を出します。 市場の流動性: 十分な流動性が不足している可能性があります。 マーケットメーカーの役割: 継続的な売買注文を保証し、流動性と取引相手を提供します。

オーダーブックの抽象化

入札注文 (左): 買い手の注文。 Ask Orders (右): 売り手の注文。 Y-Axis: 各価格レベルの累積サイズ。 価格レベル: 右側に近づくほど価格が高くなります。

マーケットメーカーの日常業務

複数の入札と依頼の注文を行います。 リスク管理: ニュースや発表は市場に重大な変動を引き起こす可能性があります。 在庫管理: 市場の突然の変化による損失を回避するために重要です。

マーケットメーカーにとって理想的な市場条件

制御されたボラティリティ: 市場の変動が小さい。 迅速な約定: 入札および売注文は迅速に約定されます。 高い回転率: 取引ごとの利益は小さいにもかかわらず、取引頻度が高いと全体の利益が大きくなる可能性があります。

マーケットメーカー戦略とボラティリティ要因

スプレッドと利益のトレードオフ

• スプレッドの拡大: マーケットメーカーは、利益率を高めるためにスプレッドの拡大を検討する可能性があります。
• トレードオフ: スプレッドが高いと約定が減り、全体の利益が減少する可能性があります。貿易。
• 高頻度取引: マーケットメーカーは、売上高を最大化するために、利益が少なくても頻繁な取引を選択することがよくあります。

ボラティリティとスプレッドの調整

• ボラティリティの影響: ボラティリティは価格設定における重要な要素です。マーケットメーカーは以下に基づいてスプレッドを調整します
• イベントドリブンのボラティリティ: 例には、フェデラル ファンド金利に関する FOMC 会議が含まれます。予想されるボラティリティ。
• 迅速な分析とアクション: マーケットメーカーはニュースを迅速に分析し、損失を回避するために注文を調整する必要があります。

市場を動かすイベントの例

• FOMC ミーティング: リリース時間と結果がわかっている予測可能なイベント。
• ソーシャルメディアの影響: 影響力のある人物（トランプ大統領、
• ドージコインの例: 仮想通貨に関するイーロン・マスクのツイートは価格の急騰につながる可能性がある イーロン・マスク) は即座に市場の反応を引き起こす可能性があります。

これは、ソーシャルメディア主導のニュースを解釈することの予測不可能性と難しさを示しています。

デジタル資産市場センチメント分析における課題

デジタル資産におけるインフルエンサーの影響

• 予測不可能な性質: イーロン・マスクのようなインフルエンサーのツイートは急速に影響を与える可能性があります
• 解釈の難しさ: ツイートは主観的なものが多く、知的な解釈が必要です。暗号通貨の価格。
• 分析の速度: 人間の判断はリアルタイム取引には遅すぎます。自動化されたソリューションが必要です。

感情分析アプローチの進化

• 辞書アプローチ: 業界用語 (例: 弱気、強気) とパターンを使用した最初の方法
• 制限事項: 語彙が限られており、コンテキストの処理が不十分です (例: 「大量一致」の誤解)。

短期清算イベント」は否定的です）。

統計的マッチングと機械学習

• Naive Bayes や FinBERT などのモデルを使用した教師あり学習への移行。
• 利点: 一般化とコンテキストの理解が向上します。
• 課題: 大量のラベル付きデータが必要なため、コストが高く、市場投入までの時間が長くなります。

高度なソリューションの必要性

• リアルタイム分析: 迅速かつ自動化されたセンチメント分析の必要性
• コンテキスト認識: ソリューションはコンテキストを正確に解釈して、信頼できるセンチメント市場の動きを提供する必要があります。

分析。

大規模言語モデル (LLM) による感情分析の進歩

トランスフォーマーベースのマルチモーダル推論

• LLM、Clock、DeepSeek などの最新の LLM を使用すると、最小限の微調整でコンテキストを認識したセンチメント分析が可能になります。
• 特定のニュース タイトルやドメイン固有のイベント (プロトコルの悪用など) について推論することができます。

推論パフォーマンスの最適化

• 時間枠が短いダイナミックな市場におけるリアルタイムのセンチメント分析には不可欠です。

最適化の旅:

• 2 月 2025: P5EN インスタンスで SageMaker Jumpstart を使用した初期デプロイメント、
• 4 月 2025: VLLM に切り替え、マルチトークン予測、混合精度、線形で 1 秒あたり 80 出力トークンを達成できるようになりました。
• 8 月 2025: VLLM を SGLN に置き換え、投機的デコードを利用して 180 アテンションと分散並列処理を実現し、パフォーマンスを 1 秒あたり 140 出力トークンに向上させました。

1 秒あたりの出力トークン数。

最適化の重要性

• 大量のイベント: 1 分あたり 10,000 イベント、ミリ秒ごとの推論遅延
• 処理能力の倍増: 1 秒あたりの出力トークン数を 80 から 180 に増やすと、化合物が 2 倍になります。
• エンドツーエンドの遅延: 10 秒未満で達成され、逆選択を回避します。同じ時間枠内でのニュース取り込み処理。

実装の概要

• Day One アーキテクチャ: 最適化されたセンチメント分析ソリューションを展開するために使用される初期セットアップとコンポーネント。

感情分析における初日のアーキテクチャと重複処理

初日のアーキテクチャ

• ニュースの取り込み: ニュース ストリーミング API はデータを X-ray バケットにフィードし、Lambda をトリガーします
• メタデータのタグ付け: Lambda 関数は、Deepse モデルをトリガーして、アセット、緊急性、センチメントに基づいて分類するためにメタデータをデータベース関数にタグ付けします。
• ユーザーインタラクション: QCLI ターミナルを使用すると、トレーダーやアナリストは Aurora Prospects や OpenSearch などを使用してニュース ソースにクエリを実行できます。

特定の情報を求める Clock のような LLM (トランプの発表やイーロンに関する最新ニュースなど)

マスク氏のツイート）。

暗号ニュースにおける複製チャレンジ

• 問題: 同じニュースがさまざまなプラットフォーム (Twitter、Reddit、Discord、
• コストとレイテンシ: 高価な LLM を介してすべての重複を処理すると、コストが増加し、数分以内にテレグラムが増加します。

待ち時間。 複製パイプライン

• ステップ 1: 埋め込み

VGEM3 のような埋め込みモデルを使用して、Lambda で埋め込みを計算します。

• ステップ 2: 類似性チェック:

類似度 > 0.75 の場合: 重複としてマークし、OpenSearch の重複コレクションに挿入して、 類似度 < 0.5 の場合: 一意である可能性が高くなります。 OpenSearch の一意のコレクションと照合して処理を回避します。

• ステップ 3: 分析: 過去のニュース。

本当にユニークな場合は、ほぼリアルタイムの予測、スプレッド拡大の推奨事項、アセットを実行します。

• ステップ 4: 予測レポートの生成: 影響評価と価格変動確率。

人間によるアクションの決定のために、レポートをトレーダーデッキ選択チャネルに送信します。 埋め込みの微調整

• 汎用埋め込みモデルは、暗号固有の重複を効果的に処理できない可能性があります。
• 微調整の重要性: 暗号ニュースからの何千ものクエリ ドキュメント ペアに対する、すぐに使える BGEM3 のパフォーマンスを示す散布図で示されています。

🔧 埋め込みとエージェント アーキテクチャの微調整

初期散布図:

• 緑色の点: 類似性スコアが高い (>0.75) 重複したニュース記事。
• 赤い点: 類似性スコアが低い (<0.5) 重複していないニュース記事。
• 濁った中央 (オレンジ): 0.5 と 0.75 が重なっており、分離が効果的でないことを示します。

微調整 BGEM3:

• 何千ものラベル付き仮想通貨ニュース記事を微調整した結果、
• 0.3 と 0.6 の類似性スコア間の明確な分離により、濁った中間が排除されます。緑と赤の点。
• 56000 万個のパラメータを備えた微調整された小さな埋め込みモデル。

エージェントのアーキテクチャと迅速なエンジニアリング

• LLM を微調整する必要はありません。迅速なエンジニアリングで十分です。

エージェント アーキテクチャの力:

• Cock のような一般的な推論モデルを使用した階層的タスクの分解。
• 費用対効果が高く、市場投入までの時間を短縮するための特殊な埋め込み層。
• アーキテクチャによるバイアスの排除。
• 新しい出来事について推論するための教育システム。

クイックデモ

• トレーダーデッキ: 右側にはニュースチャンネルが表示されます。
• 左側: パイプラインによって分析されたストリーミング ニュース。
• 例:

SEC 申告書: 分析されましたが、市場を動かさないとしてトレーダーには送信されませんでした。 定期ニュース: 影響なしとして分類されています。 影響力のあるニュース: E.g.、中国が敵対的になることに関するトランプ大統領のツイートは、影響力があると特定され、スプレッド調整の決定のためにトレーダーに送信されました。

重要なポイント

• 微調整よりもエージェント アーキテクチャの使用。
• 一般的な推論モデルによる階層的タスクの分解。
• 費用対効果と迅速な結果を実現する特殊な埋め込みレイヤー。
• 継続的なシステム改善のためのトレーダーのフィードバック ループによる人間参加型。
• 24/7 人間の監視によるリアルタイム カバレッジ。

AWS re:Invent の要約 (GBL302)

AWS マクロ サービスを使用したデジタル資産マーケット メーカー向けの Agentic ニュース分析

免責事項: 表明された見解は個人的なものであり、AWS または関連組織の公式立場を表すものではありません。このコンテンツは情報提供のみを目的としており、財務的または専門的なアドバイスを構成するものではありません。

取引エコシステムの概要

• 参加者: 買い手と売り手は取引所に注文を出します。
• 市場の流動性: 十分な流動性が得られない可能性があります。
• マーケットメーカーの役割: 流動性と取引相手を提供しながら、継続的な売買注文を維持します。

オーダーブックの抽象化

• 入札注文 (左): 買い手の注文。
• 注文を依頼する (右): 売り手の注文。
• Y-axis: 各価格レベルの累積サイズ。
• 価格レベル: 高い価格ほど右側に表示されます。

マーケットメーカーの日常業務

• 複数の入札と依頼の注文を行います。
• リスク管理: ニュースや発表は市場に重大な変動を引き起こす可能性があります。
• 在庫管理: 市場の突然の変化による損失を回避するために重要です。

マーケットメーカーにとって理想的な市場環境

• 制御されたボラティリティ: 市場の変動が小さい。
• 素早い執行: 買値注文と売値注文は迅速に執行されます。
• 高い売上高: 取引ごとの利益は小さいにもかかわらず、頻繁な取引により全体として大きな利益を生み出す可能性があります。

マーケットメーカー戦略とボラティリティ要因

スプレッドと利益のトレードオフ

• スプレッドの拡大: マーケットメーカーは、取引ごとにより多くの利益を得るためにスプレッドを拡大する場合があります。
• トレードオフ: スプレッドが広いと、約定が減り、全体的な利益が減少する可能性があります。
• 高頻度取引: マーケットメーカーは、売上高を最大化するために、利益が少なくても頻繁な取引を選択することがよくあります。

ボラティリティとスプレッドの調整

• ボラティリティの影響: ボラティリティは重要な価格決定要因であり、マーケットメーカーは予想されるボラティリティに応じてスプレッドを調整します。
• イベントドリブンのボラティリティ: 一例として、FOMC 会合がフェデラル ファンド金利に及ぼす影響が挙げられます。
• 迅速な分析とアクション: マーケットメーカーはニュースを迅速に分析し、損失を回避するために注文を調整する必要があります。

市場を動かすイベントの例

• FOMC ミーティング: リリース時期と予想される結果がわかっている予測可能なイベント。
• ソーシャルメディアの影響: ドナルド・トランプやイーロン・マスクなどの影響力のある人物の投稿などの予測不可能な出来事は、即座に市場の反応を引き起こす可能性があります。
• ドージコインの例: イーロン・マスクの暗号通貨投稿は急激な価格変動を引き起こす可能性があり、ソーシャルメディア主導のニュースの予測と解釈がいかに難しいかを示しています。

デジタル資産市場センチメント分析における課題

デジタル資産に対するインフルエンサーの影響

• 予測不可能性: イーロン・マスクなどのインフルエンサーの投稿は、仮想通貨の価格に急速に影響を与える可能性があります。
• 解釈の難しさ: 投稿は主観的なものが多く、知的な解釈が必要です。
• 分析の速度: 人間の判断はリアルタイム取引には遅すぎるため、自動化されたソリューションが必要です。

感情分析アプローチの進化

• 辞書アプローチ: 業界の語彙 (弱気や強気など) とパターン マッチングを使用する最初の方法。
• 制限事項: 語彙が制限され、文脈の処理が不十分なため、たとえば、「大規模な短期間の清算イベント」が否定的なものとして誤解される可能性があります。

統計的マッチングと機械学習

• Naive Bayes や FinBERT などのモデルを使用した教師あり学習に移行します。
• 利点: 一般化と文脈の理解が向上します。
• 課題: 大量のラベル付きデータが必要となるため、コストが高く、市場投入までの時間が長くなります。

高度なソリューションの必要性

• リアルタイム分析: 市場の動きに対応するには、高速で自動化されたセンチメント分析が必要です。
• コンテキスト認識: ソリューションはコンテキストを正確に解釈して、信頼できる感情分析を提供する必要があります。

大規模言語モデル (LLM) による感情分析の進歩

トランスフォーマーベースのマルチモーダル推論

• LLM、Clock、DeepSeek などの最新の LLM を使用すると、最小限の微調整でコンテキストを認識したセンチメント分析が可能になります。
• 彼らは、特定のニュースの見出しや、プロトコルのエクスプロイトなどのドメイン固有のイベントについて推論することができます。

推論パフォーマンスの最適化

• リアルタイムのセンチメント分析は、時間枠が短いダイナミックな市場では不可欠です。

最適化の道のり:

• 2 月 2025: P5EN インスタンスでの SageMaker JumpStart による初期デプロイメントにより、1 秒あたり 80 出力トークンが達成されました。
• 4 月 2025: VLLM への切り替えにより、マルチトークン予測、混合精度、線形アテンション、分散並列処理が可能になり、パフォーマンスが 1 秒あたり 140 出力トークンに向上しました。
• 8 月 2025: VLLM を SGLN に置き換え、投機的デコードを使用することで、1 秒あたり 180 出力トークンが達成されました。

最適化の重要性

• 大量のイベント: 1 分あたり 10,000 イベント数で、ミリ秒単位の推論レイテンシーが蓄積されます。
• 処理能力の 2 倍化: 出力スループットが 1 秒あたり 80 トークンから 180 トークンに増加すると、同じ時間枠内でのニュース取り込み処理が 2 倍になります。
• エンドツーエンドの遅延: 10 秒未満の遅延を達成し、逆選択を回避します。

実装の概要

• 初日のアーキテクチャ: 最適化されたセンチメント分析ソリューションを展開するために使用される初期セットアップとコンポーネント。

感情分析における Day-One アーキテクチャと重複処理

初日のアーキテクチャ

• ニュースの取り込み: ニュース ストリーミング API は、データを X-ray バケットに送信し、Lambda 関数をトリガーして、データを資産、緊急性、センチメント別に分類します。
• メタデータのタグ付け: Lambda 関数は、Deepse モデルを呼び出して、Aurora Prospects や OpenSearch などのデータベース内のメタデータにタグ付けします。
• ユーザーインタラクション: QCLI ターミナルを使用すると、トレーダーやアナリストは Clock などの LLM を使用してニュース ソースにクエリを実行して、トランプ大統領の発表やイーロン マスクの投稿に関する最新ニュースなどの特定の情報を取得できます。

重複ニュースチャレンジ

• 問題: Twitter、Reddit、Discord、Telegram で同じニュースが数分以内に繰り返し報告される可能性があります。
• コストと遅延: 高価な LLM を介してすべての重複を送信すると、コストと遅延の両方が増加します。

重複排除パイプライン

• ステップ 1—埋め込み: VGEM3 などの埋め込みモデルを使用して、Lambda で埋め込みを計算します。
• ステップ 2 - 類似性チェック:
• 類似度 > 0.75: 処理を避けるために、項目を重複としてマークし、OpenSearch の重複コレクションに挿入します。
• 類似度 < 0.5: アイテムを一意である可能性が高いものとして扱い、過去のニュースについて OpenSearch の一意のコレクションと比較します。
• ステップ 3 - 分析: 品目が本当にユニークな場合、ほぼリアルタイムの予測を実行し、スプレッド拡大を推奨し、資産への影響を評価し、価格変動確率を計算します。
• ステップ 4 - 予測レポート: 人間による決定のためにレポートをトレーダーデッキ選択チャネルに送信します。

埋め込みの微調整

• 汎用埋め込みモデルは、暗号固有の重複を効果的に処理できない可能性があります。
• 散布図は、暗号通貨ニュースからの何千ものクエリとドキュメントのペアにわたる BGEM3 のすぐに使えるパフォーマンスを示し、微調整の重要性を示しています。

埋め込みとエージェント アーキテクチャの微調整

初期散布図

• 緑色の点: 類似性スコアが高い重複ニュース記事 (> 0.75)。
• 赤い点: 類似性スコアが低い (< 0.5) 、重複していないニュース記事。
• 濁った中央 (オレンジ色): 0.5 と 0.75 が重なっている場合は、分離が効果的でないことを示します。

微調整された BGEM3

• 何千ものラベル付き暗号ニュース記事を微調整すると、緑の点と赤の点が明確に区別されます。
• 0.3 と 0.6 の類似性スコア間の明確な分離により、濁った中間が排除されます。
• 微調整された小規模な埋め込みモデルには、5 億 6,000 万個のパラメーターがあります。

エージェントのアーキテクチャと迅速なエンジニアリング

• LLM 微調整は不要です。迅速なエンジニアリングで十分です。

エージェント アーキテクチャの力:

• Cock などの一般的な推論モデルを使用した階層的タスクの分解。
• 費用対効果の高い結果と市場投入までの時間を短縮するための特殊な埋め込みレイヤー。
• アーキテクチャによるバイアスの削減。
• 新しい出来事について推論するようにシステムに教えます。

クイックデモ

• トレーダーデッキ: ニュースチャンネルが右側に表示されます。
• 左側: パイプラインによって分析されたストリーミング ニュース。
• 例:
• SEC 申告書: 分析されましたが、市場を動かさないためトレーダーには送信されませんでした。
• 定期ニュース: 影響なしとして分類されています。
• 影響力のあるニュース: たとえば、中国が敵対的になるというトランプ大統領の投稿は影響力があると認識され、スプレッドを調整するかどうかを決定するためにトレーダーに送信されました。

重要なポイント

• 微調整の代わりにエージェント アーキテクチャを使用します。
• 一般的な推論モデルを使用して階層タスク分解を適用します。
• 費用対効果を高め、より迅速な結果を得るには、特殊な埋め込みレイヤーを使用します。
• トレーダーからのフィードバックを通じて人間の情報を常に把握し、システムを継続的に改善します。
• 人間の監視下で 24/7 のリアルタイム カバレッジを提供します。