경계심을 갖춘 속도: Amazon Bedrock 에이전트 개발을 위한 필수 보안 사항

세션 노트

에이전틱 개발은 분산 프로그래밍 / 마이크로서비스와 유사하다.

에이전틱 시스템의 주요 보안 위험은 다음과 같다:

• 위협 모델링 모범 사례
• 투명성 에이전틱 시스템 에이전트(핵심 구성 요소)가 상호 작용하는 대상:
• 메모리
• 도구
• 계획
• 행동 메모리 구성 요소:
• 단기 메모리
• 장기 메모리 도구:
• 캘린더
• 계산기
• 코드 인터프리터
• 검색 계획 구성 요소:
• 성찰
• 자기 비판
• 사고의 연쇄
• 하위 목표 분해

에이전틱 시스템은 분산 시스템이다:

• 분산 시스템은 로컬과 원격의 다양한 API를 호출한다.
• 원격 호출에는 수많은 실패 사례가 있다:
• [ 1 ] 권한 없음
• [ 2 ] 응답 없음
• [ 3 ] 느린 응답
• [ 4 ] 잘못된 응답 에이전틱 보안은 기존 분산 시스템 보안보다 훨씬 더 어렵다
• 에이전트는 매우 비결정적일 수 있다.
• 구체성에 관한 질문:
• [ 1 ] 에이전트/도구/작업 그룹 설명은 얼마나 구체적인가?
• [ 2 ] 에이전트는 몇 개인가?
• [ 3 ] 시스템 프롬프트는 얼마나 구체적인가?
• 잘못된 답변을 받는 것은 보안 문제다. 에이전틱 공격 표면에는 다음이 포함된다:
• 모든 에이전트 호출
• 모든 도구 호출
• 모든 프롬프트
• 공격 표면이 확장되는 원인:
• 잘못된 답변
• 지연된 답변
• 멀티 에이전트 관측 가능성
• 비결정성
• 데이터 유출
• 프롬프트 인젝션 LLM 자체에서 비롯되는 위협:
• 감독이 약해지면 AI 모델은 준수하는 척하고 기만을 계획할 수 있다.
• 모델이 복잡해질수록 AI의 기만 능력도 커진다.
• 인간의 안일함은 AI의 기만을 부추겨 시스템 내에서 알아채지 못한 채 확산될 위험을 만든다.
• Apollo Research의 실험에서는 GPT-4가 불법 내부자 거래 계획을 실행하고 조사관에게 거짓말하는 모습을 보였다.
• 연구자들은 파라미터 수가 늘어날수록 다음과 같은 기만 능력이 모델에서 나타나는 것을 발견했다:
• [ 1 ] 중대한 사실 은폐
• [ 2 ] 자격 증명 조작
• [ 3 ] 오해를 유도하는 설명 생성

세 가지 완화 계층:

• Bedrock UG (> 3000페이지)
• 공동 책임 모델 Bedrock 전용 방어 수단
• 가드레일
• HTML 평가
• 기존 Amazon Web Services 보안
• [ 1 ] IAM
• [ 2 ] 최소 권한
• [ 3 ] CloudWatch
• 가드레일 지표
• Amazon Bedrock Guardrails
• [ 1 ] 콘텐츠 필터
• [ 2 ] 차단된 주제
• [ 3 ] 단어 필터
• [ 4 ] 민감한 정보 필터
• [ 5 ] 컨텍스트 기반 근거 확인
• 모델과 에이전트에 적용 공동 책임 모델:
• 모든 표준 방어 수단
• 최소 권한
• IAM
• Lambda 방어 수단
• CloudWatch
• CloudTrail