AWS가 기업 고객을 위한 새로운 Bedrock 기능을 공개했습니다.
re:Invent 2024에서 발표된 이번 업데이트는 AI 모델의 환각 현상 감지와 작은 규모의 모델 구축 효율성 향상에 초점을 맞추었습니다.
이번에 프리뷰로 공개된 기능은 Amazon Bedrock 모델 디스틸레이션과 자동 추론 검사입니다.
모델 디스틸레이션은 대형 AI 모델의 지식을 작은 모델로 전달하는 기술입니다.
Llama 3.1 405B와 같은 대형 모델은 풍부한 지식을 보유하고 있으나 속도가 느리고 운영이 어렵다는 단점이 있습니다.
반면 작은 모델은 빠른 응답이 가능하지만 제한된 지식을 가지고 있어 활용에 한계가 있었습니다.
AWS는 Bedrock Model Distillation을 사용하면 응답 시간을 희생하지 않고도 더 큰 모델의 지식을 더 작은 모델로 전송하는 프로세스가 가능해질 것이라고 밝혔습니다.
사용자들은 원하는 대형 모델을 선택하고 같은 계열 내의 작은 모델을 찾아 샘플 프롬프트를 작성할 수 있습니다.
Bedrock은 이를 바탕으로 응답을 생성하고 작은 모델을 미세 조정하며, 지속적으로 샘플 데이터를 생성하여 대형 모델의 지식을 전달합니다.
현재 모델 디스틸레이션은 Anthropic, Amazon, Meta 모델들에서 작동하며, Bedrock 모델 디스틸레이션은 현재 프리뷰 상태입니다.
대부분 모델 제공업체인 많은 조직들이 더 작은 모델을 학습시키기 위해 모델 디스틸레이션을 사용합니다.
하지만 AWS는 이 과정이 보통 많은 머신 러닝 전문 지식과 수동 미세 조정을 필요로 한다고 말했습니다.
Meta와 같은 모델 제공업체들은 더 작은 모델에 더 넓은 지식 기반을 가져오기 위해 모델 디스틸레이션을 사용해왔습니다.
Nvidia는 디스틸레이션과 가지치기 기술을 활용하여 Llama 3.1-Minitron 4B를 만들었는데, 이는 비슷한 크기의 모델들보다 더 나은 성능을 보인다고 합니다.
환각 현상 문제 해결을 위해 AWS는 Bedrock의 자동 추론 검사 기능도 함께 공개했습니다.
이는 Bedrock의 자동 추론 검사로 수학적 검증을 통해 응답의 정확성을 보장하는 기능입니다.
AWS는 "자동 추론 검사는 논리적으로 정확하고 검증 가능한 추론을 사용하여 환각으로 인한 사실 오류를 방지하는 최초이자 유일한 생성 AI 보호 장치입니다."라고 말했습니다.
이 기능은 Amazon Bedrock Guardrails를 통해 제공되며, 사용자들은 데이터를 업로드하면 Bedrock이 모델이 따라야 할 규칙을 개발하고 응답을 검증합니다.
부정확한 응답이 발견될 경우 새로운 답변을 제안하는 시스템도 갖추고 있습니다.
AWS의 CEO Matt Garman은 이러한 자동 검사 시스템이 기업의 데이터를 차별화 요소로 유지하면서 AI 모델이 이를 정확하게 반영할 수 있게 해준다고 강조했습니다.
