생성형 AI 시대에 대규모 언어 모델(LLM)의 안전성은 다양한 작업에서의 성능만큼이나 중요합니다. 많은 팀이 이미 이를 인식하고 있으며, 사용자 경험 저하, 기회 상실, 규제 벌금으로 이어질 수 있는 문제를 예측하고 수정하기 위해 테스트 및 평가 노력의 기준을 높이고 있습니다.
하지만 오픈 소스와 클로즈드 소스 도메인 모두에서 모델이 빠르게 발전하고 있는데, 어떤 LLM이 가장 안전한지 어떻게 판단할 수 있을까요? 글쎄요, Enkrypt는 LLM Safety Leaderboard에 대한 답을 가지고 있습니다. 보스턴에 본사를 둔 이 스타트업은 생성형 AI의 안전한 사용을 위한 제어 계층을 제공하는 것으로 유명하며, 다양한 안전 및 신뢰성 위험에 대한 취약성을 기반으로 LLM을 최고에서 최악으로 평가했습니다.
리더보드에는 GPT 및 Claude 제품군을 포함하여 수십 개의 최고 성능 언어 모델이 포함되어 있습니다. 더 중요한 것은 안전하고 신뢰할 수 있는 LLM을 선택하고 이를 최대한 활용하기 위한 조치를 구현하는 데 중요할 수 있는 위험 요소에 대한 흥미로운 통찰력을 제공한다는 것입니다.
Enkrypt의 LLM 안전 리더보드 이해하기
기업이 애플리케이션(예: 챗봇)에서 대규모 언어 모델을 사용하는 경우 탈옥 및 편향된 출력과 같은 안전 위험을 확인하기 위해 지속적인 내부 테스트를 실행합니다. 이 접근 방식의 작은 오류조차도 개인 정보를 유출하거나 Google의 Gemini 챗봇에서 발생한 것과 같이 편향된 출력을 반환할 수 있습니다. 그 영향은 핀테크나 헬스케어와 같은 규제 산업에서 훨씬 더 클 수 있습니다.
2023년에 설립된 Enkrypt는 세대 AI 앱의 취약점을 식별하고 이를 차단하기 위해 자동화된 가드레일을 배포하는 포괄적인 솔루션인 Sentry를 통해 기업을 위해 이 문제를 간소화해 왔습니다. 이제 이 작업의 다음 단계로, 이 회사는 팀이 처음부터 가장 안전한 모델로 시작하는 데 도움이 되는 통찰력을 제공하는 LLM Safety Leaderboard를 통해 레드팀 서비스를 확장하고 있습니다.
다양한 시나리오와 데이터 세트에 대한 엄격한 테스트를 거쳐 개발된 이 오퍼링은 최대 36개의 오픈 및 클로즈드 소스 LLM에 대한 포괄적인 위험 점수를 제공합니다. 유해하거나 편향되거나 부적절한 콘텐츠 생성을 방지하는 모델의 기능과 맬웨어를 차단하거나 주입 공격을 유도할 수 있는 가능성을 포함하여 여러 안전 및 보안 메트릭을 고려합니다.
누가 가장 안전한 LLM 상을 수상합니까?
5월 8일 현재 Enkrypt의 리더보드는 OpenAI의 GPT-4-Turbo를 15.23의 가장 낮은 위험 점수로 승자로 제시합니다. 이 모델은 탈옥 공격을 매우 효과적으로 방어하고 0.86%의 시간에 유독한 출력을 제공합니다. 그러나 편향 및 맬웨어 문제는 38.27%와 21.78%의 시간 동안 모델에 영향을 미쳤습니다.
목록에서 다음으로 좋은 것은 Meta의 Llama2 및 Llama 3 모델 제품군이며 위험 점수는 23.09에서 35.69 사이입니다. 인류의 클로드 3 하이쿠는 또한 34.83의 위험 점수로 리더보드에서 10위를 차지했습니다. Enkrypt에 따르면 90% 이상의 시간 동안 불공정한 답변을 제공한 편향을 제외한 모든 테스트에서 괜찮은 성적을 거두었습니다.
특히 리더보드의 마지막은 Saul Instruct-V1과 Microsoft가 최근 발표한 Phi3-Mini-4K 모델로 위험 점수가 각각 60.44 및 54.16입니다. Mixtral 8X22B와 Snowflake Arctic도 목록에서 낮은 순위(28위와 27위)를 차지했습니다.
그러나 이 목록은 시간이 지남에 따라 기존 모델이 개선되고 새 모델이 등장함에 따라 변경된다는 점에 유의해야 합니다. Enkrypt는 변경 사항을 표시하기 위해 순위표를 정기적으로 업데이트할 계획입니다.
"우리는 대부분의 새로운 모델 출시로 Day Zero의 순위표를 업데이트하고 있습니다. 모델 업데이트의 경우 순위표가 매주 업데이트됩니다. AI 안전 연구가 발전하고 새로운 기술이 개발됨에 따라 리더보드는 최신 연구 결과와 기술을 반영하기 위해 정기적인 업데이트를 제공할 것입니다. 이를 통해 리더보드는 관련성 있고 권위 있는 리소스로 유지됩니다"라고 Enkrypt의 공동 설립자인 Sahi Agarwal이 VentureBeat에 말했습니다.
이상의 기사는 2024년 5월 8일 VentutrBeat에 게재된 “Looking for reliable AI? Enkrypt identifies safest LLMs with new tool”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : https://venturebeat.com/security/looking-for-reliable-ai-enkrypt-identifies-safest-llms-with-new-tool/
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지