엔비디아(Nvidia Corp.)는 기업 조직이 인공지능(AI) 에이전트를 개발함에 있어 신뢰, 보안, 안전성 문제를 해결할 수 있도록 돕는 엔비디아 추론용 마이크로 서비스(Nvidia Inference Microservices)를 출시했다고 발표했다. AI 에이전트는 컴퓨터와 사람의 상호작용을 혁신하는 기술로 주목받고 있지만, 동시에 여러 가지 중요한 문제점도 안고 있다.

엔비디아의 엔터프라이즈 AI 모델, 소프트웨어, 서비스 부사장인 카리 브리스키(Kari Briski)는 "에이전트 AI는 지식 노동자의 업무 방식과 고객이 브랜드와 소통하는 방식을 변화시킬 잠재력이 있지만, 대형 언어 모델은 여전히 의도치 않은 응답을 생성하거나 악의적인 사용자가 보안 장치를 우회할 경우 보안 문제를 일으킬 수 있다"고 설명했다.

엔비디아 NIM(Nvidia NIM)은 AI 모델의 빠른 배포를 목표로 한 컨테이너화된 마이크로 서비스다. 이번 발표는 엔비디아의 NeMo Guardrails에 기반을 두고 있는데, NeMo Guardrails는 개발자들을 위한 보호 프레임워크로, AI 모델의 보안성과 신뢰성을 강화하여 보다 안전한 AI 에이전트를 구축할 수 있게 한다. 엔비디아는 주제 제어, 콘텐츠 안전성, 탈옥 방지 기능을 갖춘 세 가지 NIM 마이크로 서비스를 발표했다.

이 마이크로 서비스들은 큰 규모의 모델로부터 응답을 조절하여 애플리케이션 성능을 향상시키는 소형, 경량의 AI 모델들이다. 브리스키 부사장은 "콘텐츠 안전성 조절을 위해 개발된 새로운 마이크로 서비스는 고품질 인간 주석 데이터셋인 '이시스 콘텐츠 안전성 데이터셋(Aegis Content Safety Dataset)'으로 학습되었다"고 밝혔다. 이 데이터셋은 AI 안전성과 시스템 제한을 우회하려는 시도인 탈옥(jailbreak)을 위한 35,000개 이상의 인간 주석 데이터 샘플을 포함하고 있으며, 올해 하반기에 '하깅 페이스(Hugging Face)'에서 공개될 예정이다.

주제 제어 NIM은 에이전트가 원래의 임무에서 벗어나지 않고 주제에 집중할 수 있도록 도와주어, AI 챗봇과의 대화가 길어질수록 원래 대화의 의도를 잊고 대화가 산만해지는 것을 방지한다. 이는 마치 인간 간의 대화가 주제를 벗어나 방황하는 것과 유사한 현상이다. 브리스키 부사장은 "NeMo Guardrails 컬렉션의 소형 언어 모델은 낮은 지연 시간으로 설계되어, 의료, 자동차, 제조업과 같은 자원 제약이 있거나 분산된 환경에서도 효율적으로 실행될 수 있다"고 강조했다.