엔비디아, 환각현상 방지 도구 '네모 가드레일' 오픈소스로 공개
특정 주제 및 유해 콘텐츠 차단 역할...유해한 명령 실행도 막아줘
엔비디아가 생성 인공지능(AI)이 거짓정보를 사실인것처럼 꾸며서 내놓는 환각현상을 방지해주는 솔루션 '네모 가드레일(NeMo Guardrails)'을 오픈소스로 공개했다고 CNBC가 25일(현지시간) 보도했다.
‘네모 가드레일’은 AI 모델이 사실과 다른 오류를 설득력 있게 말하거나 유해한 질문에 답하지 못하도록 한 소프트웨어다. 사용자와 챗GPT와 같은 대규모언어모델(LLM) 사이에 위치해 모델이 특정 주제에 대해 이야기하도록 강제하고, 유해한 콘텐츠는 차단한다. 컴퓨터에서 유해한 명령을 실행하지 못하도록 막기도 한다.
조나단 코언 엔비디아 응용 연구 부문 부사장은 "사용자가 어떤 주제에 관해 이야기하면서 이 방식으로만 응답하라고 프롬프트를 작성할 수 있지만, 언어 모델이 프롬프트나 사용자 지시를 따르지 않을 수 있다”며 “네모 가드레일은 모델이 실행 로직을 쉽게 변경할 수 없도록 한다"고 설명했다.
예를 들어, 제품에 대해 이야기하도록 설계된 고객 서비스 챗봇이 있다면 경쟁사에 대한 질문에는 대답하지 않고 대화를 원하는 주제로 되돌린다.
또 기업 내부 인적 자원에 대해 답변하는 챗봇은 회사의 재무 실적에 대한 질문에 대답하지 않고 다른 직원에 대한 개인 데이터에 접근하지 않는다.
네모 가드레일은 질문에 대한 LLM의 답변을 다른 LLM을 사용해 사실을 확인하고 환각을 감지할 수 있다. 모델이 동일한 답변을 제시하지 않으면 ‘모르겠다’를 반환한다.
또한 네모 가드레일은 LLM이 보안에 도움이 되거나 허용된 타사 소프트웨어와만 상호 작용하도록 강제할 수도 있다.
엔비디아는 네모 가드레일이 오픈 소스이며, 엔비디아 서비스를 통해 상용 애플리케이션에서 사용할 수 있다고 설명했다.
전문가들은 이번 출시를 AI를 위한 중요한 소프트웨어를 동시에 개발함으로써 AI 칩의 지속적인 공급 확대를 노린 엔비디아의 전략으로 내다봤다.
그래픽처리장치(GPU) 개발 업체로 잘 알려진 엔비디아는 현재 AI 개발에 이용되는 전 세계 반도체 시장의 90% 이상을 장악하고 있다.
박찬 위원 cpark@aitimes.com
원문 : https://www.aitimes.com/news/articleView.html?idxno=150738
'[IT 알아보기] > IT 소식' 카테고리의 다른 글
| [IT 소식] 행안부, ‘2023년 디지털타운 조성사업’ 공모---26일부터 지자체 공모 시작 (0) | 2023.04.29 |
|---|---|
| [IT 소식] 틸론, 제57회 제주도민체전 위한 메타버스 플랫폼 구축 (0) | 2023.04.28 |
| [IT 소식] 빔 소프트웨어, IDC 선정 ‘데이터 보호 및 복구 솔루션’ 시장 점유율 1위 (0) | 2023.04.27 |
| [IT 소식] 손 그림 입력하면 애니메이션 만들어주는 AI 등장 (0) | 2023.04.26 |
| [IT 소식] 국내 데이터 시장 규모 25조원 육박…업계가 꼽은 개선 과제 살펴보니 (0) | 2023.04.26 |