IT

AI 환각 차단, 엔비디아 네모 가드레일 (NVIDIA NeMo Guardrails)

남 희 2023. 4. 28. 00:43

엔비디아 네모 가드레일 (NVIDIA NeMo Guardrails)은 현지시각 2023년 4월 25일 엔비디아에서 발표한 LLM 기반 시스템(e.g. chatGPT)의 탈선을 막아 줄 가드레일 역할 오픈소스 소프트웨어다.

크게 기능은 세 가지다.

  1. 토피컬 가드레일(Topical guardrails) : 앱이 원치 않는 영역으로 이탈하는 것을 방지 
  2. 세이프티 가드레일(Safety guardrails) : 원치 않는 언어를 필터링해 앱이 정확하고 적절한 정보로 응답하도록 보장
  3. 시큐리티 가드레일(Security guardrails) : 앱이 안전한 것으로 알려진 외부 서드파티 애플리케이션

특히, 다른 대규모 언어 모델에 사실 확인을 요청하는 기능이 있어 AI 환각을 차단할 수 있을 거라고 기대된다.

AI 환각은 사실이 아닌 것을 사실처럼 작성하는 현상으로 AI의 큰 문제 중 하나로 꼽히고 있다.

 

chatGPT와 같은 LLM 기반 시스템을 적용하려 한다면 엔비디아 네모 가드레일에 주목하는 게 좋을 것 같다.

아래 Github에서 일부 사용할 수 있으니 참고하자!

 

GitHub - NVIDIA/NeMo-Guardrails: NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-base

NeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems. - GitHub - NVIDIA/NeMo-Guardrails: NeMo Guardrails is an open-source toolkit...

github.com

 

추가 용어 조사

대규모 언어 모델(LLM, Large Language Model)

대규모 데이터 세트에서 얻은 지식을 기반으로 텍스트와 다양한 콘텐츠를 인식하고 요약, 번역, 예측, 생성할 수 있는 딥 러닝 알고리즘. 트랜스포머 모델(transformer model)의 가장 성공적인 애플리케이션 중 하나이다. 엄청난 양의 텍스트가 비지도 학습(unsupervised learning)을 통해 AI 알고리즘에 투입된다.

 

 

참고 자료