Observe 2024 패널 토론: AI 신뢰성과 안전성 구축 과제

Arize AI가 주최한 Observe 2024 컨퍼런스에서 진행되고 2024년 10월 11일 공개된 패널 토론을 리뷰해봤습니다.

전문가 패널 구성과 전문성

히라 단골(패널 진행): Bank of America의 AI/ML 및 자동화 팀 리더로서, 금융 분야의 AI 도입과 리스크 관리 전문성 보유
소헤일 쿠샨: Anthropic의 연구원으로서, AI 안전성과 정렬(alignment) 분야의 핵심 연구 수행
프라틱 버먼: CCC Intelligent Solutions의 전문가로서, 실제 기업 환경에서의 AI 구현 경험 보유
조나단 스튜크: Innodata의 전문가로서, 데이터 품질과 AI 시스템 평가 분야의 전문성 제공

신뢰성의 세 가지 핵심 축

1. 정직성(Honesty)

정확한 정보 제공: AI 시스템은 자신이 가진 정보의 한계를 명확히 인지하고 표현해야 합니다. 예를 들어, 의료 진단 지원 시스템의 경우 확신이 낮은 사례에 대해서는 "추가 검사가 필요할 수 있습니다"와 같은 명확한 한계를 표현해야 합니다.
불확실성 표현: 날씨 예측이나 주식 시장 분석과 같이 확률적 요소가 큰 영역에서는 예측의 신뢰 구간이나 불확실성 정도를 명시적으로 제공해야 합니다.
환각 현상 제어: 특히 생성형 AI의 경우, 잘못된 정보를 만들어내는 환각 현상을 최소화하고, 발생 시 이를 사용자에게 알려주는 메커니즘이 필요합니다.

2. 유용성(Helpfulness)

맥락 이해: 사용자의 실제 의도와 상황을 정확히 파악하여 적절한 해결책을 제시해야 합니다. 예를 들어, 고객 서비스 챗봇은 단순히 질문에 답하는 것을 넘어 고객의 근본적인 문제를 해결하는 데 초점을 맞춰야 합니다.
실행 가능한 제안: 이론적으로 완벽한 해결책이 아닌, 사용자가 실제로 실행할 수 있는 현실적인 해결책을 제시해야 합니다.
지속적 개선: 사용자 피드백을 바탕으로 시스템의 응답을 지속적으로 개선하고 최적화해야 합니다.

3. 안전성(Harmlessness)

윤리적 가이드라인: AI 시스템은 사회적 규범과 윤리적 기준을 준수해야 합니다. 예를 들어, 혐오 발언이나 차별적 내용을 생성하지 않도록 엄격한 가이드라인이 필요합니다.
데이터 보호: 사용자의 개인정보를 안전하게 보호하고, 데이터 사용에 대한 투명성을 제공해야 합니다.
오용 방지: AI 시스템이 악의적인 목적으로 사용되는 것을 방지하기 위한 보호 장치가 필요합니다.

프로덕션 환경에서의 신뢰성 구축 전략

패널리스트들은 실제 기업 환경에서 AI 시스템의 신뢰성을 구축하고 유지하기 위한 구체적인 전략들을 공유했습니다.

데이터 품질 관리

1. 데이터 수집 및 전처리

대표성 확보: AI 시스템이 서비스할 모든 사용자 그룹을 적절히 대표할 수 있는 데이터를 수집해야 합니다. 예를 들어, 얼굴 인식 시스템을 개발할 때는 다양한 인종, 연령대, 성별의 데이터를 균형 있게 포함해야 합니다.
품질 검증: 수집된 데이터의 정확성, 완전성, 일관성을 체계적으로 검증해야 합니다. 예를 들어, 센서 데이터의 경우 이상치 탐지, 결측치 처리, 노이즈 제거 등의 프로세스를 거쳐야 합니다.
최신성 유지: 시간이 지남에 따라 변화하는 현실을 반영하기 위해 데이터를 정기적으로 업데이트해야 합니다. 특히 금융 시장 데이터나 의료 정보와 같이 시간에 민감한 데이터는 더욱 철저한 관리가 필요합니다.

모델 평가 및 검증

1. 다단계 평가 프로세스

기술적 평가: 정확도, 재현율, 정밀도와 같은 전통적인 성능 지표뿐만 아니라, 편향성 지수, 불확실성 추정치 등 AI 특화 지표도 함께 평가해야 합니다.
비즈니스 영향 평가: AI 시스템이 실제 비즈니스 KPI에 미치는 영향을 측정해야 합니다. 예를 들어, 고객 서비스 챗봇의 경우 문의 해결률, 고객 만족도, 처리 시간 단축 효과 등을 종합적으로 평가해야 합니다.
윤리적 평가: 시스템의 결정이 특정 그룹에 불이익을 주지 않는지, 사회적 가치와 충돌하지 않는지 등을 평가해야 합니다.

2. 지속적 모니터링

성능 드리프트 탐지: 시간이 지남에 따라 모델의 성능이 저하되는 현상을 조기에 발견하고 대응해야 합니다. 예를 들어, 코로나19 이전의 데이터로 훈련된 소비자 행동 예측 모델은 팬데믹 이후 급격한 성능 저하를 겪었습니다.
이상 패턴 감지: 예상치 못한 입력이나 비정상적인 출력 패턴을 실시간으로 감지하고 대응하는 시스템이 필요합니다.
피드백 수집: 사용자와 전문가로부터의 피드백을 체계적으로 수집하고 분석하여 시스템 개선에 반영해야 합니다.

위험 관리 체계

1. 선제적 위험 식별

시나리오 분석: AI 시스템이 오작동하거나 악용될 수 있는 다양한 시나리오를 사전에 식별하고 대응 방안을 마련해야 합니다. 예를 들어, 금융 거래 시스템의 경우 시장 급변동 상황에서의 비상 정지 메커니즘을 구현해야 합니다.
취약점 평가: 정기적인 보안 감사와 침투 테스트를 통해 시스템의 취약점을 파악하고 보완해야 합니다.
컴플라이언스 검토: 관련 법규와 규제 요구사항을 지속적으로 모니터링하고 준수 여부를 검토해야 합니다.

2. 대응 체계 구축

에스컬레이션 프로세스: 문제 발생 시 신속하게 대응할 수 있는 명확한 보고 체계와 의사결정 프로세스가 필요합니다.
회복 계획: 시스템 장애나 성능 저하 발생 시 신속하게 정상 운영으로 복구할 수 있는 계획을 수립해야 합니다.
사후 분석: 발생한 문제의 근본 원인을 분석하고 재발 방지 대책을 수립해야 합니다.

인간-AI 협력 모델의 최적화

역할 분담의 최적화

1. AI 시스템의 역할

반복적 작업 처리: AI는 대량의 데이터를 처리하거나 패턴을 분석하는 등 반복적이고 시간 소모적인 작업을 담당합니다. 예를 들어, 법률 문서 검토 시스템에서 AI는 수천 페이지의 계약서에서 주요 조항을 추출하고 분류하는 작업을 수행합니다.
초기 스크리닝: 복잡한 의사결정 과정의 첫 단계에서 AI가 기본적인 필터링을 수행합니다. 예를 들어, 채용 과정에서 AI가 기본 자격 요건을 검토하고 적합한 후보자를 1차 선별합니다.
데이터 기반 인사이트 제공: AI는 인간 전문가의 의사결정을 지원하기 위한 데이터 분석과 예측 정보를 제공합니다.

2. 인간의 역할

전문적 판단: 높은 수준의 전문성이나 윤리적 판단이 필요한 상황에서는 인간 전문가가 최종 결정을 내립니다. 의료 진단 시스템의 경우, AI는 초기 분석을 제공하지만 최종 진단과 치료 계획은 의사가 결정합니다.
예외 상황 처리: 일반적인 패턴에서 벗어나는 특수한 상황이나 새로운 유형의 문제는 인간이 처리합니다.
시스템 감독: AI 시스템의 성능을 모니터링하고, 필요한 경우 조정이나 개입을 수행합니다.

효과적인 협력을 위한 인터페이스 설계

1. 직관적인 상호작용

명확한 정보 표시: AI 시스템의 결정이나 제안을 인간이 쉽게 이해하고 평가할 수 있도록 명확하게 표시해야 합니다. 예를 들어, 투자 추천 시스템은 각 추천의 근거와 관련 위험을 시각적으로 명확하게 제시해야 합니다.
피드백 메커니즘: 인간 사용자가 AI의 결정이나 제안에 대해 쉽게 피드백을 제공할 수 있어야 합니다.
조정 가능성: 필요한 경우 인간이 AI 시스템의 매개변수나 결정 기준을 조정할 수 있어야 합니다.

2. 투명성과 설명 가능성

의사결정 과정 설명: AI가 특정 결론에 도달한 과정을 인간이 이해할 수 있는 방식으로 설명해야 합니다. 예를 들어, 신용 평가 시스템은 거절 사유를 구체적이고 실행 가능한 형태로 제시해야 합니다.
신뢰도 지표: 각 예측이나 결정에 대한 신뢰도 수준을 명확히 표시해야 합니다.
데이터 출처 표시: 결정의 근거가 된 데이터 소스와 참조 정보를 제공해야 합니다.

앞으로의 과제와 전망

당면 과제

1. 기술적 과제

복잡성 관리: AI 시스템이 점점 더 복잡해지면서 전체 시스템의 동작을 이해하고 제어하는 것이 어려워지고 있습니다.
확장성 확보: 프로토타입 단계에서 검증된 안전성을 대규모 프로덕션 환경에서도 유지하는 것이 중요한 과제입니다.
실시간 모니터링: 대규모로 운영되는 AI 시스템의 성능과 안전성을 실시간으로 모니터링하고 제어하는 것이 필요합니다.

2. 사회적 과제

신뢰 구축: 일반 대중과 이해관계자들의 AI 시스템에 대한 신뢰를 구축하고 유지하는 것이 중요합니다.
책임성 명확화: AI 시스템의 결정에 대한 책임 소재를 명확히 하고 적절한 보상 체계를 수립해야 합니다.
윤리적 프레임워크: 다양한 문화와 가치관을 고려한 보편적인 AI 윤리 기준을 수립해야 합니다.

미래 전망

1. 기술 발전 방향

자기 설명 능력: AI 시스템이 자신의 결정 과정을 더 명확하고 이해하기 쉽게 설명할 수 있게 될 것입니다.
적응형 안전 메커니즘: 환경 변화에 동적으로 대응할 수 있는 더 발전된 안전 메커니즘이 개발될 것입니다.
분산형 검증: 블록체인과 같은 기술을 활용한 분산형 AI 검증 시스템이 등장할 것으로 예상됩니다.

2. 산업 생태계 변화

표준화: AI 신뢰성 평가와 인증을 위한 산업 표준이 발전할 것입니다.
전문 서비스: AI 시스템의 안전성 평가와 인증을 전문으로 하는 서비스 산업이 성장할 것입니다.
규제 프레임워크: 더욱 체계적이고 실효성 있는 AI 규제 프레임워크가 수립될 것입니다.

결론

Observe 2024 컨퍼런스의 패널 토론은 AI 시스템의 신뢰성과 안전성이 단순한 기술적 문제가 아닌, 기술, 프로세스, 사람이 모두 관여하는 복합적인 과제임을 보여줍니다. 하나하나 뜯어보면 너무 당연한 이야기 같아보이긴 한데, 이걸 제대로 동작하는 시스템으로 구축하는 건 정말 만만치 않은 일이라는 생각도 듭니다.

일단 첫 시작점은 좋은 데이터와 모니터링의 구축부터 시작됩니다. 좋은 데이터를 준비하는 것은 예나 지금이나 정말 많은 시간과 정성이 들어가는 작업입니다. 최근에는 AI를 이용해 합성 데이터 (Synthetic Data)를 잘 만드는 것으로 이 문제를 풀려는 시도가 많이 일어나고 있고, 의미있는 성과들이 많이 나오고 있습니다.

모니터링에 있어서는 Arize, LangSmith, Datadog, Langfuse 등 다양한 LLM Observability 도구들을 활용할 수 있습니다. 시스템 입출력 값 뿐만이 아니라 검색 (Retriever)된 문서들, 검색 파라미터, LLM 호출에 사용된 프롬프트 등 하나의 요청을 처리하기 위해 사용된 모든 입출력값을 검토하고, 도구에 따라서는 실시간 평가도 가능합니다.

데이터와 모니터링으로 기반을 구축하고 나면, 각 영역별 자동화를 추진합니다. 보안의 측면에서는 이른바 가드레일이라고 불리는 공격자 또는 부주의한 사용자로부터 시스템을 보호하기 위한 보호 레이어가 있습니다. 일반적으로 정규식과 같은 규칙기반의 정책과 LLM의 텍스트 분류 기능과 텍스트 요약 기능을 활용해 위험한 상황을 자동으로 식별하고 조치하는 자동화를 구축합니다.

실제 업무와 관련된 자동화도 중요합니다. 패널 토론에서 소개된 것과 같이 법률 문서 검토 시스템에서 AI는 수천 페이지의 계약서에서 주요 조항을 추출하고 분류하는 작업을 수행한다던지, 채용 과정에서 AI가 기본 자격 요건을 검토하고 적합한 후보자를 1차 선별한다던지 하는 과정을 자동화하는 파이프라인을 구성할 수 있습니다.

이어서는 사용자의 편의성을 위한 인터페이스 기능에 집중해야 할 것입니다. 여러 곳에서 강조되는 것인데, 때로는 이 인터페이스가 실제 기능보다 더 중요할 때도 많은 것 같습니다. OpenAI CEO 샘 알트만도 GPT 모델에 Chat이라는 인터페이스를 적용한 게 결정적이었다고 회고한 바 있습니다.

결정의 근거가 된 데이터 소스와 참조 정보를 제공한다던지, 제공을 하더라도 사용자가 더 적은 터치나 클릭으로 정보를 접근할 수 있도록 섬네일이라던지, 동영상 임베딩이라던지 하는 작은 개선들도 큰 임팩트를 가져올 수 있습니다.

뿐만 아니라, 보이스나 제스처와 같이 현재 타자를 입력하는 것으로 한정되어 있는 인터페이스를 더욱 확장하는 것 또한 큰 임팩트가 있을 수 있습니다. 또한 점점 복잡해지는 인공지능 시스템을 효과적으로 관리할 수 있는 관리 인터페이스 역시 필요해보입니다.

실전에서 LLM을 운영하는 전문가들답게 고려해야하는 많은 사항들에 대한 인사이트가 돋보이는 패널 토론이었습니다. 여기서 언급된 요소들을 체크리스트 삼아서 적용한다면 프로젝트의 좋은 시작점이 될 듯 합니다.