인간 중심 AI 디자인과 평가: 더 깊이 있는 이해와 실제 사례

🧐 Summary

1️⃣ AI 시스템 설계 초기 단계에 사용자를 참여시킬 수 있는 인간 중심 AI 디자인 프로세스 고민이 필요해요.

2️⃣ 인간 중심 AI 평가 방법은 일반 사용자와 전문 사용자의 관점에서 AI의 성능과 결과를 평가하는 기법입니다. 객관적 지표 뿐만아니라 신뢰도 등의 주관적 지표도 고려해야해요.

3️⃣  최신 주목할 만한 소식: OpenAI 연구진이 경영진에게 AI의 중대한 발전에 대해 경고한 사례를 통해 AI의 미래를 조망합니다.

안녕하세요, 구독자 여러분!

어제 밤에 갑자기 온 메일에 놀라셨죠? 이번 주 뉴스레터에 대한 깜짝 스포였습니다😉 앞으로는 다른 요일에도 이렇게 깜짝 뉴스레터를 보내드릴께요.

그리고 저희가 준비한 11월 이벤트 다들 알고 있으시죠? 이제 이벤트 마감이 얼마남지 않았어요!! 아직 신청 못하신 분들이 있다면 요기를 꾹 눌러주세요!🤗

이번 주 뉴스레터에서는 인간 중심 AI 디자인 프로세스와 평가 방법을 설명드리겠습니다. 이런 접근법들이 실제 어떻게 적용되고 있는지도 살펴볼께요. 

사용자 참여가 AI 디자인 프로세스에 던지는 질문

인간 중심 AI 디자인 프로세스는 AI 시스템을 만들 때 사람들의 필요와 경험을 정말 중요하게 생각하는 거예요. 사용자들이 디자인 과정에 적극적으로 참여하는 게 핵심이죠!

이런 아이디어는 1960년대 스칸디나비아에서 시작됐어요. 사용자를 설계 과정에 끌어들여서, 기술이 우리 인간다움을 더 잘 반영하게 만드는 거죠. 최근엔 AI 설계에서도 이런 방식을 써보자는 움직임이 있어요.

이런 접근법은 AI 모델을 고르는 것부터 시작해서, 사용자 인터뷰, 설문조사를 통해 의견을 듣고, 설계가 끝난 후에는 "우리가 왜 이런 결정을 했는지" 사용자에게 설명하는 것까지, 사용자가 디자인 과정에 적극적으로 참여할 수 있게 해요. 이 과정을 통해 AI 시스템에 실제로 사람들이 필요로 하는 것을 반영할 수 있고, 더 친근하고 공정한 기술을 발전시킬 수 있죠.

그런데, 잠깐! AI 디자인의 모든 단계에 사용자를 참여시키는 게 정말 인간 중심적인 방법일까요? 이건 좀 더 생각해볼 문제 같아요. 적용 분야에 따라, 상황에 따라, 그리고 사용자의 실제 특성에 따라, 필요한 경우에만 적절한 참여가 필요할 거 같아요. 예를 들어, ChatGPT 같은 대중 서비스를 처음 만들 때, 사용자가 AI 모델에 대해 어떤 의견을 낼 수 있을까요? 그리고 그 의견이 얼마나 도움이 될까요?

세상에 없던 새로운 제품 카테고리에서는 사용자의 이해도가 낮기 때문에, 초기 단계에 사용자를 참여시키는 게 중요하지만 동시에 어렵다는 연구도 있어요[1]. 그래서 좀 더 세밀하고 정교한 사용자 참여적 디자인 프로세스가 필요할 것 같아요.

사용자 참여적 AI 디자인 프로세스 실제 사례가 궁금하다면

당신의 AI는 몇 점? 사용자 관점에서 AI 평가하기

우리가 AI 서비스를 만든다고 상상해봅시다. 시장에 내놓기 전에 이 친구가 잘 작동하는지 평가해야겠죠. 여기 세 가지 접근법이 있어요.

한 연구에서는 이미지 분류 작업에서 AI 설명 방법의 해석 가능성을 측정하기 위해 사용자 중심의 접근 방식을 적용했어요. 참가자들에게 AI가 어떤 기준으로 이미지를 분류하는지 보여주고, '너 이걸 얼마나 잘 이해하니?' 하고 물어봤죠. 그 결과, 단일한 최적의 XAI(Explainable AI) 방법이 존재하지 않으며, 상황에 따라 다른 접근이 필요하다는 사실을 밝혀냈습니다[2]. 사용자 중심 평가 접근법을 적용하지 않았다면 알아내기 어려운 사실이었죠.

사용자 중심 평가는 사례 중심 평가와 일반인 중심 평가를 모두 포함합니다. 사용자 중심 평가 지표는 객관적 지표(AI기반 의사결정 시 사용자의 생리적/행동적 지표)와 주관적 지표(신뢰도, 자신감, 선호도, 만족도, 이해도)로 나눠볼 수 있어요[3].

만약 여러분이 AI 서비스를 만들고 있는데, 어떻게 평가해야 할지 막막하다면, 이런 지표들을 활용해보세요. 이런 기준들을 바탕으로 지금 진행하고 있는 프로젝트에 대한 여러분만의 사용자 경험 평가 지표를 만들어보는 것도 좋아요. 예를 들어, 'AI가 나의 선호도에 얼마나 잘 맞춰주나요?', 'AI가 공정하게 일하고 있다고 느껴지나요?' 같은 질문들을 던져볼 수 있죠. 우리는 실험하면서 더 나아질테니까요!

AI 평가지표를 좀 더 자세하게 알고싶다면

OpenAI CEO의 해임과 복귀, 그리고 그 뒤의 이야기

최근 OpenAI의 CEO 해임 및 복귀 과정이 아주 큰 화제였죠. 하지만 시간이 흐르며 이 사건이 단순한 권력 싸움이 아니라는 주장들이 제기되며 새로운 관심을 불러일으키고 있습니다. OpenAI의 연구진이 회사 경영진에게 AI 기술의 중대한 발전에 대해 경고했고, 이에 대한 대응 방식이 서로 다른 사람들끼리 충돌이 일어났다고 하죠. 

이 사건의 핵심은 상업적 경쟁이 AI 개발의 책임 있는 방향과 충돌하고 있다는 점이에요. AI 제품 출시 속도와 윤리적이고 안전한 배포 방식에 대한 논쟁이 계속되고 있죠 [4,5,6].

AI Now Institute의 사라 마이어스 웨스트는 말합니다. "우위를 유지하려는 추진력이 독성 경쟁으로 바뀌고 있다"고요. 이런 경쟁은 사회에 해롭고, AI 개발 속도에 대해 깊은 우려를 낳고 있습니다.

이 사태는 상업적 성장에만 집중하는 이들과 빠른 개발의 부담을 우려하는 이들 사이의 분열에서 시작됐을 수도 있어요. AI의 안전성에 대한 우려도 커지고 있죠. AI 시스템이 인류에 대한 최선의 이익을 증진하는 목표를 가지고 있어도, AI 스스로 부정적인 방향으로 세계를 이끌 수 있는 에이전시를 개발할 위험이 있습니다.

이 사건은 AI 개발 회사들이 얼마나 많은 자금과 컴퓨팅 자원, 그리고 큰 권력을 갖고 있는지를 보여주고 있어요. 웨스트는 기존 법률이 이런 AI 기술 회사들에 적용되어야 하며, 반독점 규제 기관의 감독이 더 필요하다고 강조합니다.

이 사건은 AI 발전과 관련된 중요한 논의를 이끌어내며, AI의 미래에 대한 깊은 토론을 촉진할 것 같아요.

오늘의 뉴스레터를 통해 인간 중심 AI 디자인과 평가 방법에 대한 더 깊이 있는 이해를 하셨기를 바랍니다. 실제 사례들을 통해 이러한 접근법이 어떻게 우리의 삶에 긍정적인 영향을 미치고 있는지 알아봤죠. AI 기술이 계속해서 발전함에 따라 사용자의 경험과 관점을 중심에 두는 것이 더 중요해질 거에요.

다음 주에도 더 흥미로운 주제로 찾아뵙겠습니다. 건강하고 따뜻한 한 주 되세요. 12월 뉴스레터에서 만나요!

🤔 InspireX의 물음표

댓글이나 이메일로 여러분의 생각을 들려주세요!😉

Q1. 인간 중심 AI 디자인을 실현하기 위해 우리는 어떤 노력을 해야 할까요?

Q2. AI의 기술적 복잡성과 사용자 경험 사이의 균형을 어떻게 맞춰야 할까요?

References  

[1]Angeles, R., & Nath, R. (2007). Business‐to‐business e‐procurement: success factors and challenges to implementation. Supply Chain Management: An International Journal, 12(2), 104-115.

[2]Dawoud, K., Samek, W., Lapuschkin, S., & Bosse, S. (2023). Human-Centered Evaluation of XAI Methods. arXiv preprint arXiv:2310.07534.

[3] Zhou, J., Gandomi, A. H., Chen, F., & Holzinger, A. (2021). Evaluating the quality of machine learning explanations: A survey on methods and metrics. Electronics, 10(5), 593.

[4]https://www.theguardian.com/business/2023/nov/23/openai-was-working-on-advanced-model-so-powerful-it-alarmed-staff

[5]https://fortune.com/2023/11/23/openai-sam-altman-board-directors-agi-breakthrough-reuters/ 

[6] https://www.nature.com/articles/d41586-023-03700-4