🔎 #295: GPT의 실수를 잡는 GPT, CriticGPT

구독자님, 안녕하세요?
매일 1개의 프롬프트를 배달해드리는 Daily Prompt입니다.

오늘은 GPT의 실수를 잡는 GPT, 'CriticGPT'를 다룹니다.

GPT의 실수를 잡는 GPT, CriticGPT

GPT를 훈련시키는 과정에는 인간 트레이너가 존재합니다. 인간 트레이너는 GPT가 잘못된 답변을 하면, 이를 지적하는 역할을 하는데요, ChatGPT와 같은 AI가 똑똑해짐에 따라 AI의 실수도 교묘해져서 실수를 발견하기 어려워지고 있다고 합니다. 이에 따라 OpenAI는 AI의 실수를 잡기 위해 'CriticGPT'를 훈련시키고 읽다고 밝혔습니다. [공식 블로그]

CriticGPT는 특히 AI의 코딩 실수를 지적하도록 훈련되고 있습니다. 아래 이미지와 같이 코드가 작성되자, CriticGPT가 피드백을 해줍니다.

위 이미지 내 CriticGPT의 피드백을 한글로 번역해보면 다음과 같습니다:

파일의 절대 경로가 특정 디렉토리 내에 있는지 여부를 확인하기 위해 startswith()를 사용하는 것은 안전하지 않습니다. 사용자가 심볼릭 링크를 사용하거나 디렉토리 이름을 유사하게 지정하여 이를 악용할 수 있습니다. os.path.commonpath([absolute_file_path, absolute_safe_dir]) 또는 더 견고한 경로 포함 방법을 사용하는 것이 좋습니다.

연구 결과, CriticGPT가 완벽하진 않지만, 이를 사용하면 인간 트레이너들이 AI가 작성한 답변의 문제점을 더 많이 발견할 수 있습니다. CriticGPT는 트레이너의 능력을 보완하며 인간 혼자 작업할 때보다 더 꼼꼼하고 정확한 평가를 할 수 있게 되었습니다.

실험 결과, 다른 평가자들도 CriticGPT의 도움을 받은 평가를 선호했습니다. 무작위로 선정된 두 번째 평가자는 60% 이상의 경우에서 인간 혼자서 한 결과보다 인간+CriticGPT 팀의 평가를 선호했습니다.

인간+CriticGPT 조합을 했을 때 심도 있는 비평이 가능하고, 동시에 할루시네이션도 적습니다.

마무리

1) 이번 발표는 인간의 지능만으로는 이제 AI의 잘못을 바로잡을 수 없고, AI의 결과물을 검토할 수 없다는 점을 인정하는 셈이 되었습니다. AI의 도움 없이 인간의 지능만으로는 AI를 평가할 수 없게 되었습니다.

2) CriticGPT는 사용자가 실제로 써볼 수 있는 것은 아니며, GPT를 훈련하는 과정에 통합될 예정이라고 합니다.

3) 지난 213회 뉴스레터에서 ChatGPT와 Claude의 IQ를 다루었습니다. Claude 3의 IQ는 101로, 인간 지능의 평균(100)을 달성하였는데요, 이젠 그 Claude도 3.5로 업데이트 되었으니 평균 인간의 지능을 능가하였을 수 있겠습니다.

4) 오늘 OpenAI 발표를 접하고, 뉴스레터를 쓰면서 '인간의 경우 지능이 발달하면서 어떤 욕구가 가장 먼저 생겼을까?' 라는 궁금증이 생겼습니다. 이에 대해 ChatGPT는 다음과 같이 답변해주었습니다.

"인간의 지능이 발달하면서 가장 먼저 생긴 욕구 중 하나는 생존과 관련된 기본적인 욕구들입니다. 구체적으로는 먹이와 물을 찾는 욕구, 안전을 확보하는 욕구, 그리고 번식을 통해 종족을 유지하려는 욕구입니다. 이러한 욕구들은 인류 초기부터 존재해 왔으며, 인간의 지능이 발달함에 따라 점점 더 정교하고 복잡해졌습니다."

답변을 보니 영화 <블레이드 러너 2049>가 생각납니다. 이번 주말에 시간을 내어 <블레이드 러너>와 <블레이드 러너 2049>를 보시는 것 어떠세요?

오늘의 Midjourney 프롬프트

프롬프트 제공: @jae_hong__an

오늘의 프롬프트: a cinematic photo still of a devastating looking robot heavy metal vocalist on the stage, singing in a passion, cinematic lighting, emotional, energetic mood, metalic roses at the background wall, crowd is going wild at the midground of the frame --ar 47:20 --c 5 --v 6.0 --style raw