매달 5억 명 이상의 사람들이 파스타에서 섹스 또는 숙제에 이르기까지 모든 것에 대해 알고 있는 Gemini와 ChatGPT를 신뢰합니다. 그러나 AI가 휘발유로 파스타를 요리하라고 말한다면 피임이나 대수학에 대한 조언도 받아들여서는 안 될 것입니다.
지난 1월 세계경제포럼(WEF)에서 샘 알트만(Sam Altman) 오픈AI 최고경영자(CEO)는 "나는 당신이 왜 그런 생각을 하는지 이해하기 위해 당신의 뇌를 볼 수 없습니다. 그러나 나는 당신에게 당신의 추론을 설명하고 그것이 나에게 합리적으로 들리는지 아닌지 결정하도록 요청할 수 있습니다. 우리의 AI 시스템도 같은 일을 할 수 있을 것이라고 생각합니다. 그들은 A에서 B까지의 단계를 우리에게 설명할 수 있을 것이고, 우리는 그것이 좋은 단계라고 생각하는지 결정할 수 있습니다"라고 말했습니다.
지식에는 정당화가 필요하다
Altman이 ChatGPT와 같은 대규모 언어 모델(LLM)이 그들이 말하는 모든 것에 대해 투명한 설명을 생성할 수 있다고 믿기를 원하는 것은 놀라운 일이 아닙니다. 왜 안 돼요? 글쎄요, 당신이 무언가를 확실히 알고 있다고 말하는 것이 편할 때를 생각해 보십시오. 대부분의 경우, 그것은 당신이 당신의 믿음에 대해 절대적으로 확신을 가질 때인데, 그 이유는 그것이 증거, 주장 또는 신뢰할 수 있는 권위자들의 증언에 의해 잘 뒷받침되기 때문입니다.
LLM은 신뢰할 수 있는 기관을 의미합니다. 신뢰할 수 있는 정보 제공자. 그러나 그들이 자신의 추론을 설명할 수 없다면, 우리는 그들의 주장이 정당화에 대한 우리의 기준을 충족하는지 알 수 없습니다. 예를 들어, 오늘날의 테네시 연무는 캐나다 서부에서 발생한 산불로 인해 발생했다고 가정해 보겠습니다. 당신의 말을 받아들일 수도 있습니다. 하지만 어제 당신이 진지하게 나에게 뱀 싸움은 논문 방어의 일상적인 부분이라고 맹세했다고 가정해 봅시다. 그렇다면 당신이 완전히 신뢰할 수 없다는 것을 압니다. 그래서 왜 스모그가 캐나다 산불 때문이라고 생각하는지 여쭤보고 싶습니다. 제 믿음이 정당화되려면 여러분의 보고서가 신뢰할 수 있다는 것을 아는 것이 중요합니다.
문제는 오늘날의 AI 시스템이 그러한 추론이 없기 때문에 그들이 말하는 것의 이면에 있는 추론을 공유함으로써 우리의 신뢰를 얻을 수 없다는 것입니다. LLM은 원격으로 추론하도록 설계되지도 않았습니다. 대신, 모델은 언어의 복잡한 패턴을 감지하고 예측하거나 확장하기 위해 방대한 양의 인간 글쓰기에 대해 훈련됩니다. 사용자가 텍스트 프롬프트를 입력하면 응답은 패턴이 어떻게 계속될 것인지에 대한 알고리즘의 투영일 뿐입니다. 이러한 출력은 지식이 풍부한 인간이 말할 수 있는 것을 설득력 있게 모방합니다. 그러나 기본 프로세스는 출력이 정당화되는지 여부와 아무런 관련이 없습니다. 힉스(Hicks), 험프리스(Humphries), 슬레이터(Slater)가 "ChatGPT는 헛소리다"에서 말했듯이 LLM은 "진실에 대한 실제 관심 없이 진실에 적합한 텍스트를 생성하도록 설계되었습니다."
그렇다면 AI가 생성한 콘텐츠가 인간의 지식과 인공적으로 동등하지 않다면 무엇일까요? 힉스(Hicks), 험프리스(Humphries), 슬레이터(Slater)가 그것을 헛소리라고 부르는 것은 옳습니다. 그럼에도 불구하고 LLM이 내뱉는 많은 것은 사실입니다. 이러한 "헛소리" 기계들이 사실에 입각하여 정확한 출력물을 만들어낼 때, 그들은 철학자들이 게티어 사례(Gettier case)라고 부르는 것을 만들어냅니다(철학자 에드먼드 게티어의 이름을 딴). 이러한 사례들은 참된 신념과 그 신념의 정당성에 대한 무지를 결합하는 이상한 방식 때문에 흥미롭습니다.
AI 출력은 신기루와 같을 수 있습니다
8세기 인도의 불교 철학자 다르모타라(Dharmottara)의 저서에 나오는 예를 생각해 봅시다. 우리가 더운 날 물을 찾고 있다고 상상해 보지요. 우리는 갑자기 물을 보거나, 그렇게 생각합니다. 사실 우리는 물이 아니라 신기루를 보고 있지만, 그 지점에 도착했을 때 우리는 운이 좋아 바위 바로 아래에서 물을 발견합니다. 우리가 물에 대한 진정한 지식을 가지고 있었다고 말할 수 있습니까?
사람들은 지식이 무엇이든 이 예에 나오는 여행자들은 그것을 가지고 있지 않다는 데 널리 동의합니다. 대신, 그들은 물을 찾을 수 있으리라고 믿을 만한 좋은 이유가 없는 바로 그 곳에서 물을 찾는 행운을 누렸습니다.
문제는 우리가 LLM에서 배운 것을 안다고 생각할 때마다 Dharmottara의 여행자와 같은 위치에 놓인다는 것입니다. LLM이 품질 데이터 세트에서 훈련되었다면, 그 주장은 사실일 가능성이 매우 높습니다. 이러한 주장은 신기루에 비유될 수 있습니다. 그리고 그 주장을 정당화할 수 있는 증거와 주장도 아마도 데이터 세트 어딘가에 존재할 것입니다 - 바위 아래에서 솟아오르는 물이 진짜로 밝혀진 것처럼. 그러나 아마도 존재할 수 있는 정당한 증거와 주장은 LLM의 결과물에 아무런 역할도 하지 않았습니다. 마치 물의 존재가 여행자들이 그곳에서 그것을 찾을 수 있을 것이라는 믿음을 뒷받침하는 환상을 만드는 데 아무런 역할도 하지 않았던 것과 같습니다.
따라서 알트먼의 확신은 매우 오해를 불러일으킵니다. LLM에게 아웃풋을 정당화하라고 요청하면 어떻게 될까요? 그것은 당신에게 진정한 정당성을 제공하지 않을 것입니다. 그것은 당신에게 Gettier 정당화를 줄 것입니다 : 정당화를 설득력 있게 모방하는 자연어 패턴. 정당화의 키메라. 힉스(Hicks) 등이 말하듯이, 헛소리 정당화일 것이다. 우리 모두 알다시피 전혀 정당화되지 않습니다.
현재 AI 시스템은 정기적으로 엉망이 되거나 가면이 계속 미끄러지는 방식으로 "환각"을 일으킵니다. 그러나 정당화에 대한 환상이 더욱 설득력을 갖게 되면서, 두 가지 중 하나가 일어날 것이다.
진정한 AI 콘텐츠가 하나의 큰 게티어 사례라는 것을 이해하는 사람들에게, LLM이 자신의 추론을 설명하고 있다는 명백한 거짓 주장은 그 신뢰성을 훼손할 것입니다. 우리는 AI가 체계적으로 기만적으로 설계되고 훈련되고 있다는 것을 알게 될 것입니다.
그리고 AI가 게티어 정당화, 즉 가짜 정당화를 뱉어낸다는 사실을 모르는 우리들은? 글쎄, 우리는 단지 속을 것입니다. 우리가 LLM에 의존하는 한, 우리는 사실과 허구를 구분할 수 없는 일종의 유사 매트릭스 속에서 살게 될 것이며, 차이가 있을 수 있다는 것을 우려해야 한다는 사실을 깨닫지 못할 것입니다.
각 출력은 정렬되어야 합니다
이 곤경의 중요성을 평가할 때, LLM이 지금과 같은 방식으로 작동하는 데는 아무런 문제가 없다는 점을 명심하는 것이 중요합니다. 그들은 놀랍고 강력한 도구입니다. 그리고 AI 시스템이 인공적 지식 대신 게티어 사례를 뱉어낸다는 것을 이해하는 사람들은 이미 그것을 고려하는 방식으로 LLM을 사용하고 있습니다. 프로그래머는 LLM을 사용하여 코드 초안을 작성한 다음 자신의 코딩 전문 지식을 사용하여 자신의 표준과 목적에 따라 수정합니다. 교수는 LLM을 사용하여 논문 프롬프트의 초안을 작성한 다음 자신의 교육적 목표에 따라 수정합니다. 이번 선거 기간 동안 그 이름에 걸맞은 연설 작가라면 누구나 후보자가 무대에 오르게 하기 전에 AI가 작성한 초안을 모두 팩트체크할 것입니다. 등등.
그러나 대부분의 사람들은 전문성이 부족한 바로 그 부분에서 AI를 찾습니다. 대수학을 연구하는 십대들을 생각해 보십시오. 또는 예방약. 또는 다이어트 또는 투자 조언을 구하는 노인들. LLM이 이러한 종류의 중요한 정보에 대한 대중의 접근을 중재하려면 최소한 LLM을 신뢰할 수 있는지 여부와 시기를 알아야 합니다. 그리고 신뢰를 얻기 위해서는 LLM이 알려줄 수 없는 것, 즉 각 출력이 정당화되는지, 그리고 어떻게 정당화되는지를 알아야 합니다.
다행히도 올리브 오일이 스파게티 요리에 휘발유보다 훨씬 더 효과적이라는 것을 알고 있을 것입니다. 그러나 당신은 정당성을 맛보지 못한 채 현실에 대한 어떤 위험한 요리법을 통째로 삼켜 버렸습니까?
이상의 기사는 2024년 9월 28일 entureBeat에 게재된 “Why AI is a know-it-all know nothing”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : Why AI is a know-it-all know nothing | VentureBeat
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지