다양한 LLM과 뇌의 유사성을 평가하기 위해 LLM 임베딩에서 음성에 대한 뇌 반응을 예측하는 방법론입니다. 사진 제공: Gavin Mischler(Mischler et al., Nature Machine Intelligence, 2024에서 발췌한 그림
ChatGPT를 포함한 대규모 언어 모델(LLM)은 지난 몇 년 동안 인간의 언어를 처리하고 생성하는 데 점점 더 능숙해지고 있습니다. 그러나 이러한 모델이 인간 두뇌의 언어 처리를 지원하는 신경 과정을 어느 정도 모방하는지는 아직 완전히 밝혀지지 않았습니다.
콜럼비아 대학(Columbia University)과 노스웰 헬스(Northwell Health)의 파인스타인 의학 연구소(Feinstein Institutes for Medical Research)의 연구원들은 최근 신경 반응에 대한 LLM 표현 간의 유사성을 조사하는 연구를 수행했습니다.
네이처 머신 인텔리전스(Nature Machine Intelligence)에 발표된 그들의 연구 결과는 LLM이 더욱 발전함에 따라 성능이 향상될 뿐만 아니라 뇌와 더 유사해진다는 것을 시사합니다.
"이 논문에 대한 우리의 원래 영감은 최근 LLM과 신경 AI 연구 환경의 폭발적인 증가에서 비롯되었습니다." 논문의 제1저자인 개빈 미슐러(Gavin Mischler)가 Tech Xplore에 말했습니다.
"지난 몇 년 동안 몇 가지 논문에 따르면 GPT-2의 단어 임베딩은 인간의 뇌에서 기록된 단어 응답과 일부 유사성을 보였지만 빠르게 변화하는 AI 영역에서 GPT-2는 이제 오래되고 그다지 강력하지 않은 것으로 간주됩니다.
ChatGPT가 출시된 이후로 다른 강력한 모델이 많이 나왔지만 이러한 더 새롭고 더 크고 더 나은 모델이 여전히 동일한 뇌 유사성을 나타내는지에 대한 연구는 많지 않았습니다."
Mischler와 그의 동료들에 의한 최근 연구의 주요 목적은 최신 LLM이 인간의 뇌와도 유사성을 보이는지 여부를 확인하는 것이었습니다. 이는 인공 지능(AI)과 뇌에 대한 이해도를 높일 수 있으며, 특히 뇌가 언어를 분석하고 생성하는 방식에 대한 이해를 높일 수 있습니다.
연구원들은 지난 몇 년 동안 개발된 12개의 서로 다른 오픈 소스 모델을 조사했는데, 이 모델들은 거의 동일한 아키텍처와 비슷한 수의 매개변수를 가지고 있습니다. 동시에, 그들은 치료의 일환으로 뇌에 이식된 전극을 사용하여 신경외과 환자의 말을 들을 때 뇌에서 신경 반응을 기록했습니다.
"우리는 또한 동일한 연설의 텍스트를 LLM에 제공하고 임베딩을 추출했는데, 이는 본질적으로 LLM의 여러 계층이 텍스트를 인코딩하고 처리하는 데 사용하는 내부 표현입니다"라고 Mischler는 설명했습니다.
"이러한 모델과 뇌 사이의 유사성을 추정하기 위해 우리는 임베딩이라는 단어에서 단어에 대한 기록된 신경 반응을 예측하려고 했습니다. 임베딩이라는 단어에서 뇌 반응을 예측할 수 있는 능력은 두 가지가 얼마나 유사한지 알 수 있게 해줍니다."
데이터를 수집한 후, 연구자들은 LLM과 뇌가 어느 정도 정렬되어 있는지 결정하기 위해 계산 도구를 사용했습니다. 그들은 특히 각 LLM의 어떤 층이 언어 처리에 관여하는 뇌 영역과 가장 큰 일치를 보이는지 조사했으며, 이에 대한 신경 반응은 음향적, 음성적, 그리고 결국에는 더 추상적인 언어 구성 요소를 조사하여 언어 표현을 점진적으로 "구축"하는 것으로 알려져 있습니다.
미슐러는 "첫째, LLM이 더 강력해질수록(예: ChatGPT와 같은 질문에 더 잘 답함으로써) LLM의 임베딩이 언어에 대한 뇌의 신경 반응과 더 유사해진다는 것을 발견했다"고 말했습니다.
"더 놀라운 것은 LLM 성능이 향상됨에 따라 뇌의 계층 구조와의 정렬도 증가한다는 것입니다. 이는 언어 처리 중 연속적인 뇌 영역에서 추출되는 정보의 양과 유형이 성능이 낮은 LLM보다 성능이 가장 높은 LLM의 연속적인 계층에서 추출된 정보와 더 잘 일치한다는 것을 의미합니다."
이 연구팀이 수집한 결과는 가장 성능이 좋은 LLM이 언어 처리와 관련된 뇌 반응을 더 밀접하게 반영한다는 것을 시사합니다. 더욱이, 그들의 더 나은 성능은 이전 계층의 더 큰 효율성 때문인 것으로 보입니다.
"이러한 발견은 다양한 시사점을 가지고 있으며, 그 중 하나는 LLM 아키텍처 및 교육에 대한 현대적인 접근 방식이 이러한 모델을 언어 처리에 매우 특화된 인간의 뇌가 사용하는 것과 동일한 원칙으로 이끌고 있다는 것입니다."
"이것이 언어를 이해하는 가장 효율적인 방법의 기저에 있는 몇 가지 기본 원칙이 있기 때문이든, 아니면 단순히 우연이든, 자연 및 인공 시스템 모두 유사한 언어 처리 방법으로 수렴하고 있는 것으로 보입니다."
Mischler와 그의 동료들의 최근 연구는 LLM 표현과 언어 처리와 관련된 신경 반응을 비교하는 추가 연구의 길을 열 수 있습니다. 이러한 연구 노력은 종합적으로 미래의 LLM 개발에 정보를 제공하여 인간의 정신 과정에 더 잘 부합하도록 할 수 있습니다.
"우리는 여전히 뇌가 어떻게 하는지 완전히 이해하지 못하기 때문에 뇌가 매우 흥미롭다고 생각하며, 뇌의 언어 처리 능력은 인간 고유의 능력입니다."라고 Mischler는 덧붙였습니다. "동시에, LLM은 몇 가지 놀라운 일을 할 수 있음에도 불구하고 어떤 면에서는 여전히 블랙박스이기 때문에 우리는 LLM을 사용하여 뇌를 이해하려고 하거나 그 반대의 경우도 마찬가지입니다.“
"우리는 이제 고성능 LLM에서 초기 계층의 중요성에 대한 새로운 가설을 가지고 있으며, 더 나은 뇌 대응을 보여주는 더 나은 LLM의 추세를 추정함으로써 아마도 이러한 결과는 LLM을 명시적으로 더 뇌와 비슷하게 만들어 더 강력하게 만들 수 있는 몇 가지 잠재적인 방법을 제공할 수 있습니다."
이상의 기사는 2024년 12월 18일 TechXplore에 게재된 “LLMs are becoming more brain-like as they advance, researchers discover”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : LLMs are becoming more brain-like as they advance, researchers discover
* 추가정보 출처 : Contextual feature extraction hierarchies converge in large language models and the brain | Nature Machine Intelligence
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지