John J. Hopfield와 Geoffrey E. Hinton은 컴퓨터의 학습을 돕는 기계 학습 알고리즘과 신경망에 대한 연구로 2024년 10월 8일 노벨 물리학상을 수상했습니다. 이들의 연구는 생성형 인공 지능을 뒷받침하는 신경망 이론을 개발하는 데 근본적인 역할을 했습니다.
신경망은 상호 연결된 뉴런 계층으로 구성된 계산 모델입니다. 뇌의 뉴런과 마찬가지로 이 뉴런은 정보를 처리하고 전달합니다. 각 신경 계층은 데이터 조각을 수신하여 처리하고 결과를 다음 계층으로 전달합니다. 시퀀스가 끝날 때쯤 네트워크는 데이터를 처리하고 더 유용한 것으로 정제합니다.
Hopfield와 Hinton이 컴퓨터 과학에서 사용되는 신경망에 대한 기여로 물리학상을 받았다는 것이 놀랍게 보일 수 있지만, 그들의 연구는 물리학의 원리, 특히 통계 역학이라는 하위 분야에 깊이 뿌리를 두고 있습니다.
컴퓨터 재료 과학자로서 저는 이 연구 분야가 이 상을 수상하게 되어 매우 기쁩니다. Hopfield와 Hinton의 연구를 통해 저와 동료들은 ChatGPT와 같은 많은 인기 기술의 배경이 되는 방법인 재료 과학을 위한 생성 학습이라는 프로세스를 연구할 수 있었습니다.
통계역학이란 무엇입니까?
통계 역학은 통계적 방법을 사용하여 많은 수의 입자로 구성된 시스템의 동작을 설명하는 물리학의 한 분야입니다.
통계 역학을 사용하는 연구자들은 개별 입자에 초점을 맞추는 대신 많은 입자의 집합적 행동을 살펴봅니다. 이들이 모두 어떻게 함께 작용하는지 보는 것은 연구원들이 온도, 압력 및 자화와 같은 시스템의 대규모 거시적 특성을 이해하는 데 도움이 됩니다.
예를 들어, 물리학자 에른스트 아이징(Ernst Ising)은 1920년대에 자기에 대한 통계역학 모델을 개발했습니다. 이징은 자기(magnetism)를 원자 스핀이 이웃과 상호 작용하는 집단적 행동으로 상상했습니다.
Ising의 모델에는 시스템에 대한 더 높은 에너지 상태와 더 낮은 에너지 상태가 있으며 재료는 가장 낮은 에너지 상태에 존재할 가능성이 더 높습니다.
통계 역학의 핵심 아이디어 중 하나는 주어진 상태가 얼마나 가능성이 있는지를 정량화하는 Boltzmann 분포입니다. 이 분포는 시스템이 에너지와 온도를 기반으로 고체, 액체 또는 기체와 같은 특정 상태에 있을 확률을 설명합니다.
Ising은 Boltzmann 분포를 사용하여 자석의 위상 전이를 정확하게 예측했습니다. 그는 물질이 자성에서 비자성으로 변하는 온도를 알아냈습니다.
위상 변화는 예측가능한 온도에서 발생합니다. 얼음은 특정 온도에서 녹아 물이 되는데, 이는 볼츠만 분포(Boltzmann distribution)에 따르면 얼음이 따뜻해지면 물 분자가 무질서한 상태(또는 액체 상태)를 가질 가능성이 더 높기 때문입니다.
물질에서 원자는 가장 적은 양의 에너지를 사용하는 특정 결정 구조로 배열됩니다. 추우면 물 분자가 얼어 낮은 에너지 상태의 얼음 결정으로 변합니다.
이와 유사하게, 생물학에서 단백질은 저에너지 형태로 접혀 바이러스를 표적으로 하는 자물쇠와 열쇠와 같은 특정 항체로 기능할 수 있습니다.
신경망 및 통계 역학
기본적으로 모든 신경망은 에너지를 최소화한다는 유사한 원리로 작동합니다. 신경망은 이 원리를 사용하여 컴퓨팅 문제를 해결합니다.
예를 들어, 사진의 일부만 볼 수 있는 픽셀로 구성된 이미지를 상상해 보십시오. 일부 픽셀은 보이지만 나머지는 숨겨져 있습니다. 이미지가 무엇인지 확인하려면 숨겨진 픽셀이 보이는 조각과 함께 들어갈 수 있는 모든 가능한 방법을 고려합니다. 거기에서 통계 역학이 가능한 모든 옵션 중에서 가장 가능성이 높은 상태라고 말하는 것 중에서 선택합니다.
Hopfield와 Hinton은 통계 역학의 아이디어를 기반으로 신경망 이론을 개발했습니다. 신경망으로 사진 문제를 해결하기 위해 원자 스핀의 집단적 상호 작용을 모델링한 이삭이 그랬던 것처럼, 홉필드와 힌튼은 픽셀의 집단적 상호 작용을 상상했습니다. 그들은 이 픽셀들을 뉴런으로 표현했습니다.
통계 물리학에서와 마찬가지로 이미지의 에너지는 픽셀의 특정 구성이 얼마나 가능성이 있는지를 나타냅니다. 홉필드 네트워크는 숨겨진 픽셀의 가장 낮은 에너지 배열을 찾아 이 문제를 해결할 수 있습니다.
그러나 에너지가 알려진 원자 상호작용에 의해 결정되는 통계 역학과 달리 신경망은 데이터에서 이러한 에너지를 학습합니다.
Hinton은 역전파(backpropagation)라고 불리는 기술의 개발을 대중화했습니다. 이 기술은 모델이 이러한 뉴런 간의 상호 작용 에너지를 파악하는 데 도움이 되며, 이 알고리즘은 최신 AI 학습의 많은 부분을 뒷받침합니다.
Boltzmann 기계
Hopfield의 연구를 바탕으로 Hinton은 Boltzmann 기계라고 불리는 또 다른 신경망을 상상했습니다. 뇌는 우리가 관찰할 수 있는 눈에 보이는 뉴런과 네트워크가 복잡한 패턴을 학습하는 데 도움이 되는 숨겨진 뉴런으로 구성되어 있습니다.
Boltzmann 기계에서는 그림이 특정 방식으로 보일 확률을 결정할 수 있습니다. 이 확률을 파악하기 위해 숨겨진 픽셀이 있을 수 있는 모든 가능한 상태를 합산할 수 있습니다. 이렇게 하면 보이는 픽셀이 특정 배열에 있을 총 확률을 얻을 수 있습니다.
우리 그룹은 생성 학습을 위해 양자 컴퓨터에 Boltzmann 기계를 구현하는 작업을 했습니다.
생성 학습에서 네트워크는 연구자가 네트워크를 훈련시키기 위해 네트워크에 제공한 데이터와 유사한 새로운 데이터 샘플을 생성하는 방법을 학습합니다. 예를 들어, 유사한 이미지에 대해 학습된 후 손으로 쓴 숫자의 새 이미지를 생성할 수 있습니다. 네트워크는 학습된 확률 분포에서 샘플링하여 이를 생성할 수 있습니다.
제너레이티브 러닝은 현대 AI를 뒷받침하며, AI 예술, 비디오 및 텍스트를 생성할 수 있도록 합니다.
Hopfield와 Hinton은 통계 물리학의 도구를 활용하여 AI 연구에 상당한 영향을 미쳤습니다. 그들의 연구는 자연이 물질의 물리적 상태를 결정하는 방법과 신경망이 복잡한 컴퓨터 과학 문제에 대한 해결책 가능성을 예측하는 방법 사이의 유사점을 도출합니다.
이상의 기사는 2024년 10월 9일 TechXplore에 게재된 “How a subfield of physics led to breakthroughs in AI, and from there to this year's Nobel Prize”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : How a subfield of physics led to breakthroughs in AI, and from there to this year's Nobel Prize (techxplore.com)
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지