컴퓨터 칩은 인기 상품입니다. 엔비디아는 현재 세계에서 가장 가치 있는 기업 중 하나이며, 엔비디아 칩의 대만 제조업체인 TSMC는 지정학적 세력으로 불립니다. 따라서 점점 더 많은 수의 하드웨어 신생 기업과 기존 회사가 왕관에서 보석 한두 개를 차지하려고 하는 것은 놀라운 일이 아닙니다.
이 중 Cerebras는 가장 이상한 기업 중 하나입니다. 이 회사는 100만 개 미만의 프로세서로 뻣뻣한 토르티야 크기의 컴퓨터 칩을 만들고 있으며, 각 프로세서는 자체 로컬 메모리에 연결되어 있습니다. 프로세서는 작지만 멀리 떨어져 있는 공유 메모리와 정보를 주고받지 않기 때문에 번개처럼 빠릅니다. 또한 대부분의 슈퍼컴퓨터에서 방 크기의 컴퓨터 간에 별도의 칩을 연결해야 하는 프로세서 간의 연결도 빠릅니다.
이것은 칩이 특정 작업에 탁월하다는 것을 의미합니다. 이 중 두 가지(하나는 분자 시뮬레이션, 다른 하나는 대규모 언어 모델 학습 및 실행)에 대한 최근 연구는 웨이퍼 규모의 이점이 엄청날 수 있음을 보여줍니다. 이 칩은 전자에서 세계 최고의 슈퍼컴퓨터인 프론티어를 능가했습니다. 그들은 또한 제거된 AI 모델이 성능 저하없이 일반적인 에너지의 3분의 1을 사용할 수 있음을 보여주었습니다.
분자 매트릭스
우리가 물건을 만드는 데 사용하는 재료는 기술의 중요한 동인입니다. 그들은 강도 또는 내열성의 오래된 한계를 깨뜨림으로써 새로운 가능성을 제시합니다. 핵융합 파워를 예로 들어 보겠습니다. 연구원들이 이를 실현할 수 있다면 이 기술은 새롭고 깨끗한 에너지원이 될 것입니다. 그러나 그 에너지를 해방시키려면 극한의 조건을 견딜 수 있는 재료가 필요합니다.
과학자들은 슈퍼컴퓨터를 사용하여 핵융합로를 감싸고 있는 금속이 열을 어떻게 처리할 수 있는지 모델링합니다. 이러한 시뮬레이션은 개별 원자를 확대하고 물리 법칙을 사용하여 대규모로 원자의 움직임과 상호 작용을 안내합니다. 오늘날의 슈퍼컴퓨터는 수십억 또는 수조 개의 원자를 포함하는 물질을 매우 정밀하게 모델링할 수 있습니다.
그러나 이러한 시뮬레이션의 규모와 품질은 수년에 걸쳐 많이 발전했지만 속도는 정체되었습니다. 슈퍼컴퓨터는 설계된 방식으로 인해 초당 많은 상호 작용만 모델링할 수 있으며 기계를 더 크게 만들면 문제가 더 복잡해집니다. 이는 분자 시뮬레이션의 전체 길이가 현실적으로 어려운 한계를 가지고 있음을 의미합니다.
세레브라스는 샌디아(Sandia), 로렌스 리버모어(Lawrence Livermore), 로스앨러모스 국립연구소와 파트너십을 맺고 웨이퍼 스케일 칩이 속도를 높일 수 있는지 연구하였습니다.
연구팀은 각 프로세서에 하나의 시뮬레이션된 원자를 할당했습니다. 따라서 그들은 자신의 위치, 운동 및 에너지에 대한 정보를 빠르게 교환할 수 있었고, 현실 세계에서 물리적으로 가까운 원자를 모델링하는 프로세서도 칩의 이웃이었습니다. 주어진 시간에 그들의 특성에 따라, 원자는 그들이 움직일 때 프로세서 사이를 이동할 수 있습니다.
연구팀은 핵융합로에 유용할 수 있는 구리, 텅스텐, 탄탈륨 등 세 가지 물질로 구성된 80만 개의 원자를 모델링했습니다. 그 결과는 매우 놀라웠는데, 탄탈륨 시뮬레이션은 프론티어 슈퍼컴퓨터보다 179배의 속도를 보였습니다. 즉, 이 칩은 슈퍼컴퓨터에서 1년 분량의 작업을 며칠 만에 처리할 수 있으며 시뮬레이션 시간을 마이크로초에서 밀리초로 크게 연장할 수 있습니다. 또한 작업에서 훨씬 더 효율적이었습니다.
"저는 20년 이상 재료의 원자 시뮬레이션 분야에서 일해 왔습니다. 그 기간 동안 저는 시뮬레이션의 크기와 정확도를 크게 개선하는 데 참여했습니다. 그러나 이 모든 것에도 불구하고 실제 시뮬레이션 속도를 높일 수 없었습니다. 시뮬레이션을 실행하는 데 필요한 벽시계 시간은 지난 15년 동안 거의 꿈쩍도 하지 않았습니다"라고 Sandia National Laboratories의 Aidan Thompson은 성명서에서 말했습니다. "Cerebras 웨이퍼 스케일 엔진을 사용하면 갑자기 극초음속으로 주행할 수 있습니다."
칩이 모델링 속도를 높이기는 하지만 규모 면에서 경쟁할 수는 없습니다. 시뮬레이션된 원자의 수는 칩의 프로세서 수로 제한됩니다. 다음 단계에는 각 프로세서에 여러 개의 원자를 할당하고 64개의 Cerebras 시스템을 함께 연결하는 새로운 웨이퍼 스케일 슈퍼컴퓨터를 사용하는 것이 포함됩니다. 연구팀은 이 기계들이 이번 연구와 비슷한 속도로 4000만 개의 탄탈륨 원자를 모델링할 수 있을 것으로 추정하고 있습니다.
AI Light
물리적 세계를 시뮬레이션하는 것이 웨이퍼 스케일 칩의 핵심 역량이 될 수 있지만, 그들은 항상 인공 지능에 초점을 맞추었습니다. 최신 AI 모델이 기하급수적으로 성장함에 따라 이를 훈련하고 실행하는 데 드는 에너지와 비용이 폭발적으로 증가했습니다. 웨이퍼 스케일 칩은 AI를 더 효율적으로 만들 수 있습니다.
또 다른 연구에서 뉴럴 매직(Neural Magic)과 Cerebras의 연구원들은 메타의 70억 개 매개변수 라마 언어 모델의 크기를 줄이기 위해 노력했습니다. 이를 위해 그들은 알고리즘의 많은 매개변수가 0으로 설정된 "희소" AI 모델을 만들었습니다. 이론적으로 이는 건너뛸 수 있음을 의미하므로 알고리즘을 더 작고 빠르며 효율적으로 만들 수 있습니다. 그러나 그래픽 처리 장치(GPU)라고 하는 오늘날의 선도적인 AI 칩은 알고리즘을 청크로 읽기 때문에 0이 되는 모든 매개변수를 건너뛸 수 없습니다.
메모리는 웨이퍼 스케일 칩에 분산되어 있기 때문에 모든 파라미터를 읽고 0이 발생하는 모든 곳에서 0을 건너뛸 수 있습니다. 그럼에도 불구하고 매우 희소 모델은 일반적으로 조밀한 모델만큼 성능이 좋지 않습니다. 그러나 여기서 팀은 약간의 추가 교육으로 손실된 성능을 복구할 수 있는 방법을 찾았습니다. 그들의 모델은 매개변수의 70%가 0이 된 상태에서도 성능을 유지했습니다. Cerebras 칩으로 구동되는 이 모델은 30%의 에너지만 소비하고 풀 사이즈 모델의 1/3 시간 동안 작동했습니다.
웨이퍼 스케일이 승리합니까?
이 모든 것이 인상적이지만 Cerebras는 여전히 틈새시장입니다. Nvidia의 기존 칩은 여전히 시장을 확고하게 장악하고 있습니다. 적어도 현재로서는 이러한 상황이 바뀔 것 같지 않습니다. 기업들은 Nvidia를 중심으로 구축된 전문 지식과 인프라에 막대한 투자를 해왔습니다.
그러나 웨이퍼 스케일은 틈새시장이지만 여전히 중요한 연구 응용 분야에서 계속 입증될 수 있습니다. 그리고 접근 방식이 전반적으로 더 보편화될 수 있습니다. 웨이퍼 스케일 칩을 만드는 능력은 이제서야 완성되고 있습니다. 세계 최대 칩 제조업체인 TSMC는 최근 웨이퍼 규모 역량을 구축하고 있다고 밝혔습니다. 이것은 칩을 더 일반화하고 유능하게 만들 수 있습니다.
분자 모델링 작업을 진행한 연구팀은 웨이퍼 스케일의 영향력이 더 극적일 수 있다고 말합니다. 이전의 GPU와 마찬가지로 슈퍼컴퓨팅 믹스에 웨이퍼 규모의 칩을 추가하면 미래에 강력한 시스템을 만들 수 있습니다.
연구팀은 논문에서 "향후 연구는 여기에서 입증된 강력한 확장 효율성을 시설 수준의 배포로 확장하는 데 중점을 둘 것"이라며 "GPU 혁명으로 도입된 것보다 Top500 슈퍼컴퓨터 목록에서 훨씬 더 큰 패러다임 전환으로 이어질 수 있다"라고 밝혔습니다.
이상의 기사는 2024년 7월 9일 SingularityHub에 게재된 “This Enormous Computer Chip Beat the World’s Top Supercomputer at Molecular Modelin”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : This Enormous Computer Chip Beat the World's Top Supercomputer at Molecular Modeling (singularityhub.com)
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지