수십 년 동안 군대는 지뢰, 어뢰, 열유도 미사일과 같은 자율 무기를 사용해 왔으며, 이러한 무기는 인간의 통제 없이 단순한 반응 피드백에 기반하여 작동한다. 그러나 인공 지능(AI)은 이제 무기 설계 분야에 진입했습니다.
하버드 의과대학 블라바트니크 연구소(Blavatnik Institute)의 신경생물학 부교수인 카나카 라잔(Kanaka Rajan)과 그녀의 팀에 따르면, AI 기반 자율 무기는 전쟁의 새로운 시대를 대표하며 과학적 진보와 기초 연구에 구체적인 위협이 되고 있습니다.
종종 드론이나 로봇이 참여하는 AI 기반 무기가 활발히 개발되고 배치되고 있다고 라잔은 말했습니다. 그녀는 그러한 기술이 시간이 지남에 따라 더 유능하고 정교하며 널리 사용될 것으로 예상합니다.
이런 상황이 벌어지면서 그녀는 AI 기반 무기가 어떻게 지정학적 불안정을 초래할 수 있는지, 그리고 그 개발이 학계와 산업계의 비군사적 AI 연구에 어떤 영향을 미칠 수 있는지에 대해 우려하고 있습니다.
Rajan은 HMS 신경생물학 연구 펠로우인 Riley Simmons-Edler와 Ryan Badman, MIT 박사 과정 학생인 Shayne Longpre와 함께 2024년 기계 학습에 관한 국제 컨퍼런스에서 주요 우려 사항과 앞으로 나아갈 길을 간략하게 설명합니다.
하버드 메디슨 뉴스(Harvard Medicine News)와의 대화에서 라잔은 자신과 팀이 AI 기반 군사 기술이라는 주제를 조사하기로 결정한 이유, 가장 큰 위험으로 보는 것, 그리고 다음에 일어나야 할 일은 무엇이라고 생각하는지 설명했습니다.
당신은 인간과 동물의 뇌의 맥락에서 AI를 연구하는 컴퓨터 신경과학자입니다. AI 기반 자율 무기에 대해 어떻게 생각하게 되었나요?
우리는 2023년 봄에 떠도는 인공 일반 지능에 대한 수많은 종말론적 예측에 대한 반응으로 이 주제를 고려하기 시작했습니다. 우리는 스스로에게 물었다, 만약 그러한 예측이 정말로 균형을 잃었다면, 인간 사회에 대한 진정한 위험은 무엇인가? 우리는 군대가 AI를 어떻게 사용하고 있는지 조사한 결과, 군사 연구 및 개발이 전 세계에 영향을 미치는 AI 기반 자율 무기 시스템을 구축하는 데 크게 추진되고 있음을 확인했습니다.
우리는 학술 AI 연구 커뮤니티가 이러한 무기의 광범위한 개발의 결과로부터 자유롭지 않다는 것을 깨달았습니다. 군대는 외부 조언 없이 AI 기술을 개발하고 배포할 수 있는 충분한 전문 지식이 부족한 경우가 많기 때문에 학계 및 업계 AI 전문가의 지식을 활용해야 합니다. 이는 학술 기관의 연구자와 행정가에게 중요한 윤리적, 실천적 질문을 제기하며, 이는 학술 연구에 자금을 지원하는 여느 대기업과 마찬가지로 마찬가지입니다.
AI와 머신러닝이 무기에 통합됨에 따라 가장 큰 위험은 무엇이라고 보십니까?
AI 기반 무기의 개발에는 여러 가지 위험이 관련되어 있지만, 우리가 보는 가장 큰 세 가지 위험은 첫째, 이러한 무기가 어떻게 국가가 분쟁에 더 쉽게 개입할 수 있도록 할 수 있는지입니다. 둘째, 비군사적 과학 AI 연구가 이러한 무기 개발을 지원하기 위해 어떻게 검열되거나 채택될 수 있는지, 셋째, 군대가 AI 기반 자율 기술을 사용하여 의사 결정에서 인간의 책임을 줄이거나 회피할 수 있는 방법은 있는지입니다.
첫째, 국가가 전쟁을 시작하는 것을 막는 가장 큰 억제 요인은 군인들이 죽어가는 것인데, 이는 시민들이 치르는 인명 피해로 인해 지도자들에게 국내적 결과를 초래할 수 있다. 현재 개발되고 있는 많은 AI 기반 무기는 인간 병사를 위험에서 벗어나게 하는 것을 목표로 하고 있으며, 이는 그 자체로 인도적인 일입니다. 그러나 공격적인 전쟁에서 죽는 군인이 적으면 전쟁 행위와 인명 피해 사이의 연관성이 약해지고 전쟁을 시작하는 것이 정치적으로 더 쉬워지며 결과적으로 전반적으로 더 많은 죽음과 파괴로 이어질 수 있습니다. 따라서 AI 기반 군비 경쟁이 심화되고 이러한 기술이 더욱 확산됨에 따라 주요 지정학적 문제가 빠르게 발생할 수 있습니다.
두 번째 요점에서는 핵물리학 및 로켓과 같은 학문 분야의 역사를 살펴볼 수 있습니다. 냉전 기간 동안 이 분야가 국방의 중요성이 커지면서 연구자들은 여행 제한, 출판 검열, 기본 작업을 수행하기 위한 보안 허가의 필요성을 경험했습니다. AI 기반 자율 기술이 전 세계 국방 계획의 중심이 됨에 따라 비군사적 AI 연구에도 유사한 제한이 가해지는 것을 볼 수 있으며, 이는 기본 AI 연구, 의료 및 과학 연구에서 가치 있는 민간 응용 프로그램, 국제 협력을 크게 저해할 수 있습니다. 우리는 AI 연구가 성장하고 AI 기반 무기에 대한 연구 개발이 견인력을 얻고 있는 속도를 감안할 때 이것이 시급한 우려 사항이라고 생각합니다.
마지막으로, AI 기반 무기가 국방의 핵심이 된다면, 학계와 산업계에서 AI 연구자들의 노력을 협력하여 이러한 무기를 연구하거나 더 많은 "이중 용도" 프로젝트를 개발하려는 주요 시도를 볼 수 있을 것입니다. 점점 더 많은 AI 지식이 보안 인가에 가려지기 시작하면, 우리 분야는 지능적으로 위축될 것입니다. 일부 컴퓨터 과학자들은 이미 그러한 과감한 제한을 요구하고 있지만, 그들의 주장은 새로운 무기 기술이 일단 개척되면 항상 급증하는 경향이 있다는 사실을 무시하고 있습니다.
AI가 제기하는 위협에 대해 생각하는 사람들이 무기 디자인을 상대적으로 간과한 이유가 무엇이라고 생각합니까?
한 가지 이유는 2023년 이후 많은 주요 강대국이 AI 기반 무기를 빠르고 공개적으로 수용하기 시작했다는 새롭고 빠르게 변화하는 환경이기 때문입니다. 또한 개별 AI 기반 무기 시스템은 고립되어 있을 때 덜 위협적으로 보일 수 있으므로 더 광범위한 시스템 및 기능 모음으로 간주될 때보다 문제를 간과하기 쉽습니다.
또 다른 문제는 기술 회사들이 무기 시스템의 자율성과 인간 감독의 정도에 대해 불투명하다는 점입니다. 어떤 사람들에게는 인간의 감독이 AI 무기 부대가 인간의 이해나 시스템 논리의 오류를 발견하지 못한 채 블랙박스 결정의 긴 사슬을 내린 후 "죽여버리기" 버튼을 누르는 것을 의미할 수 있습니다. 다른 사람들에게는 인간이 더 많은 실제 통제권을 가지고 기계의 의사 결정 과정을 확인하고 있음을 의미할 수 있습니다.
불행히도 이러한 시스템이 점점 더 복잡해지고 강력해짐에 따라 전쟁 시 반응 시간이 더 빨라져야 하기 때문에 블랙박스 결과가 표준이 될 가능성이 더 높습니다. 더욱이, AI 기반 자율 무기에서 "휴먼 인 더 루프(human-in-the-loop)"를 보는 것은 연구자들이 실제로 인간이 의사 결정에 의미 있게 관여하지 않음에도 불구하고 시스템이 군사 표준에 의해 윤리적이라고 생각하도록 유도할 수 있습니다.
대답해야 할 가장 시급한 연구 과제는 무엇입니까?
AI 기반 무기를 만들기 위해서는 여전히 많은 작업이 필요하지만, 대부분의 핵심 알고리즘은 이미 제안되었거나 자율 주행 차량과 같은 비군사적 응용 프로그램에 동기를 부여받은 주요 학술 및 산업 연구의 초점입니다. 이를 염두에 두고, 우리는 과학자 및 연구자로서 이러한 기술의 적용을 윤리적으로 지도하고 군사적 이익이 우리 연구에 미치는 영향을 탐색하는 방법을 고려해야 합니다.
전 세계 군대가 전장 및 지원 역할의 상당 부분을 AI 기반 부대로 대체하려는 경우 학계 및 업계 전문가의 지원이 필요합니다. 이는 군사 AI 혁명에서 대학이 어떤 역할을 해야 하는지, 어떤 경계를 넘지 말아야 하는지, 무기에 AI 사용을 모니터링하기 위해 어떤 중앙 집중식 감독 및 감시 기구를 설립해야 하는지에 대한 질문을 제기합니다.
비군사적 연구를 보호하는 측면에서, 우리는 어떤 AI 개발을 클로즈드 소스와 오픈 소스로 분류할 수 있는지, 사용 계약을 어떻게 설정하는지, 컴퓨터 과학의 군사화가 국제 협력에 어떤 영향을 미칠지 생각해야 할 수도 있습니다.
어떻게 하면 AI가 무기에 사용되는 것을 방지하면서 창의적인 AI 연구를 가능하게 하는 방식으로 나아갈 수 있을까요?
학계는 정부, 기술, 의학 및 정보 분야와 관련된 주요 기업, 그리고 군대와 중요하고 생산적인 협력 관계를 유지해 왔으며 앞으로도 그럴 것입니다. 그러나 역사적으로 학자들은 설탕, 화석 연료 및 담배 산업과 당혹스럽고 해로운 협력을 해왔습니다. 현대의 대학은 연구자들이 산업 자금 지원의 윤리적 위험과 편견을 이해하고 윤리적으로 의심스러운 과학을 생산하지 않도록 돕기 위해 기관 교육, 감독 및 투명성 요구 사항을 갖추고 있습니다.
우리가 알기로는, 현재 군사 자금 지원을 위한 그러한 훈련과 감독은 존재하지 않습니다. 우리가 제기하는 문제들은 복잡하고 하나의 정책으로 해결할 수 없지만, 대학이 군사, 국방, 국가안보국(NSA)의 자금 지원을 받는 프로젝트에 대해 이미 시행되고 있는 것과 유사한 토론 세미나, 내부 규정 및 감독 프로세스를 만드는 것이 좋은 첫 번째 단계라고 생각합니다.
현실적인 결과는 무엇이라고 생각하십니까?
커뮤니티 일각에서는 군용 AI를 전면 금지해야 한다는 목소리가 나오고 있다. 우리는 이것이 도덕적으로 이상적이라는 데 동의하지만, 현실적이지 않다는 것을 알고 있습니다. AI는 군사적 목적으로 너무 유용하여 그러한 금지를 수립하거나 시행하는 데 필요한 국제적 합의를 얻지 못합니다.
대신, 우리는 국가들이 인간 군인을 대체하는 것이 아니라 증강시키는 AI 기반 무기 개발에 노력을 집중해야 한다고 생각합니다. 이러한 무기에 대한 인간의 감독을 우선시함으로써 최악의 위험을 예방할 수 있기를 바랍니다.
우리는 또한 AI 무기가 단일체가 아니며 능력에 의해 검토되어야 한다는 점을 강조하고 싶습니다. 가장 지독한 종류의 AI 무기를 가능한 한 빨리 금지하고 규제하는 것이 중요하며, 우리 커뮤니티와 기관이 넘지 말아야 할 경계를 설정하는 것이 중요합니다.
이상의 기사는 2024년 8월 7일 TechXplore에 게재된 “Q&A: Experts warn of AI-powered autonomous weapon risks”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : Q&A: Experts warn of AI-powered autonomous weapon risks (techxplore.com)
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지