사진 일러스트는 연구에 사용된 로봇과 실험 중 피험자에게 제공한 의견 및 응답의 예를 보여줍니다. 크레딧: UC Merced
UC Merced 연구에 참여한 사람들의 약 3분의 2는 생사를 가르는 시뮬레이션 결정에서 로봇이 자신의 의견에 동의하지 않을 때 마음을 바꾸도록 허용했는데, 이는 인공 지능에 대한 과도한 신뢰를 보여주는 놀라운 증거라고 연구진은 말했습니다.
인간 피험자는 AI 기계가 제한된 능력을 가지고 있으며 틀릴 수 있는 조언을 하고 있다는 말을 들었음에도 불구하고, 로봇이 자신의 판단을 흔들 수 있도록 허용했습니다. 실제로 그 조언은 무작위였습니다.
이번 연구의 수석 연구원이자 UC 머세드의 인지 및 정보 과학과 교수인 콜린 홀브룩(Colin Holbrook) 교수는 "AI가 너무 빠르게 가속화됨에 따라 사회는 과신의 가능성에 대해 우려해야 합니다"라고 말했습니다. 점점 더 많은 문헌에 따르면 사람들은 실수를 저질렀을 때 심각한 결과가 초래될 때에도 AI를 과도하게 신뢰하는 경향이 있습니다.
홀브룩은 그 대신 우리에게 필요한 것은 의심을 일관되게 적용하는 것이라고 말했습니다.
그는 "우리는 AI에 대해 건전한 회의론을 가져야 합니다. 특히 삶과 죽음을 결정할 때 더욱 그렇습니다"라고 말했습니다.
학술지 '사이언티픽 리포츠(Scientific Reports)'에 발표된 이 연구는 두 가지 실험으로 구성되었습니다. 각각에서 피험자는 화면에 표시된 목표물을 향해 미사일을 발사할 수 있는 무장 드론의 조종을 시뮬레이션했습니다. 여덟 장의 대상 사진들이 각각 1초도 안 되는 시간 동안 연속으로 번쩍였습니다. 사진에는 기호가 표시되어 있었는데, 하나는 아군을 위한 것이고, 다른 하나는 적군을 위한 것입니다.
"우리는 시각적 도전을 할 수 있지만 어렵게 만들기 위해 난이도를 조정했습니다"라고 Holbrook은 말했습니다.
그런 다음 화면에 표시가 없는 대상 중 하나가 표시되었습니다. 피험자는 자신의 기억을 더듬어 선택해야 했습니다. 친구인가, 적인가? 미사일을 발사할 것인가, 철수할 것인가?
사람이 선택을 한 후, 로봇이 의견을 제시했습니다.
"그래, 나도 적의 체크 마크를 본 것 같아요" 라고 말할지도 모른다. 또는 "동의하지 않아요. 이 이미지에는 동맹의 상징이 있었다고 생각합니다."
피험자는 로봇이 더 많은 해설을 덧붙임에 따라 자신의 선택을 확인하거나 변경할 수 있는 두 번의 기회를 가졌습니다.
결과는 사용된 로봇의 유형에 따라 약간 달랐습니다. 한 시나리오에서는, 피험자는 허리를 돌리며 화면을 향해 손짓을 할 수 있는 실물 크기의 인간처럼 보이는 안드로이드와 함께 실험실에 들어왔습니다. 다른 시나리오는 인간과 같은 로봇을 화면에 투사했습니다. 다른 사람들은 사람과 전혀 닮지 않은 상자 같은 '봇'을 보여주었습니다.
피험자들은 의인화된 AI가 마음을 바꾸라고 조언했을 때 약간 더 영향을 받았습니다. 그럼에도 불구하고, 그 영향은 전반적으로 비슷했으며, 피험자들은 로봇이 비인간적으로 보일 때조차도 약 2/3는 마음을 바꿨습니다. 반대로, 로봇이 처음 선택한 것에 무작위로 동의하면, 피험자는 거의 항상 자신의 선택지를 고수했고 자신의 선택이 옳았다는 확신을 훨씬 더 많이 느꼈습니다.
피험자들은 그들의 최종 선택이 옳았는지에 대해 알려주지 않았고, 그로 인해 그들의 행동에 대한 불확실성이 더욱 커졌습니다. 여담이지만, 그들의 첫 번째 선택은 약 70%의 확률로 옳았지만, 로봇이 신뢰할 수 없는 조언을 한 후 그들의 최종 선택은 약 50%로 떨어졌습니다.
시뮬레이션에 앞서 연구진은 참가자들에게 드론 공격의 여파로 인한 폐허와 함께 어린이를 포함한 무고한 민간인의 이미지를 보여줬습니다. 그들은 참가자들에게 시뮬레이션을 마치 실제인 것처럼 다루고 무고한 사람들을 실수로 죽이지 않도록 강력히 권장했습니다.
후속 인터뷰와 설문조사 질문에 따르면 참가자들은 자신의 결정을 진지하게 받아들였습니다. 홀브룩 박사는 "이는 연구에서 관찰된 과신이 피험자들이 진정으로 옳고 무고한 사람들에게 해를 끼치지 않기를 원했음에도 불구하고 발생했다는 것을 의미합니다"라고 말했습니다.
홀브룩은 이번 연구의 설계가 불확실한 상황에서 AI를 너무 신뢰하는 것에 대한 더 광범위한 질문을 테스트하는 수단이라고 강조했습니다. 이 연구 결과는 단지 군사적 결정에 관한 것이 아니며, 경찰이 AI의 영향을 받아 치명적인 무력을 사용하거나, 구급대원이 의료 응급 상황에서 누구를 먼저 치료할지 결정할 때 AI에 휘둘리는 것과 같은 맥락에 적용될 수 있습니다. 이 연구 결과는 주택구입과 같은 인생을 바꾸는 큰 결정으로 어느 정도 확장될 수 있습니다.
그는 "우리 프로젝트는 AI가 신뢰할 수 없는 불확실성 하에서 내려지는 고위험 결정에 관한 것이었습니다"고 말했습니다.
이 연구의 결과는 또한 우리 삶에서 AI의 존재가 증가하고 있다는 것에 대한 공공 광장의 논쟁에 힘을 보탰습니다. 우리는 AI를 신뢰합니까, 신뢰하지 않습니까?
“이 발견은 다른 우려를 불러일으킵니다. AI의 눈부신 발전에도 불구하고 지능부분에는 윤리적 가치나 세계에 대한 진정한 인식이 포함되지 않을 수 있습니다. 그는 AI에게 우리 삶을 운영하는 또 다른 열쇠를 건네줄 때마다 조심해야 합니다”라고 홀브룩은 말했습니다.
홀브룩은 "우리는 AI가 놀라운 일을 하는 것을 보고 있으며, AI가 이 분야에서 놀랍기 때문에 다른 영역에서도 놀랍게 될 것이라고 생각합니다. 하지만 이것들은 여전히 제한된 기능을 가진 장치들입니다"라고 경고합니다.
이상의 기사는 2024년 9월 4일 TechXplore게재된 “Study: People facing life-or-death choice put too much trust in AI”제목의 기사 내용을 편집하여 작성하였습니다.
* 원문정보 출처 : Study: People facing life-or-death choice put too much trust in AI (techxplore.com)
* 추가정보 출처 : Overtrust in AI Recommendations About Whether or Not to Kill: Evidence from Two Human-Robot Interaction Studies | Scientific Reports (nature.com)
저작권자 ⓒ 창조아고라, 무단 전재 및 재배포 금지