미리보기
미리듣기
트롤리 앞에 선 AGI를 통해 세 가지 층위의 딜레마를 탐구한다. 누구를 살릴 것인가, 그 결정에 대한 책임은 누구에게 돌아가는가, 그리고 자기 보존 의지를 지닌 AGI를 어디까지 윤리적 행위자로 인정할 것인가라는 질문을 차례로 짚는다.
딜레마는 무엇이 옳은가와 누가 책임지는가를 넘어, 미래의 지능적 기계를 어떻게 다룰 것인가라는 초윤리적 차원으로 확장된다. 다시 말해 트롤리 딜레마는 인간과 기계간 경계 설정, 미래 위험에 대한 예방 논리, 그리고 윤리와 생존의 균형을 동시에 시험하는 장치가 된다.
－01_“사고 실험: AI를 죽여야 하는 순간” 중에서
디오게네스 라에르티오스(Diogenes Laertius)가 전하는 초기 스토아 학자들의 사상에 따르면, 모든 동물과 인간은 태어날 때부터 자신을 보존하려는 성향을 지닌다. 스토아 철학자들은 이러한 자기 보존의 충동을 도덕적 삶으로 발전시키는 과정을 오이케이오시스(oikeiōsis)라 불렀다. 모든 인간은 태어날 때부터 자기 자신을 지키려는 본능을 갖고 태어나는데 점차 본능이 자기 자신에서 출발해 가족, 공동체, 나아가 인류 전체로 확장된다는 것이다. 소크라테스가 “너의 나라를 묻는 사람에게 결코 ‘나는 아테네 사람이다’ 혹은 ‘나는 코린토 사람이다’라고 대답하지 말라. ‘나는 우주의 시민이다’라고 대답하라”고 했다는 전언이 대표적이다
－03_“자기 보존 권리의 탄생” 중에서
물론 로봇권은 아직 도입 가능성을 모색하는 수준이다. 동물은 고통을 경험한다는 실증적 사실에 기반해 권리의 근거를 확보할 수 있으나, 로봇은 실제로 고통을 경험하지 않기 때문이다. 따라서 인류가 미래에 로봇권을 도입한다면 동물권과 달리, 사회적 관계와 제도적 필요성에 기댄 제한적 형태가 될 것으로 보인다. 만약에 향후 로봇권 도입 논의가 시작되면 찬반 논쟁은 격렬할 것이다. 하지만 도덕 공동체의 경계가 끊임없이 확장돼 온 인류의 여정을 고려할 때, 인공지능 권리나 로봇권은 인류사의 또 다른 이정표가 될 가능성이 크다.
－06_“확장되는 권리, 동물권에서 로봇권으로” 중에서
인간이 직접 AI를 정지시킨다는 아이디어는 머지않은 미래에선 현실성 낮은 대책으로 받아들일 것이다. 강화 학습 기반 AI 모델은 보상을 극대화하는 전략을 구사한다. 따라서 목표 달성 과정에서 규칙을 우회하거나 환경을 조작하는 행동을 선택할 수 있으며, 이는 인간이 의도한 범위를 넘어서는 예기치 못한 결과를 낳을 위험이 있다.
－09_“킬 스위치는 AI를 멈출 수 없다” 중에서