미리보기
미리듣기
알파고 이후 쏟아진 ‘초지능’ 공포와 낙관을 철학적으로 해부한다. 머스크·올트먼, 힌턴·르쿤의 불일치를 ‘지능’ 개념과 장기주의·특이점주의·포스트휴먼 같은 전제에서 풀어낸다. 할루시네이션과 신용평가 사례로 초지능을 윤리·정치의 문제로 재구성하며, 무엇을 두려워하고 무엇을 준비할지 묻는다. AI문고.
최초의 초지능체의 본성과 그 존재론적인 지위가 무엇인가라는 문제는 특이점주의의 타당성이라는 또 다른 문제로 이어진다. 인간이 생물학적 한계를 넘어서고 심지어 죽음을 극복할 수 있다는 커즈와일의 주장은 인간 뇌의 복사본인 에뮬레이션이 원래의 인간 뇌와 동일한 것이며 디지털 환경을 옮겨 다니더라도 그 동일성을 유지할 수 있다는 믿음에 기반한 것이다. 그러나 이런 기대는 현재 과학기술의 수준에서는 지지될 수 없는 형이상학적인 믿음에 가깝다. 따라서 특이점 시대에 대한 그의 장밋빛 전망의 상당 부분은 과학적 예측이라기보다는 기술 유토피아적인 희망 사항에 가깝다고 할 수 있다.
－01_“커즈와일의 가속주의와 하라리의 감속주의” 중에서
초지능은 앞서 언급한 것처럼, 일반 인공지능 수준의 인공물 다음에 올 것으로 추정되는 인공물의 지능 수준을 말한다. 초지능의 개념과 그 이론적 가능성 및 그 효과에 대해 체계적으로 논의한 철학자 닉 보스트롬은 ‘초지능’을 “모든 관심 영역에서 인간의 인지 능력을 상회하는 지능”으로 정의하면서, 초지능이 반드시 갖추어야 할 능력으로 학습할 수 있는 능력, 불확실성과 확률적 정보를 효과적으로 다루는 능력, 다양한 추론에 사용하기 위해 감각 정보와 내부 상태로부터 유용한 개념을 뽑아 조합하는 능력을 들고 있다. 보스트롬의 정의에서 알 수 있듯이, 초지능은 강한 인공지능이나 일반 인공지능과 마찬가지로 인간의 인지 능력을 비교의 준거로 삼아 정의된다고 할 수 있다.
－03_“일반 인공지능, 강한 인공지능, 인공 초지능” 중에서
그러나 이와 같이 초지능에 의해 발생할 것으로 예견되는 문제를 자율성과 우월성을 둘러싼 인간과 초지능 간의 적대적 대결에 기반해 서술하는 관점과는 다른 관점 역시 존재한다. 이런 관점에 따르면, 초지능이 야기할 것으로 예상되는 문제는 인간의 욕망을 실현할 도구가 일으킨 의도하지 않은 유해한 결과를 예측하거나 통제하지 못하는 문제로 간주되며, 따라서 앞의 관점과 다르게 생사를 건 인간과 초지능[체] 간의 투쟁을 주요한 위험 요인으로 지목하지 않는다. 이처럼 초지능의 문제를 인간의 꿈과 욕망을 실현하려는 도구가 일으키는 의도하지 않은 유해한 결과의 문제로 보는 관점은 스튜어트 러셀이 지적한 것처럼 고대 그리스 신화 속의 미다스 왕의 이야기와 닮았다고 할 수 있다.
－06_“초지능의 위험성을 보는 두 관점” 중에서
이런 뒤피의 제안은 초지능 문제에 대한 진단과 처방에도 적용될 수 있다. 초지능의 문제 역시 앞선 두 사건처럼 취약성과 안전성이라는 이중의 특성을 가진 체계가 어떤 극단적 사건 또는 누적된 원인을 통해 임계점을 넘으면서 취약성을 드러내고 그로 인해 체계가 급격한 변화를 드러낸다는 점을 보여 주기 때문이다. 가령, 초지능의 문제는 인공지능의 개발 단계에서 순환적 자기개선 기술의 발달과 같은 임계점을 기점으로 가치 정렬, 자기 개선 능력에 대한 통제와 같은 기술 사회 체계의 구조적 취약성이 드러날 것으로 예상되는 문제라고 할 수 있다.
－09_“초지능 문제의 다면성과 다차원성” 중에서