미리보기
미리듣기
인공지능의 불투명성이 초래하는 사회적 위험을 지적하고, 이를 극복하기 위한 설명 가능 인공지능(XAI) 기술을 소개한다. 신뢰성과 공정성을 확보하기 위한 기술적, 제도적, 사회적 해법을 제시하며 AI의 투명한 활용을 위한 방향을 제시한다.
또한 전문가 시스템의 복잡성에도 이유가 있었다. 기호 기반 접근법의 개별적인 규칙 하나하나는 명확하고 직관적으로 이해할 수 있지만 규칙의 수가 많아질수록 시스템 전체를 인간이 이해하는 데 어려움이 커졌다. MYCIN의 경우에도 수백 개의 규칙이 얽혀있었기 때문에 규칙 간의 상호 작용과 결과를 인간의 능력으로 추적하기 쉽지 않았다. 아직 설명 가능 인공지능이라는 명칭이 붙은 것은 아니었지만 이들 문제를 보완하고자 1970년대의 개발자들이 고안한 설명 기능이 설명 가능 인공지능의 뿌리라고 할 수 있다. 그러나 이 시기에 설명 기능은 크게 주목받지는 못했다. 그 이유는 당시 주로 사용된 인공지능의 방법론인 기호 기반 접근법이 명확한 규칙에 기반했기 때문에 상대적으로 이해하기 용이했기 때문이다.
－01_“설명 가능 인공지능의 시작” 중에서
많은 딥러닝 모델들은 확률적 요소를 포함한다. 예를 들어 드롭아웃 같은 기술은 과적합을 방지하기 위해 일부 뉴런을 무작위로 비활성화한다. 확률적 요소는 결과를 예측하기 어렵게 만든다. 또한 많은 딥러닝 신경망은 비선형(non-linear)적이다. 뉴런의 작동에 중요한 활성화 함수를 대부분 비선형 함수를 사용하기 때문이다. 비선형인 경우에는 입력과 출력의 관계가 단순하지 않기 때문에 직관적으로 이해하기 어렵다. 현대 AI의 이 상황을 전문용어로 성능(Performance)과 이해 가능성(Interpretability)의 사이에 상충 관계(Trade-off)가 있다고 표현한다. 예를 들면 랜덤 포레스트(Random Forest), 서포트 백터 머신(Support Vector Machine) 등 전통적인 알고리즘들은 이해 가능성이 높고 복잡성이 낮지만 일부를 제외하면 성능이 떨어지는 편이다. 반면 트랜스포머(Transformer), 거대 언어 모델(LLM: Large Language Model)과 같은 딥러닝 모델은 높은 성능을 보여주지만 복잡하다. 그 복잡성 때문에 이해 가능성이 낮고 내부 작동 과정을 인간이 이해하는 데 한계가 있다.
－03_“불투명성의 원인과 설명 가능 인공지능의 재조명” 중에서
전역적 설명은 전반적인 패턴을 설명할 수 있지만 특정 입력값에 대한 구체적인 설명을 제공하는 데는 한계를 보인다. 전체적인 구조와 작동 과정을 일반화하는 과정에서 세부적인 디테일이 소거되기 쉽기 때문이다. 그 결과 개별 사례에 대한 설명력이 약화될 위험이 있다. 개별 사례에 대한 설명이 필요한 경우 지역적 설명이 요구된다. 예를 들어 특정 환자에 대해 왜 특정 질병을 예측했는지 설명해야 하는 경우나 금융 대출 심사에서 어떤 요인이 대출 승인 또는 거절에 결정적인 영향을 미쳤는지를 분석해야 하는 경우에는 개별 예측값에 대한 구체적인 설명이 필요하다.
－06_“설명 가능 인공지능 모델의 분류” 중에서
장래에 이러한 설명 가능 인공지능 모델과 도구들은 AI 시스템이 사회적 영향을 미칠 가능성을 고려하고 투명성을 확보함으로써 AI의 책임 있는 사용을 촉진하는 데 중추적인 역할을 하게 될 것이다. 그러나 여전히 많은 도전 과제가 남아있다. 예를 들어 설명 가능성은 기술적 관점에서만 해결될 수 있는 문제가 아니라 사회적, 문화적, 윤리적 맥락에서의 이해와 조화가 필요하다. AI 모델의 공정성을 평가하는 기준은 국가나 문화에 따라 다를 수 있으며 모든 맥락에서 일괄적으로 적용 가능한 솔루션을 개발하기는 어렵다. 이런 문제들을 해결해나가는 것이 설명 가능 인공지능에 앞에 놓인 핵심적인 과제다.
－09_“사회를 위한 설명 가능 인공지능” 중에서
교보문고: