설명 가능성(Explainability)

AI 설명 가능성은 인공지능(AI) 시스템이 내리는 결정과 예측을 이해하고 해석할 수 있는 능력을 의미합니다. AI와 머신러닝 알고리즘이 점점 더 복잡해지고, 특히 딥러닝과 신경망의 등장으로 인해 이들은 종종 “블랙박스”처럼 동작하게 되었습니다. 이는 모델을 개발한 엔지니어나 데이터 과학자조차도 특정 입력이 어떻게 특정 출력으로 이어지는지 완전히 이해하지 못할 수 있음을 뜻합니다. AI 설명 가능성은 이러한 과정을 밝혀내어, AI 시스템을 더 투명하게 만들고 그 결과를 사람이 더 잘 이해할 수 있게 하는 데 목적이 있습니다.

AI 설명 가능성이 중요한 이유

신뢰와 투명성

AI 시스템이 널리 받아들여지고 신뢰받기 위해서는, 특히 의료, 금융, 법률 시스템과 같은 중요한 분야에서는 이해관계자들이 어떻게 결정이 내려지는지를 알아야 합니다. 예를 들어, 머신러닝 알고리즘이 의료 치료를 추천하거나 대출 신청을 승인할 때, 사용자가 이러한 결정의 근거를 알 수 있어야 공정성을 보장하고 신뢰를 쌓을 수 있습니다.

규제 요건

많은 산업에서는 의사결정 과정의 투명성을 요구하는 규제 프레임워크가 적용됩니다. 이러한 규정은 조직이 자동화된 결정에 대한 설명을 제공하도록 요구하며, 특히 개인에게 중대한 영향을 미치는 경우 더욱 그러합니다. 이를 준수하지 않을 경우 법적 제재나 소비자 신뢰 하락으로 이어질 수 있습니다.

편향 식별 및 완화

편향된 데이터로 학습된 AI 시스템은 그 편향을 유지하거나 심지어 강화할 수 있습니다. 설명 가능성은 개발자 및 이해관계자가 AI 모델 내의 불공정하거나 편향된 의사결정을 식별할 수 있도록 해줍니다. 결정 방식에 대한 이해를 통해, 조직은 이러한 편향을 바로잡고 다양한 집단에 대해 공정하게 AI 시스템이 동작하도록 할 수 있습니다.

모델 성능 개선

AI 모델의 내부 작동 원리를 이해하면 데이터 과학자가 모델 성능을 최적화할 수 있습니다. 어떤 특성이 결정에 영향을 미치는지 해석함으로써, 모델을 미세 조정하고 정확도를 높이며 새로운 데이터에도 잘 일반화되도록 할 수 있습니다.

AI 설명 가능성은 어떻게 달성되는가?

AI 설명 가능성을 달성하려면 해석 가능한 모델 설계와 복잡한 모델에 대한 사후 해석 기법을 병행해야 합니다.

해석 가능성 vs. 설명 가능성

• **해석 가능성(Interpretability)**은 AI 시스템이 내린 결정의 원인을 사람이 얼마나 잘 이해할 수 있는지를 의미합니다.
• **설명 가능성(Explainability)**은 한 단계 더 나아가, 결정에 이르게 된 요인과 논리를 명시적으로 설명합니다.

두 개념은 밀접하지만, 해석 가능성은 모델 자체의 투명성에 초점을 맞추고, 설명 가능성은 모델의 출력에 대한 구체적 설명을 제공하는 데 중점을 둡니다.

해석 가능한 모델

해석 가능한 모델은 본질적으로 이해하기 쉬운 모델입니다. 예시로는 다음이 있습니다.

• 선형 회귀(Linear Regression): 입력 특성과 출력 간의 관계가 선형적이어서, 각 특성의 계수로 영향도를 쉽게 해석할 수 있습니다.
• 결정 트리(Decision Trees): 각 노드가 하나의 특성을, 가지가 결정 규칙을 나타내는 시각적 의사결정 구조입니다.
• 규칙 기반 시스템(Rule-Based Systems): 사람이 이해할 수 있는 규칙 집합으로 의사결정을 내리는 시스템입니다.

이러한 모델은 투명성을 위해 일부 예측 성능을 양보할 수 있지만, 설명 가능성이 중요한 경우 매우 가치가 있습니다.

사후 설명(Post-Hoc Explanations)

딥러닝 신경망처럼 해석하기 어려운 복잡한 모델에는 사후 설명 기법이 활용됩니다. 이들은 예측이 이루어진 후, 모델의 동작을 분석하여 설명을 제공합니다.

모델 독립적 방법(Model-Agnostic Methods)

이 방법들은 모델의 내부 구조에 접근하지 않고 어떤 유형의 모델에도 적용할 수 있습니다.

LIME(Local Interpretable Model-Agnostic Explanations)

LIME은 어떠한 분류기의 예측도 로컬하게 해석 가능한 모델로 근사하여 설명하는 대표적 기법입니다. 특정 예측에 대해 입력 데이터를 조금씩 변형시키고 결과 출력을 관찰하여, 어떤 특성이 결정에 가장 큰 영향을 주는지 파악합니다.

SHapley Additive exPlanations (SHAP)

SHAP 값은 협력 게임 이론에 기반하여 특성의 중요도를 통합적으로 측정합니다. 모든 특성 조합을 고려해 각 특성이 예측에 기여한 정도를 정량화합니다.

전체(글로벌) vs. 개별(로컬) 설명

• 글로벌 설명: 모델의 전체적인 동작 방식을 모든 데이터 포인트에 대해 설명합니다.
• 로컬 설명: 개별 예측에 초점을 맞춰, 특정 인스턴스에서 모델이 왜 그런 결정을 내렸는지 설명합니다.

AI 설명 가능성에 관한 연구

AI 설명 가능성은 AI 시스템이 인간 의사결정 과정에 점차 통합됨에 따라 큰 관심을 받고 있습니다. 다음은 이 중요한 주제를 다룬 최근 과학 논문들입니다.

1. Explainable AI Improves Task Performance in Human-AI Collaboration (발행일: 2024-06-12)
   저자: Julian Senoner, Simon Schallmoser, Bernhard Kratzwald, Stefan Feuerriegel, Torbjørn Netland
   이 논문은 인간-AI 협업 시 설명 가능한 AI가 작업 수행 능력을 어떻게 향상시키는지 탐구합니다. 저자들은 기존 AI가 블랙박스로 작동하여 인간이 자신의 지식과 AI 예측을 비교/검증하기 어렵다고 지적합니다. 설명 가능한 AI, 특히 시각적 히트맵 방식을 도입하면 작업 성과가 개선됨을 발견했습니다. 공장 근로자와 방사선 전문의가 참여한 두 실험에서, 설명 가능한 AI 사용 시 오류율이 크게 감소함을 확인했습니다. 이 연구는 실제 업무에서 설명 가능한 AI가 의사결정 정확도를 높일 가능성을 강조합니다. 더 읽기

2. “Weak AI” is Likely to Never Become “Strong AI”, So What is its Greatest Value for Us? (발행일: 2021-03-29)
   저자: Bin Liu
   이 논문은 AI의 능력과 미래 가능성을 둘러싼 지속적인 논쟁을 다룹니다. “약한 AI”와 “강한 AI”를 구분하며, 강한 AI는 실현 가능성이 낮지만 약한 AI가 상당한 가치를 지닌다고 주장합니다. 저자는 AI 연구의 분류 기준과 AI 현재 능력의 사회적 함의를 논의합니다. 이 논문은 사회에서 AI가 가지는 역할에 대한 철학적 관점을 제공합니다. 더 읽기

3. Understanding Mental Models of AI through Player-AI Interaction (발행일: 2021-03-30)
   저자: Jennifer Villareale, Jichen Zhu
   이 연구는 AI 기반 게임에서 개인이 AI 시스템과 상호작용하며 어떻게 AI의 멘탈 모델을 형성하는지 조사합니다. 저자들은 이러한 상호작용이 AI 사용자의 멘탈 모델 변화에 대한 귀중한 통찰을 제공한다고 제안합니다. 사례 연구를 통해, 게임이 설명 가능한 AI 연구에 유익함을 보여주며, 이러한 상호작용이 사용자들의 AI에 대한 이해를 높일 수 있음을 시사합니다.

4. From Explainable to Interactive AI: A Literature Review on Current Trends in Human-AI Interaction (발행일: 2024-05-23)
   저자: Muhammad Raees, Inge Meijerink, Ioanna Lykourentzou, Vassilis-Javed Khan, Konstantinos Papangelis
   이 문헌 리뷰는 설명 가능한 AI에서 상호작용형 AI로의 전환을 다루며, AI 시스템 개발 및 운영에서 인간의 참여 중요성을 강조합니다. 논문은 인간-AI 상호작용의 현재 동향과 사회적 우려를 검토하며, 설명 가능하고 상호작용이 가능한 AI 시스템의 필요성을 제시합니다. 이 리뷰는 해당 분야의 미래 연구를 위한 로드맵을 제공합니다.