인공지능의 미래와 수학적 통찰, 블랙박스 모델을 넘어 설명 가능한 AI(XAI)로

딥러닝 모델이 "이 환자는 암입니다"라고 진단했다고 가정합니다. 정확도가 95%인 모델입니다. 그런데 의사가 묻습니다. "왜 암이라고 판단했나요?" 모델은 대답하지 못합니다. 수천 개의 레이어와 수백만 개의 가중치가 복잡하게 얽혀 있어서 어떤 특징을 보고 판단했는지 추적이 불가능합니다.

이게 블랙박스 문제입니다. 정확하지만 설명할 수 없는 모델. 의료, 금융, 법률 같은 고위험 분야에서 이 문제는 단순한 기술적 한계가 아닙니다. 책임 소재와 신뢰의 문제입니다. 오늘은 이 블랙박스를 열려는 시도인 설명 가능한 AI(XAI)의 원리와 수학적 도구들을 따라가 보겠습니다.

인공지능의 미래와 수학적 통찰, 블랙박스 모델을 넘어 설명 가능한 AI(XAI)로

📌 목차

• 블랙박스 문제 — 정확하지만 설명할 수 없는 모델
• XAI란 무엇인가 — 성능과 설명 가능성의 균형
• SHAP — 게임 이론으로 변수 기여도 계산하기
• LIME — 복잡한 모델을 국소적으로 근사하기
• Grad-CAM — 이미지에서 모델이 본 부위 시각화하기
• XAI의 미래와 한계

블랙박스 문제 — 정확하지만 설명할 수 없는 모델

결정 트리(Decision Tree)나 선형 회귀는 판단 근거가 명확합니다. "나이 35세 이상이고 소득 5천만 원 이상이면 대출 승인"처럼 사람이 읽을 수 있는 규칙으로 표현됩니다. 틀렸을 때 어디서 틀렸는지 찾을 수 있습니다.

딥러닝은 다릅니다. 비선형 활성화 함수가 수백 층에 걸쳐 쌓이면 특정 입력값이 최종 결과에 어떤 경로로 영향을 줬는지 추적이 거의 불가능합니다. 모델이 정답을 맞혔는데 그게 데이터의 본질적 특징 때문인지, 아니면 학습 데이터의 우연한 노이즈 때문인지 알 수 없습니다.

실제 사례들:

의료: AI가 피부암을 진단했는데 실제로는 이미지 옆에
     찍힌 자를 보고 판단했던 경우

채용: AI가 이력서를 평가했는데 여성 지원자를
     체계적으로 낮게 평가한 편향이 발견된 경우

금융: 대출 거절 이유를 설명할 수 없어 법적 문제가
     된 경우 (EU GDPR은 자동 결정에 설명 의무 부과)

→ 블랙박스는 성능 문제가 아니라 책임과 신뢰의 문제

EU의 GDPR(일반 데이터 보호 규정)은 자동화된 의사결정에 대해 설명을 요구할 권리를 명시하고 있습니다. "왜 대출을 거절했나요?"라는 질문에 "모델이 그렇게 판단했습니다"는 법적으로 충분한 답변이 아닙니다. XAI는 선택이 아니라 규제 요건이 되고 있습니다.

---

XAI란 무엇인가 — 성능과 설명 가능성의 균형

설명 가능한 AI(XAI, eXplainable AI)는 모델의 결과에 대해 인간이 이해할 수 있는 근거를 제공하는 기술입니다. 여기서 데이터 과학자들이 마주하는 딜레마가 있습니다. 모델의 복잡도와 설명 가능성이 반비례한다는 겁니다.

모델 복잡도 vs 설명 가능성:

선형 회귀: 설명 쉬움 ↑↑ / 복잡한 패턴 못 잡음 ↓↓
결정 트리: 설명 쉬움 ↑ / 성능 보통 →
랜덤 포레스트: 설명 보통 → / 성능 좋음 ↑
딥러닝: 설명 어려움 ↓↓ / 성능 최고 ↑↑

→ XAI의 목표: 딥러닝의 성능을 유지하면서
→ 사후적으로 설명을 제공하는 방법을 찾는 것

XAI 접근 방식은 크게 두 가지로 나뉩니다. 모델 자체를 설명 가능하게 설계하는 내재적 방법(Attention Mechanism 등)과, 이미 학습된 블랙박스 모델을 사후적으로 분석하는 사후적 방법(SHAP, LIME, Grad-CAM)입니다. 현실에서는 대부분 사후적 방법을 씁니다. 이미 만들어진 고성능 모델을 버리기 아깝기 때문입니다.

---

SHAP — 게임 이론으로 변수 기여도 계산하기

SHAP(SHapley Additive exPlanations)은 게임 이론의 샤플리 값(Shapley Value)에서 착안했습니다. 여러 플레이어가 협력해서 얻은 보상을 각 플레이어의 기여도에 따라 공정하게 나누는 방법입니다.

머신러닝에 적용하면 이렇습니다. 예측값을 "보상", 각 변수를 "플레이어"로 보고 각 변수가 예측값에 얼마나 기여했는지를 계산합니다.

예시: 집값 예측 모델
평균 예측값: 3억원
실제 예측값: 4억 2천만원

SHAP 기여도:
방 개수(4개): +5000만원 기여
위치(강남): +8000만원 기여
연식(5년): +2000만원 기여
면적(85㎡): -3000만원 기여

3억 + 5000 + 8000 + 2000 - 3000 = 4억 2천만원 ✓
→ 각 변수의 기여도 합이 예측값과 일치

SHAP의 장점은 모든 변수의 기여도 합이 실제 예측값과 정확히 일치한다는 수학적 보장이 있다는 겁니다. 어떤 변수가 예측을 올렸는지 내렸는지, 얼마나 기여했는지를 직관적으로 볼 수 있습니다. 모델의 판단이 헷갈릴 때 SHAP 수치를 확인하면 어떤 변수가 결정적 역할을 했는지 파악할 수 있습니다.

---

LIME — 복잡한 모델을 국소적으로 근사하기

LIME(Local Interpretable Model-agnostic Explanations)은 다른 접근을 씁니다. 복잡한 모델 전체를 설명하려 하지 않고, 특정 예측 하나만 국소적으로 설명합니다.

LIME 작동 방식:

1. 설명할 데이터 포인트 X 선택
2. X 근처에 무작위 샘플 생성 (X를 약간씩 변형)
3. 블랙박스 모델로 각 샘플의 예측값 계산
4. 이 샘플들에 선형 모델을 피팅
5. 선형 모델의 계수 = X에서의 변수 중요도

→ 전체 모델은 복잡해도
→ X 주변에서는 선형으로 근사할 수 있다는 가정

LIME은 특정 예측 하나에 대한 국소적 설명을 제공합니다. "이 환자가 고위험으로 분류된 이유는 이 근처 데이터에서 혈압과 당수치가 가장 중요했기 때문"이라는 식입니다. 단점은 다른 데이터 포인트에서는 다른 설명이 나올 수 있어서 일관성이 부족할 수 있다는 점입니다.

---

Grad-CAM — 이미지에서 모델이 본 부위 시각화하기

이미지 분류에서는 Grad-CAM(Gradient-weighted Class Activation Mapping)이 많이 쓰입니다. 모델이 이미지의 어느 부위를 보고 판단했는지를 히트맵으로 보여줍니다.

Grad-CAM 원리:

1. 마지막 컨볼루션 레이어의 특성 맵(Feature Map) 추출
2. 특정 클래스에 대한 기울기(Gradient) 계산
3. 기울기로 특성 맵에 가중치를 부여
4. 가중합으로 어느 부위가 중요했는지 히트맵 생성

의료 활용 예시:
AI가 폐암 진단 → Grad-CAM으로 확인
종양 부위 강조 → 신뢰할 수 있는 진단
갈비뼈 부위 강조 → 모델 오류, 재학습 필요

Grad-CAM이 강력한 이유는 모델 구조를 수정하지 않고 기존 모델에 그대로 적용할 수 있다는 점입니다. 의사가 AI 진단의 근거를 시각적으로 확인하고 검증할 수 있어서 의료 AI의 신뢰성 검증에 많이 쓰입니다.

---

XAI의 미래와 한계

XAI 기술이 빠르게 발전하고 있지만 한계도 있습니다. SHAP은 계산 비용이 높습니다. 변수가 많을수록 모든 조합의 기여도를 계산해야 해서 시간이 오래 걸립니다. LIME은 국소적 근사의 정확도가 데이터마다 다를 수 있어 일관성 문제가 있습니다.

XAI 주요 기법을 정리하면 이렇습니다.

기법	원리	장단점
SHAP	게임 이론 샤플리 값	수학적으로 공정. 계산 비용 높음
LIME	국소 선형 근사	빠르고 직관적. 일관성 부족
Grad-CAM	기울기 기반 히트맵	이미지에 강력. 구조 의존적
Attention	모델 내재적 가중치	구조 변경 필요. Transformer에 적합
Counterfactual	"만약 X가 달랐다면?"	직관적 설명. 생성 어려움

앞으로 AI가 의료, 법률, 금융에서 더 깊이 쓰일수록 XAI는 선택이 아닌 필수가 됩니다. 이 연재에서 다룬 수학들이 XAI에서도 만납니다. 편미분과 기울기는 Grad-CAM의 핵심이고, 확률론과 정보 이론은 SHAP의 기반입니다. 모델을 잘 만드는 것만큼 모델의 판단을 설명할 수 있는 능력이 데이터 과학자에게 점점 더 중요해지고 있습니다.