우리는 지난 포스팅을 통해 복잡한 다변수 함수에서 행렬을 이용해 미분값을 구하는 법을 학습했습니다.
하지만 단순히 미분값을 구하는 것보다 더 중요한 것은, 그 미분값이 '0'이 되는 지점이 우리에게 어떤 의미를 갖느냐는 점입니다.
오늘은 함수의 기울기가 멈추는 임계점의 개념과, 그것이 실제 최적화 문제에서 어떻게 극대 혹은 극소로 판정되는지 그 수학적 기초를 분석해 보겠습니다.
변화가 멈추는 지점, 임계점(Critical Point)의 정의
수학에서 임계점이란 함수의 미분값이 0이 되거나, 미분이 불가능한 지점을 의미합니다.
그래프상으로 보면 함수의 기울기가 평평해지는 지점으로, 이는 곧 변화가 일시적으로 멈춘 상태를 뜻합니다.
우리가 산을 오를 때 정상에 서거나 골짜기의 가장 낮은 곳에 도달했을 때 발바닥 아래 지면이 평평해지는 것과 같은 이치입니다.
인공지능 학습에서 오차 함수(Loss Function)를 최소화할 때, 우리는 바로 이 임계점을 찾기 위해 경사하강법을 사용합니다.
모든 극값은 임계점이지만, 모든 임계점이 반드시 극값인 것은 아니라는 점을 명심해야 합니다.
일계 도함수 판정법과 함수의 증감 관계
임계점을 찾았다면, 다음 단계는 이 지점이 올라가는 도중인지 내려가는 도중인지 판정하는 것입니다.
일계 도함수(First Derivative) 판정법은 임계점 좌우에서 미분값의 부호가 어떻게 변하는지를 관찰합니다.
미분값이 양수(+)에서 음수(-)로 변하면 해당 지점은 주변보다 높은 '극대'가 되며, 반대로 음수에서 양수로 변하면 '극소'가 됩니다.
이 판정법은 함수의 흐름을 직관적으로 보여주며, 가장 기초적인 최적화 판별 도구로 활용됩니다.
하지만 부호 변화가 없는 지점은 단순히 변곡점이거나 정체 구간일 수 있으므로 주의 깊은 관찰이 필요합니다.
이계 도함수와 곡률을 이용한 극대·극소 확정
변화율의 변화율, 즉 이계 도함수(Second Derivative)를 사용하면 더욱 명확하게 극값을 판정할 수 있습니다.
임계점 $f'(x)=0$인 지점에서 이계 도함수 $f''(x)$의 값이 양수라면, 그래프는 아래로 볼록한 모양을 가집니다.
반대로 이계 도함수가 음수라면 위로 볼록한 모양이 되어 그 지점은 극대점이 됩니다.
이것은 단순히 기울기가 0인 것을 넘어, 그 주변의 '곡률'이 어떤 방향으로 휘어 있는지를 정량적으로 분석하는 것입니다.
아래 표는 도함수의 상태에 따른 함수의 기하학적 의미를 정리한 내용입니다.
| 미분 조건 | 기하학적 상태 | 판정 결과 |
|---|---|---|
| $f'(c)=0, f''(c) > 0$ | 아래로 볼록 (Concave Up) | 극소(Local Minimum) |
| $f'(c)=0, f''(c) < 0$ | 위로 볼록 (Concave Down) | 극대(Local Maximum) |
| $f'(c)=0, f''(c) = 0$ | 곡률의 변화 지점 | 판정 불가 (변곡점 가능성) |
다변수 함수에서의 안장점(Saddle Point) 문제
실제 인공지능이 다루는 고차원 함수에서는 '안장점'이라는 복병이 자주 등장합니다.
안장점은 어떤 방향에서는 극소이지만, 다른 방향에서는 극대인 지점을 말합니다.
말의 안장 모양을 닮았다고 해서 붙여진 이름인데, 이곳에서는 미분값이 0 임에도 불구하고 우리가 원하는 최솟값이 아닙니다.
이러한 안장점은 학습 속도를 늦추거나 모델을 정체하게 만드는 주범이 됩니다.
최신 최적화 알고리즘들은 이러한 안장점을 빠르게 탈출하여 더 낮은 곳으로 향하도록 설계되어 있습니다.
함수 최적화와 인공지능 학습의 연결고리
결국 우리가 수학적 기초를 배우는 이유는 모델의 손실을 가장 작게 만드는 '전역 최솟값(Global Minimum)'을 찾기 위해서입니다.
임계점 판정법은 단순히 종이 위의 계산이 아니라, 컴퓨터가 수천억 개의 파라미터를 조정하는 기준이 됩니다.
우리가 설계한 신경망이 복잡할수록 임계점의 개수는 기하급수적으로 늘어납니다.
수학적 기초가 탄탄할 때, 우리는 단순히 알고리즘을 돌리는 것을 넘어 모델의 학습 상태를 진단하고 개선할 수 있습니다.
최적화를 이해하는 사고의 확장
임계점과 극대·극소 판정은 세상을 최적의 상태로 효율화하려는 수학적 노력의 결과물입니다.
함수의 정점에서 변화를 관찰하는 이 관점은 인공지능뿐만 아니라 경제학, 물리학 등 모든 공학의 기초가 됩니다.
복잡한 수식 이면에 숨겨진 '최적의 지점'을 찾아가는 즐거움을 느껴보시길 바랍니다.
지금까지 임계점과 극대·극소 판정법이 함수 최적화에서 갖는 의미를 심도 있게 살펴보았습니다.
어떠한 변화도 결국은 멈추는 지점이 있고, 그 지점이 가장 높은 곳인지 낮은 곳인지 구분하는 것이 분석의 핵심입니다.
오늘 정리한 수학적 도구들이 여러분의 공학적 통찰력을 한 단계 높여주는 계기가 되기를 바랍니다.