AI 수학 (Mathematics for AI)

인공지능은 데이터에서 패턴을 찾아 예측하는 기술입니다. 그 핵심에는 수학이 있습니다. 이 페이지에서는 AI를 이해하는 데 필요한 수학적 개념을 기초부터 쌓아 올립니다.

스마트폰의 얼굴 인식, 번역기, 추천 알고리즘 — 이 모든 것의 뒤에는 행렬 곱셈, 미분, 확률 계산이 돌아가고 있습니다.

이런 곳에 쓰여요

선수 지식: 미적분학, 선형대수학, 확률론

난이도: ★★★★☆ (대학교)

문제를 수학 문제로 바꾸기

AI를 공부할 때 가장 먼저 해야 할 일은 현실의 문제를 수학의 언어로 번역하는 것입니다. 번역이 끝나면 나머지는 거의 모두 함수, 벡터, 확률, 최적화 문제로 바뀝니다. 즉 AI는 마법이 아니라, 잘 정의된 수학 문제를 빠르게 반복해서 푸는 과정입니다.

특성, 라벨, 모델, 손실 함수

현실 문제를 수학으로 옮길 때는 몇 가지 기본 객체를 먼저 정해야 합니다.

벡터와 행렬: AI의 언어

AI에서 모든 데이터는 벡터로, 모든 변환은 행렬로 표현됩니다. 이 섹션에서는 AI에서 가장 많이 쓰이는 선형대수 개념을 복습합니다.

데이터를 벡터로 표현하기

AI 모델에 데이터를 입력하려면, 먼저 데이터를 숫자들의 나열인 벡터(Vector)로 변환해야 합니다.

• 이미지: 28×28 흑백 이미지는 각 픽셀의 밝기값을 나열하면 784차원 벡터가 됩니다.
• 텍스트: 문장을 단어 빈도 벡터(각 단어가 몇 번 나왔는지)나 임베딩 벡터(의미를 수치로 변환)로 표현합니다.
• 표 형태 데이터: 나이, 키, 몸무게 등 각 행이 하나의 벡터입니다.

일반적으로, $n$개의 특성(feature)을 가진 데이터 하나는 $n$차원 벡터로 표현됩니다.

벡터의 내적과 노름

내적(Dot Product)은 두 벡터의 대응하는 성분끼리 곱한 뒤 합한 것으로, 두 벡터가 얼마나 같은 방향을 가리키는지를 측정합니다.

내적을 이용하면 두 벡터 사이의 각도를 구할 수 있고, 이를 통해 유사도를 측정할 수 있습니다.

코사인 유사도(Cosine Similarity)는 검색 엔진과 추천 시스템에서 널리 사용되는 유사도 지표입니다.

값이 1에 가까우면 두 벡터가 비슷한 방향, 0이면 직교(관련 없음), -1이면 반대 방향입니다.

L2 노름(Norm)은 벡터의 크기(길이)를 나타냅니다.

행렬 곱셈 = 변환

행렬 곱(Matrix Multiplication)은 입력 데이터를 새로운 표현으로 변환하는 연산입니다. 신경망에서 각 층이 하는 일의 핵심이 바로 행렬 곱입니다.

여기서 $\mathbf{X}$는 입력 데이터, $\mathbf{W}$는 가중치 행렬, $\mathbf{Y}$는 변환된 출력입니다.

신경망의 각 층은 본질적으로 다음 세 단계로 이루어집니다.

1. 행렬 곱: 입력에 가중치 행렬을 곱함 ($\mathbf{W}\mathbf{x}$)
2. 편향 더하기: 결과에 편향 벡터를 더함 ($+ \mathbf{b}$)
3. 활성화 함수: 비선형 함수를 적용 ($\sigma(\cdot)$)

배치 처리(Batch Processing): 여러 데이터를 행렬로 묶으면 한 번의 행렬 곱으로 동시에 계산할 수 있습니다. GPU가 AI 학습에 빠른 이유는, GPU가 대규모 행렬 곱셈에 특화되어 있기 때문입니다.

행렬 연산과 AI 응용

다변수 함수와 그래디언트

다변수 함수

다변수 함수(Multivariable Function)란 여러 개의 입력 변수를 받아 하나의 실수값을 출력하는 함수입니다. 수학적으로 $f: \mathbb{R}^n \to \mathbb{R}$로 표기합니다.

예를 들어 $f(x, y) = x^2 + y^2$은 두 개의 변수 $x$, $y$를 받아 하나의 값을 출력합니다. 이 함수는 3차원 공간에서 아래로 볼록한 그릇 모양의 곡면을 이룹니다.

편미분

편미분(Partial Derivative)은 다변수 함수에서 하나의 변수만 변화시키고 나머지 변수는 고정한 채로 미분하는 것입니다. 직관적으로, 한 방향으로만 기울기를 측정하는 것입니다.

예를 들어 $f(x,y) = x^2 + 3xy$일 때, $y$를 상수로 보고 $x$에 대해 미분하면 $\frac{\partial f}{\partial x} = 2x + 3y$이고, $x$를 상수로 보고 $y$에 대해 미분하면 $\frac{\partial f}{\partial y} = 3x$입니다.

그래디언트 벡터

그래디언트(Gradient)는 모든 편미분을 모아 하나의 벡터로 만든 것입니다.

그래디언트의 핵심 성질: 그래디언트 벡터는 함수값이 가장 가파르게 증가하는 방향을 가리킵니다. 따라서 반대 방향인 $-\nabla f$는 함수값이 가장 빠르게 감소하는 방향입니다. 이 성질이 뒤에서 다룰 경사하강법의 핵심 아이디어가 됩니다.

야코비 행렬과 헤시안

그래디언트를 확장하면, 다변수 함수의 미분을 행렬로 표현할 수 있습니다. 이를 통해 여러 입력과 여러 출력을 가진 복잡한 함수의 변화를 체계적으로 다룰 수 있습니다.

야코비 행렬 (Jacobian Matrix)

앞서 그래디언트는 스칼라 함수($f: \mathbb{R}^n \to \mathbb{R}$)의 미분이었습니다. 그렇다면 벡터 함수($\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m$), 즉 여러 입력을 받아 여러 출력을 내는 함수의 미분은 어떻게 표현할까요? 이때 사용하는 것이 야코비 행렬(Jacobian Matrix)입니다.

$m$개의 출력과 $n$개의 입력을 가진 벡터 함수 $\mathbf{f}$의 야코비 행렬은 $m \times n$ 행렬로, 각 출력의 각 입력에 대한 편미분을 모아놓은 것입니다.

AI에서의 의미: 역전파의 연쇄법칙은 사실 야코비 행렬의 곱으로 표현됩니다. 각 층의 변환을 벡터 함수로 보면, 층을 통과할 때마다 야코비 행렬이 곱해져서 기울기가 전파됩니다.

헤시안 행렬 (Hessian Matrix)

헤시안 행렬(Hessian Matrix)은 스칼라 함수 $f: \mathbb{R}^n \to \mathbb{R}$의 2차 편미분을 모아놓은 행렬입니다. 그래디언트가 함수의 기울기(1차 변화)를 알려준다면, 헤시안은 기울기가 어떻게 변하는지(2차 변화), 즉 곡률(Curvature)을 알려줍니다.

AI에서의 역할:

• 뉴턴법(Newton's Method): 헤시안 정보를 활용하면 경사하강법보다 더 빠르게 수렴하는 최적화가 가능합니다.
• 손실 함수의 곡률 분석: 헤시안의 고유값을 보면 손실 곡면이 얼마나 가파른지, 어느 방향으로 평평한지 알 수 있습니다.
• 볼록성 판별: 헤시안이 모든 곳에서 양정치(Positive Definite)이면 함수는 볼록(Convex)합니다. 볼록 함수에서는 극소 = 최소이므로 최적화가 쉬워집니다.

최적화와 경사하강법

최적화 문제

최적화(Optimization)란 주어진 함수의 값을 최소(또는 최대)로 만드는 입력값을 찾는 문제입니다. AI에서는 대부분 손실 함수를 최소화하는 문제로 귀결됩니다.

볼록 함수

볼록 함수(Convex Function)란 함수 위의 임의의 두 점을 잇는 선분이 항상 함수 그래프 위에 놓이는 함수입니다. 수학적으로, 임의의 $\mathbf{x}, \mathbf{y}$와 $0 \leq t \leq 1$에 대해 다음이 성립합니다.

볼록 함수의 가장 중요한 성질은 극소 = 최소라는 것입니다. 즉, 기울기가 0인 점을 찾으면 그것이 전체에서 가장 작은 값입니다. 이 성질 덕분에 경사하강법이 안정적으로 작동합니다.

라그랑주 승수법 맛보기

라그랑주 승수법(Method of Lagrange Multipliers)은 제약 조건이 있는 최적화 문제를 푸는 방법입니다. AI에서는 정규화, SVM(서포트 벡터 머신) 등에서 등장합니다.

문제: 제약 조건 $g(\mathbf{x}) = 0$ 하에서 $f(\mathbf{x})$를 최소화합니다.

방법: 라그랑지안 $\mathcal{L}(\mathbf{x}, \lambda) = f(\mathbf{x}) + \lambda g(\mathbf{x})$를 구성하고, $\nabla_{\mathbf{x}} \mathcal{L} = 0$과 $g(\mathbf{x}) = 0$을 동시에 풀어 최적점을 찾습니다. 여기서 $\lambda$는 라그랑주 승수라 하며, 제약 조건이 목적 함수에 미치는 영향의 크기를 나타냅니다.

경사하강법 (Gradient Descent)

경사하강법은 그래디언트의 반대 방향으로 조금씩 이동하면서 함수의 최솟값을 찾아가는 알고리즘입니다. 앞서 그래디언트가 가장 가파르게 증가하는 방향이라고 배웠으므로, 반대 방향으로 가면 가장 빠르게 감소합니다.

여기서 $\eta$는 학습률(Learning Rate)이라 부르며, 한 번에 얼마나 이동할지를 결정하는 양수입니다.

경사하강법의 변형

기본 경사하강법을 개선한 다양한 알고리즘이 있습니다.

• 확률적 경사하강법(SGD): 전체 데이터 대신 무작위로 뽑은 하나의 데이터로 기울기를 계산합니다. 빠르지만 불안정합니다.
• 미니배치 경사하강법(Mini-batch GD): 데이터를 작은 묶음(배치)으로 나누어 기울기를 계산합니다. SGD와 전체 GD의 절충안입니다.
• 모멘텀(Momentum): 이전 단계의 이동 방향을 기억하여 관성처럼 활용합니다. $\mathbf{v}_{t+1} = \beta \mathbf{v}_t + \eta \nabla f(\mathbf{x}_t)$, $\mathbf{x}_{t+1} = \mathbf{x}_t - \mathbf{v}_{t+1}$
• Adam: 모멘텀과 학습률 자동 조절을 결합한 알고리즘으로, 현재 가장 널리 쓰입니다. 각 파라미터마다 적응적으로 학습률을 조절합니다.

정보 이론 기초

정보량 (Information)

어떤 사건이 발생했을 때, 그 사건이 얼마나 "놀라운지"를 수치로 나타낸 것이 정보량(Information)입니다. 확률이 낮은 사건일수록 발생했을 때 더 놀랍고, 따라서 더 많은 정보를 담고 있습니다.

예를 들어, 확률 $\frac{1}{2}$인 사건의 정보량은 $-\log_2 \frac{1}{2} = 1$ 비트이고, 확률 $\frac{1}{8}$인 사건의 정보량은 $-\log_2 \frac{1}{8} = 3$ 비트입니다.

엔트로피 (Entropy)

엔트로피는 확률 분포 전체의 불확실성(평균 정보량)을 측정하는 양입니다.

엔트로피가 클수록 결과를 예측하기 어렵고, 작을수록 결과가 뻔합니다.

교차 엔트로피 (Cross-Entropy)

참 분포 $P$와 예측 분포 $Q$가 있을 때, 교차 엔트로피(Cross-Entropy)는 $Q$를 사용하여 $P$로부터 온 데이터를 인코딩하는 데 필요한 평균 비트 수입니다.

예측 분포 $Q$가 참 분포 $P$와 같으면 교차 엔트로피는 엔트로피 $H(P)$와 같아지고, 이것이 최소값입니다. $Q$가 $P$와 다를수록 교차 엔트로피는 커집니다.

KL 발산 (Kullback-Leibler Divergence)

KL 발산은 두 확률 분포 사이의 "거리"를 측정합니다. (엄밀히는 거리가 아닙니다. 대칭이 아니기 때문입니다.)

KL 발산은 항상 0 이상이며, $P = Q$일 때만 0이 됩니다.

손실 함수

손실 함수의 정의

손실 함수(Loss Function)란 모델의 예측값 $\hat{y}$과 실제값 $y$ 사이의 차이를 하나의 숫자로 측정하는 함수입니다. 모델의 학습 목표는 이 손실 함수를 최소화하는 것입니다. 앞서 배운 최적화와 경사하강법이 바로 이 손실 함수를 줄이기 위해 사용됩니다.

회귀 문제의 손실 함수

출력이 연속적인 값(예: 주택 가격, 온도)인 회귀(Regression) 문제에서는 다음 손실 함수를 사용합니다.

평균 제곱 오차(MSE, Mean Squared Error):

각 데이터의 예측 오차를 제곱하여 평균을 낸 것입니다. 큰 오차에 더 큰 벌점을 줍니다.

평균 절대 오차(MAE, Mean Absolute Error):

오차의 절대값을 평균낸 것입니다. 이상값(outlier)에 MSE보다 덜 민감합니다.

분류 문제의 손실 함수

출력이 범주(예: 고양이/개, 스팸/정상)인 분류(Classification) 문제에서는 정보이론에서 배운 교차 엔트로피를 사용합니다.

이진 교차 엔트로피 (Binary Cross-Entropy): 두 가지 분류(예/아니오)일 때:

여기서 $y \in \{0, 1\}$은 실제 라벨, $\hat{y} \in (0, 1)$은 모델이 예측한 확률입니다.

다중 분류 교차 엔트로피 (Categorical Cross-Entropy): 세 가지 이상의 분류일 때:

여기서 $K$는 분류의 개수, $y_k$는 원-핫 인코딩된 실제 라벨, $\hat{y}_k$는 각 클래스에 대한 예측 확률입니다.

문제 유형별 손실 함수 정리

선형 회귀와 로지스틱 회귀

신경망을 이해하기 전에, 가장 간단한 학습 모델부터 살펴봅시다. 이 모델들은 신경망의 특수한 경우이기도 합니다.

선형 회귀 (Linear Regression)

선형 회귀는 입력 $\mathbf{x}$로부터 연속적인 값 $y$를 예측하는 가장 기본적인 모델입니다. 예를 들어, 공부 시간으로 시험 점수를 예측하거나, 집의 면적으로 가격을 예측하는 문제입니다.

모델:

여기서 $\mathbf{w}$는 가중치 벡터, $b$는 편향(절편)입니다. 입력이 하나뿐이면 $\hat{y} = wx + b$, 즉 직선의 방정식이 됩니다.

손실 함수: 앞에서 배운 MSE(평균 제곱 오차)를 사용합니다.

정규방정식 (Normal Equation): 선형 회귀는 미분을 0으로 놓고 풀면 해를 수식으로 바로 구할 수 있습니다. 이것이 선형대수학의 힘입니다.

물론 경사하강법으로도 풀 수 있습니다. 가중치를 기울기의 반대 방향으로 반복적으로 업데이트합니다.

로지스틱 회귀 (Logistic Regression)

로지스틱 회귀는 입력 $\mathbf{x}$가 특정 클래스에 속할 확률을 예측하는 모델입니다. 이름에 "회귀"가 들어있지만, 실제로는 이진 분류(Binary Classification) 문제에 사용됩니다. 예를 들어, 이메일이 스팸인지 아닌지, 환자가 질병이 있는지 없는지를 판별합니다.

모델: 선형 회귀의 출력에 시그모이드 함수를 적용하여 확률값(0과 1 사이)으로 변환합니다.

손실 함수: 앞의 손실 함수 섹션에서 배운 이진 교차 엔트로피를 사용합니다.

결정 경계 (Decision Boundary): 로지스틱 회귀에서 $\hat{y} = 0.5$가 되는 경계는 $\mathbf{w}^T\mathbf{x} + b = 0$인 초평면(2차원에서는 직선)입니다. 이 경계를 기준으로 한쪽은 클래스 1, 다른 쪽은 클래스 0으로 분류합니다.

신경망의 수학 구조

퍼셉트론 (Perceptron)

퍼셉트론은 신경망의 가장 기본 단위입니다. 입력 벡터 $\mathbf{x}$에 가중치 $\mathbf{w}$를 곱하고 편향 $b$를 더한 뒤, 활성화 함수 $\sigma$를 적용합니다.

여기서 $\mathbf{w}^T\mathbf{x} = w_1 x_1 + w_2 x_2 + \cdots + w_n x_n$은 선형대수학의 내적입니다. 가중치 $\mathbf{w}$는 각 입력이 출력에 미치는 영향의 크기를 결정하고, 편향 $b$는 기준점을 조절합니다.

활성화 함수 (Activation Functions)

활성화 함수는 선형 변환의 결과에 비선형성을 추가하는 함수입니다. 활성화 함수가 없으면 여러 층을 쌓아도 결국 하나의 선형 변환과 같아서, 복잡한 패턴을 학습할 수 없습니다.

시그모이드(Sigmoid):

출력을 $(0, 1)$ 범위로 압축합니다. 확률로 해석할 수 있어 이진 분류의 출력층에 사용됩니다.

ReLU (Rectified Linear Unit):

음수는 0으로, 양수는 그대로 출력합니다. 계산이 매우 빠르고, 뒤에서 다룰 기울기 소실 문제를 완화합니다. 현재 가장 널리 쓰이는 은닉층 활성화 함수입니다.

소프트맥스(Softmax):

여러 출력값을 확률 분포로 변환합니다. 모든 출력이 0과 1 사이이며, 합이 1이 됩니다. 다중 분류 문제의 출력층에 사용됩니다.

활성화 함수 비교

활성화 함수의 그래프

시그모이드는 출력을 $(0,1)$로 압축하지만 양 끝에서 기울기가 거의 0입니다(기울기 소실). ReLU는 양수 영역에서 기울기가 1로 일정하여 깊은 신경망에서도 기울기가 잘 전달됩니다. Tanh는 출력 범위가 $(-1,1)$로 시그모이드보다 중심이 0이라 학습이 약간 더 안정적입니다.

Tanh (Hyperbolic Tangent):

범위 $(-1, 1)$, 도함수 $1 - \tanh^2(z)$

다층 신경망 (MLP, Multi-Layer Perceptron)

퍼셉트론을 여러 층으로 쌓으면 다층 신경망이 됩니다. $l$번째 층의 출력은 다음과 같이 계산됩니다.

여기서 $\mathbf{W}^{(l)}$은 $l$번째 층의 가중치 행렬, $\mathbf{b}^{(l)}$은 편향 벡터, $\mathbf{a}^{(l-1)}$은 이전 층의 출력입니다. 각 층은 본질적으로 행렬 곱 + 활성화 함수입니다. 이것이 선형대수학이 AI의 핵심인 이유입니다.

역전파

순전파 (Forward Propagation)

순전파는 입력 데이터를 신경망의 각 층을 통과시켜 최종 출력을 얻고, 손실 함수로 오차를 계산하는 과정입니다.

흐름: 입력 $\mathbf{x}$ → 각 층에서 $\mathbf{W}\mathbf{a} + \mathbf{b}$ 계산 → 활성화 함수 적용 → 출력 $\hat{y}$ → 손실 $L$ 계산

역전파 (Backpropagation)

역전파는 미적분학의 연쇄법칙(Chain Rule)을 이용해 손실 함수에 대한 각 가중치의 기울기를 효율적으로 계산하는 알고리즘입니다. 출력층에서 시작하여 입력층 방향으로 기울기를 전파합니다.

연쇄법칙 복습

합성함수의 미분에서 연쇄법칙은 다음과 같습니다.

각 항의 의미를 살펴보면:

• $\frac{\partial L}{\partial a}$: 출력 $a$가 손실 $L$에 미치는 영향
• $\frac{\partial a}{\partial z}$: 활성화 함수의 도함수 (예: 시그모이드의 경우 $\sigma(z)(1-\sigma(z))$)
• $\frac{\partial z}{\partial w}$: 가중치 $w$가 선형 결합 $z$에 미치는 영향 (= 입력값)

구체적 예시: 2층 신경망에서 역전파

입력 $x$, 은닉층 가중치 $w_1$, 출력층 가중치 $w_2$, 활성화 함수 $\sigma$를 가진 간단한 2층 신경망을 생각합시다.

1단계 — 순전파:

• 은닉층: $z_1 = w_1 x$, $a_1 = \sigma(z_1)$
• 출력층: $z_2 = w_2 a_1$, $\hat{y} = \sigma(z_2)$
• 손실: $L = \frac{1}{2}(\hat{y} - y)^2$

2단계 — 출력층 기울기:

3단계 — 은닉층 기울기:

4단계 — 가중치 업데이트:

기울기 소실과 폭발

역전파에서 연쇄법칙을 적용하면, 각 층의 도함수가 곱해집니다. 층이 많아지면 문제가 생길 수 있습니다.

• 기울기 소실(Vanishing Gradient): 시그모이드의 도함수는 최대 0.25입니다. 여러 층을 곱하면 기울기가 0에 가까워져 초반 층의 가중치가 거의 업데이트되지 않습니다.
• 기울기 폭발(Exploding Gradient): 도함수 값이 1보다 크면 여러 층을 곱할수록 기울기가 발산합니다.

ReLU 활성화 함수는 양수 영역에서 도함수가 정확히 1이므로, 기울기가 곱해져도 소실되지 않습니다. 이것이 현대 신경망에서 ReLU가 가장 많이 쓰이는 이유입니다.

학습 알고리즘 한눈에 보기

지금까지 나온 식을 하나의 흐름으로 묶으면, 학습은 순전파 → 손실 계산 → 역전파 → 파라미터 업데이트의 반복입니다. 컴퓨터는 이 반복을 미니배치 단위로 수천 번, 수만 번 수행합니다.

미니배치 학습 의사코드

입력: 데이터셋 D, 초기 파라미터 theta, 학습률 eta, epoch 수 E
for epoch = 1 to E:
    데이터를 무작위로 섞습니다.
    for 각 미니배치 (X_B, y_B) in D:
        y_hat = model(X_B, theta)
        L = loss(y_hat, y_B)
        g = gradient(L, theta)
        theta = theta - eta * g
return theta

각 줄이 의미하는 것

1. shuffle: 데이터 순서에 따른 편향을 줄입니다.
2. model: 현재 파라미터로 예측을 만듭니다. 이것이 순전파입니다.
3. loss: 예측과 정답의 차이를 하나의 숫자로 압축합니다.
4. gradient: 각 파라미터를 어느 방향으로 얼마나 바꿔야 할지 계산합니다. 이것이 역전파의 결과입니다.
5. update: 그래디언트의 반대 방향으로 조금 이동합니다. 이것이 최적화 단계입니다.

어텐션과 트랜스포머(Transformer)의 수학

어텐션의 기본 아이디어

어텐션은 "지금 이 토큰이, 다른 토큰들 가운데 누구를 얼마나 참고할 것인가?"를 정하는 가중 평균입니다. 따라서 핵심 수학은 내적으로 유사도를 재고, 소프트맥스로 가중치를 정규화하고, 가중합으로 정보를 모으는 것입니다.

• Query (Q): 지금 무엇을 찾고 있는가를 나타내는 벡터
• Key (K): 각 토큰이 어떤 정보를 가지고 있는가를 나타내는 벡터
• Value (V): 실제로 전달할 내용 벡터

이 식은 다음 세 단계로 읽습니다.

1. $QK^T$로 Query와 Key의 유사도를 계산합니다.
2. 점수가 너무 커지지 않도록 $\sqrt{d_k}$로 나누어 스케일을 맞춥니다.
3. 소프트맥스로 가중치를 만든 뒤, Value의 가중 평균을 계산합니다.

수치 예시: 두 후보 중 어디에 더 주목할까요

현재 토큰의 Query를 $q=(2,1)$, 두 후보 토큰의 Key를 $k_1=(1,0)$, $k_2=(0,1)$라고 합시다. 두 후보의 Value는 $v_1=(1,0)$, $v_2=(0,1)$라고 하겠습니다.

1단계 — 내적 점수 계산:

2단계 — 스케일링과 소프트맥스:

3단계 — Value의 가중 평균:

즉 모델은 두 후보를 모두 참고하지만, 첫 번째 후보를 약 두 배 더 강하게 참고합니다. 어텐션은 하나만 고르는 것이 아니라, 여러 후보를 비율을 두고 섞는 것입니다.

왜 차원의 제곱근으로 나눕니까

차원이 커질수록 내적값의 크기도 함께 커지는 경향이 있습니다. 그러면 소프트맥스가 너무 뾰족해져 한 토큰에 거의 모든 확률을 몰아주고, 나머지는 거의 0이 됩니다. 이렇게 되면 학습 초기에 기울기가 불안정해질 수 있습니다.

멀티헤드 어텐션과 Transformer 블록

하나의 어텐션만 쓰면 한 종류의 관계만 보기 쉽습니다. 그래서 Transformer는 여러 개의 어텐션을 병렬로 사용합니다. 어떤 헤드는 주어와 동사의 관계를 보고, 다른 헤드는 수식어와 명사의 관계를 보고, 또 다른 헤드는 먼 거리 문맥을 볼 수 있습니다.

또한 어텐션만으로는 단어의 순서를 알 수 없으므로, 입력 임베딩(Embedding)에 위치 정보(Position) $p_i$를 더하여 $x_i = e_i + p_i$처럼 사용합니다. 이렇게 하면 Transformer는 무엇이 중요한가와 어디에 있는가를 동시에 표현할 수 있습니다.

확률적 학습

최대우도추정 (MLE, Maximum Likelihood Estimation)

최대우도추정은 관측된 데이터가 나올 확률을 최대화하는 파라미터 $\theta$를 찾는 방법입니다.

곱셈은 계산이 불안정하므로(매우 작은 수들의 곱은 컴퓨터에서 0이 됨), 로그를 취해 로그우도(Log-Likelihood)를 사용합니다.

과적합과 정규화

과적합(Overfitting)이란 모델이 훈련 데이터의 패턴뿐 아니라 잡음까지 "외워" 버려서, 새로운 데이터에 대한 예측 성능이 떨어지는 현상입니다. 마치 수학 시험 기출문제만 달달 외운 학생이 새로운 문제를 풀지 못하는 것과 같습니다.

L2 정규화(Regularization): 가중치가 너무 커지지 않도록 손실 함수에 벌점을 추가합니다.

여기서 $\lambda$는 정규화 강도를 조절하는 하이퍼파라미터이고, $\|\mathbf{w}\|^2 = \sum w_i^2$은 모든 가중치의 제곱합입니다. 이 항이 추가되면 가중치가 작은 값을 유지하게 되어 모델이 단순해지고, 과적합이 줄어듭니다.

드롭아웃(Dropout): 학습 중에 무작위로 일부 뉴런을 비활성화하는 기법입니다. 마치 시험 공부를 할 때 매번 다른 친구들과 스터디 그룹을 만드는 것과 같습니다. 특정 뉴런에 지나치게 의존하지 않게 되어 모델이 더 일반적인 패턴을 학습합니다.

베이즈 관점 (Bayesian Perspective)

확률론의 베이즈 정리를 모델 학습에 적용하면, 데이터 $D$를 관찰한 후의 파라미터 분포를 구할 수 있습니다.

• $P(D|\theta)$: 우도(Likelihood) — 파라미터 $\theta$일 때 데이터가 관측될 확률 (MLE가 최대화하는 것)
• $P(\theta)$: 사전 분포(Prior) — 학습 전에 파라미터에 대해 가지고 있는 사전 지식
• $P(\theta|D)$: 사후 분포(Posterior) — 데이터를 관찰한 후 업데이트된 믿음

L2 정규화는 사실 가중치에 대해 정규분포 사전 분포를 가정한 MAP(Maximum A Posteriori) 추정과 동일합니다. 즉 정규화는 베이즈 관점에서 자연스러운 해석을 가집니다.

차원의 저주와 차원 축소

차원의 저주 (Curse of Dimensionality)

데이터의 차원이 높아지면 직관에 반하는 여러 현상이 발생합니다. 이를 차원의 저주라고 합니다.

• 데이터 간 거리가 비슷해짐: 고차원에서는 최근접 이웃(nearest neighbor)과 최원접 이웃(farthest neighbor)의 거리 차이가 줄어들어, 거리 기반 알고리즘(예: k-NN)의 성능이 떨어집니다.
• 필요한 데이터 양이 기하급수적으로 증가: 각 차원을 10등분하면 $d$차원 공간에서 $10^d$개의 칸이 필요합니다. 차원이 늘어날수록 데이터가 극도로 희소해집니다.
• 단위 초구(hypersphere)의 부피가 0에 수렴: 고차원에서 데이터는 초입방체의 "모서리"에 몰리고 중심 부근은 거의 비게 됩니다.

주성분 분석 (PCA, Principal Component Analysis)

핵심 아이디어: 데이터의 분산이 가장 큰 방향을 찾아 차원을 축소합니다. 정보 손실을 최소화하면서 차원을 줄이는 것이 목표입니다.

PCA의 단계:

1. 중심화: 데이터의 평균을 0으로 맞춥니다.
2. 공분산 행렬 계산: $\mathbf{C} = \frac{1}{n}\mathbf{X}^T\mathbf{X}$
3. 고유값 분해: $\mathbf{C} = \mathbf{V}\mathbf{\Lambda}\mathbf{V}^T$
4. 고유벡터 선택: 가장 큰 고유값에 대응하는 고유벡터 $k$개를 선택합니다.
5. 차원 축소: $\mathbf{Z} = \mathbf{X}\mathbf{V}_k$로 원래 데이터를 $k$차원으로 변환합니다.

고유값이 큰 순서대로 정렬하면, 앞쪽 고유벡터가 데이터의 변동(분산)을 가장 많이 설명하는 방향입니다. 상위 $k$개의 고유벡터만 사용하면 데이터의 핵심 구조를 보존하면서 차원을 줄일 수 있습니다.

수치적 안정성

AI 모델을 실제로 구현할 때는 수치적 문제에 주의해야 합니다. 수학적으로 동일한 수식이라도 컴퓨터에서는 부동소수점 연산의 한계로 인해 오버플로(overflow)나 언더플로(underflow)가 발생할 수 있습니다.

소프트맥스의 오버플로 문제

소프트맥스 함수 $\text{softmax}(z_i) = \frac{e^{z_i}}{\sum_j e^{z_j}}$에서 $z_i$가 크면 $e^{z_i}$가 오버플로를 일으키고, $z_i$가 매우 작은 음수이면 $e^{z_i} \approx 0$이 되어 언더플로가 발생합니다.

해결: 입력 벡터에서 최댓값을 빼줍니다.

이는 분자와 분모에 $e^{-\max(\mathbf{z})}$를 곱한 것이므로 수학적으로 완전히 동일한 결과를 줍니다. 최댓값을 빼면 지수의 최대값이 0이 되어 $e^0 = 1$ 이하의 값만 계산하면 되므로 오버플로가 방지됩니다.

로그 확률의 사용

확률의 곱 $\prod_{i=1}^{n} P(x_i)$은 데이터가 많을수록 매우 작은 수가 되어 언더플로가 발생합니다. 예를 들어 $0.01$을 100번 곱하면 $10^{-200}$으로, 일반적인 부동소수점으로 표현할 수 없습니다.

해결: 로그를 취해 곱셈을 덧셈으로 변환합니다.

이것이 최대우도추정(MLE)에서 우도(likelihood) 대신 로그우도(log-likelihood)를 사용하는 이유입니다. 로그는 단조증가 함수이므로 최대화하는 지점은 동일합니다.

Log-Sum-Exp 트릭

$\log\sum_i e^{z_i}$를 직접 계산하면 $e^{z_i}$에서 오버플로가 발생할 수 있습니다. 이를 안정적으로 계산하는 방법이 Log-Sum-Exp 트릭입니다.

$c = \max(\mathbf{z})$를 빼면 지수 중 최대가 $e^0 = 1$이 되어 오버플로가 방지됩니다. 이 트릭은 교차 엔트로피 손실 함수를 계산할 때 필수적으로 사용됩니다.

전체 흐름 요약

AI 모델의 학습은 다음과 같은 순환 과정으로 이루어집니다.

수학 분야별 AI에서의 역할

더 배우려면

• 선형대수학 — 행렬 연산, 벡터 공간, 고유값 분해
• 미적분학 — 미분, 편미분, 연쇄법칙의 기초
• 최적화 — 경사하강법, 제약 최적화, 최적해 탐색의 일반 이론
• 확률론 — 확률 분포, 조건부 확률, 베이즈 정리
• 통계학 — 추정, 가설 검정, 회귀 분석
• 수치해석 — 수치적 최적화, 부동소수점 연산