선형대수학 (Linear Algebra)

선형대수학은 벡터 공간과 선형 사상을 연구하는 수학의 분야입니다. 과학, 공학, 컴퓨터 과학, 경제학, 통계학 등 거의 모든 분야에서 핵심 도구로 사용되며, 현대 수학의 언어라고 할 수 있습니다.

이런 곳에 쓰여요

선수 지식: 대수학 기초

난이도: ★★★★☆ (대학교)

스칼라와 벡터 — 무엇이 다른가?

스칼라(Scalar)란?

스칼라는 크기(값)만 가진 양입니다. 우리가 일상에서 접하는 대부분의 "숫자"가 스칼라입니다.

벡터(Vector)란?

벡터는 크기와 방향을 동시에 가진 양입니다. 스칼라가 "얼마나"만 알려준다면, 벡터는 "얼마나, 그리고 어디로"를 함께 알려줍니다.

스칼라 vs. 벡터 비교

벡터와 벡터 공간

벡터(Vector)는 크기와 방향을 가진 양입니다. 수학에서는 숫자들의 순서쌍으로 표현합니다. $n$차원 실수 벡터는 다음과 같이 표기합니다.

단위벡터와 기저벡터

단위벡터(Unit Vector)는 크기가 1인 벡터입니다. 임의의 벡터 $\mathbf{v}$의 단위벡터는 다음과 같이 구합니다.

예시: $\mathbf{v} = \begin{pmatrix} 3 \\ 4 \end{pmatrix}$의 단위벡터를 구합니다.

$\|\mathbf{v}\| = \sqrt{3^2 + 4^2} = \sqrt{25} = 5$이므로:

검증: $\|\hat{\mathbf{v}}\| = \sqrt{0.6^2 + 0.8^2} = \sqrt{0.36 + 0.64} = \sqrt{1} = 1$ ✓

표준 기저벡터(Standard Basis Vectors)는 각 축 방향의 단위벡터입니다.

• 2차원: $\mathbf{e}_1 = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$ (오른쪽), $\mathbf{e}_2 = \begin{pmatrix} 0 \\ 1 \end{pmatrix}$ (위쪽)
• 3차원: $\mathbf{i} = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}$, $\mathbf{j} = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix}$, $\mathbf{k} = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix}$

벡터 연산

벡터 덧셈 — 단계별 예시

$\mathbf{u} = \begin{pmatrix} 2 \\ 3 \end{pmatrix}$, $\mathbf{v} = \begin{pmatrix} 4 \\ 1 \end{pmatrix}$일 때:

벡터 뺄셈

$\mathbf{u} - \mathbf{v}$는 $\mathbf{v}$의 끝점에서 $\mathbf{u}$의 끝점으로 향하는 벡터입니다.

스칼라 곱 — 단계별 예시

$\mathbf{v} = \begin{pmatrix} 3 \\ -2 \end{pmatrix}$일 때:

• $2\mathbf{v} = \begin{pmatrix} 6 \\ -4 \end{pmatrix}$ — 같은 방향으로 2배 늘림
• $-1\mathbf{v} = \begin{pmatrix} -3 \\ 2 \end{pmatrix}$ — 반대 방향으로 뒤집음
• $0.5\mathbf{v} = \begin{pmatrix} 1.5 \\ -1 \end{pmatrix}$ — 같은 방향으로 절반 줄임

내적(Dot Product) — 직관적 이해

내적은 "두 벡터가 얼마나 같은 방향을 가리키는가"를 측정합니다.

계산 방법: 대응하는 성분끼리 곱한 후 모두 더합니다.

$\mathbf{u} = \begin{pmatrix} 2 \\ 3 \end{pmatrix}$, $\mathbf{v} = \begin{pmatrix} 4 \\ 1 \end{pmatrix}$일 때:

기하학적 의미: 내적은 $\mathbf{u} \cdot \mathbf{v} = \|\mathbf{u}\|\|\mathbf{v}\|\cos\theta$와 같습니다. 여기서 $\theta$는 두 벡터 사이의 각도입니다.

외적(Cross Product) — 직관적 이해

외적은 3차원에서만 정의되며, 결과가 벡터입니다 (내적은 스칼라입니다).

예시: $\mathbf{u} = \begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix}$, $\mathbf{v} = \begin{pmatrix} 4 \\ 5 \\ 6 \end{pmatrix}$일 때:

기하학적 의미:

• 방향: $\mathbf{u} \times \mathbf{v}$는 $\mathbf{u}$와 $\mathbf{v}$ 모두에 수직인 벡터입니다 (오른손 법칙).
• 크기: $\|\mathbf{u} \times \mathbf{v}\| = \|\mathbf{u}\|\|\mathbf{v}\|\sin\theta$이며, 이는 두 벡터가 이루는 평행사변형의 넓이와 같습니다.

벡터 공간의 공리

벡터 공간(Vector Space) $V$는 체 $F$ 위에서 벡터 덧셈과 스칼라 곱이 정의되며, 다음 8가지 공리를 만족하는 집합입니다.

벡터 공간의 예

• $\mathbb{R}^n$ — $n$차원 실수 벡터
• $M_{m \times n}(\mathbb{R})$ — $m \times n$ 실수 행렬의 집합
• $P_n$ — 차수가 $n$ 이하인 다항식의 집합
• $C[a,b]$ — 구간 $[a,b]$에서 연속인 함수의 집합

부분공간, 일차독립, 기저

부분공간 (Subspace)

벡터 공간 $V$의 비어있지 않은 부분집합 $W$가 덧셈과 스칼라 곱에 대해 닫혀있으면 $W$는 $V$의 부분공간입니다. 확인 조건:

1. $\mathbf{0} \in W$
2. $\mathbf{u}, \mathbf{v} \in W \implies \mathbf{u} + \mathbf{v} \in W$
3. $c \in F, \mathbf{v} \in W \implies c\mathbf{v} \in W$

일차결합과 생성

벡터 $\mathbf{v}_1, \ldots, \mathbf{v}_k$의 일차결합(Linear Combination)은 $c_1\mathbf{v}_1 + c_2\mathbf{v}_2 + \cdots + c_k\mathbf{v}_k$입니다.

이 벡터들의 모든 일차결합의 집합을 생성(Span)이라 합니다:

일차독립 (Linear Independence)

벡터 $\mathbf{v}_1, \ldots, \mathbf{v}_k$가 일차독립이면:

일차독립이 아니면 일차종속(Linearly Dependent)이라 합니다.

기저와 차원

벡터 공간 $V$의 기저(Basis)는 일차독립이면서 $V$를 생성하는 벡터들의 집합입니다.

$\mathbb{R}^n$의 표준 기저: $\mathbf{e}_1 = (1,0,\ldots,0)$, $\mathbf{e}_2 = (0,1,\ldots,0)$, $\ldots$, $\mathbf{e}_n = (0,0,\ldots,1)$

행렬과 행렬 연산

행렬이란 무엇인가?

행렬(Matrix)은 수를 직사각형 모양으로 배열한 것입니다. 쉽게 말해, 규칙이 있는 숫자 표입니다. $m \times n$ 행렬은 $m$개의 행(가로줄)과 $n$개의 열(세로줄)을 가집니다.

구체적 예시: $2 \times 3$ 행렬 (2행 3열):

여기서 $a_{12} = 2$ (1행 2열), $a_{23} = 6$ (2행 3열)입니다.

행렬 덧셈과 스칼라 곱

같은 크기의 행렬끼리만 덧셈이 가능하며, 대응하는 위치의 원소끼리 더합니다.

스칼라 곱은 모든 원소에 같은 수를 곱합니다.

행렬 곱셈

$m \times n$ 행렬 $A$와 $n \times p$ 행렬 $B$의 곱 $C = AB$는 $m \times p$ 행렬이며:

핵심 규칙: $C$의 $(i, j)$ 원소는 "$A$의 $i$번째 행"과 "$B$의 $j$번째 열"을 내적한 것입니다.

행렬 곱셈 단계별 예시

$A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}$, $B = \begin{pmatrix} 5 & 6 \\ 7 & 8 \end{pmatrix}$일 때 $C = AB$를 구합니다.

$c_{11}$: $A$의 1행 $(1, 2)$과 $B$의 1열 $\begin{pmatrix}5\\7\end{pmatrix}$의 내적

$c_{12}$: $A$의 1행 $(1, 2)$과 $B$의 2열 $\begin{pmatrix}6\\8\end{pmatrix}$의 내적

$c_{21}$: $A$의 2행 $(3, 4)$과 $B$의 1열 $\begin{pmatrix}5\\7\end{pmatrix}$의 내적

$c_{22}$: $A$의 2행 $(3, 4)$과 $B$의 2열 $\begin{pmatrix}6\\8\end{pmatrix}$의 내적

최종 결과:

행렬 곱셈의 성질

• $(AB)C = A(BC)$ — 결합법칙
• $A(B + C) = AB + AC$ — 분배법칙
• $(AB)^T = B^T A^T$ — 전치의 역순
• $(AB)^{-1} = B^{-1}A^{-1}$ — 역행렬의 역순 (가역일 때)

특수 행렬

역행렬

$n \times n$ 행렬 $A$에 대해 $AA^{-1} = A^{-1}A = I$를 만족하는 $A^{-1}$를 역행렬(Inverse Matrix)이라 합니다.

$2 \times 2$ 역행렬 공식:

$2 \times 2$ 역행렬 — 단계별 예시

$A = \begin{pmatrix} 2 & 1 \\ 5 & 3 \end{pmatrix}$의 역행렬을 구합니다.

1단계 — 행렬식 계산:

2단계 — 공식 적용: $d$와 $a$를 교환하고, $b$와 $c$의 부호를 바꿉니다.

3단계 — 검증: $AA^{-1} = I$인지 확인합니다.

행렬식

행렬식(Determinant) $\det(A)$ 또는 $|A|$는 정사각행렬에 대해 정의되는 스칼라값입니다.

$2 \times 2$ 행렬식

단계별 예시: $A = \begin{pmatrix} 3 & 1 \\ 2 & 4 \end{pmatrix}$

기하학적 의미: 벡터 $\begin{pmatrix}3\\2\end{pmatrix}$와 $\begin{pmatrix}1\\4\end{pmatrix}$가 이루는 평행사변형의 넓이가 10입니다.

$3 \times 3$ 행렬식

여인수 전개(Cofactor Expansion): 첫 번째 행에 대해 전개하면:

여기서 여인수 $C_{ij} = (-1)^{i+j} M_{ij}$이고, $M_{ij}$는 $i$행 $j$열을 제거한 소행렬의 행렬식입니다.

사루스 법칙(Sarrus' Rule): $3 \times 3$ 행렬에만 적용 가능한 간편법입니다.

행렬식의 성질

행렬식의 기하학적 의미

$n \times n$ 행렬 $A$의 행렬식 $|\det(A)|$는 $A$의 열벡터(또는 행벡터)들이 이루는 $n$차원 평행다면체의 부피입니다.

• $2 \times 2$: 두 벡터가 이루는 평행사변형의 넓이
• $3 \times 3$: 세 벡터가 이루는 평행육면체의 부피
• $\det(A) > 0$: 방향 보존, $\det(A) < 0$: 방향 반전

행렬식 계산 — 3가지 방법 비교

다음 $3 \times 3$ 행렬의 행렬식을 여인수 전개, 행 연산, 라이프니츠 공식의 세 가지 방법으로 구합니다.

방법 1 — 여인수 전개 (Cofactor Expansion)

1행에 대해 전개합니다. $\det(A) = a_{11}C_{11} + a_{12}C_{12} + a_{13}C_{13}$

방법 2 — 행 연산을 이용한 삼각화

기본 행 연산으로 상삼각행렬을 만들면 행렬식은 대각 원소의 곱입니다.

행 교환은 하지 않았으므로 부호 변화 없이:

방법 3 — 라이프니츠 공식 (Leibniz Formula)

$n \times n$ 행렬의 행렬식은 $n!$개 순열의 합으로 표현됩니다.

$3 \times 3$의 경우 $3! = 6$개 순열:

연립일차방정식과 가우스 소거법

연립일차방정식 $A\mathbf{x} = \mathbf{b}$를 행렬의 기본 행 연산으로 풀 수 있습니다.

기본 행 연산 (Elementary Row Operations)

1. 행 교환: $R_i \leftrightarrow R_j$
2. 스칼라 곱: $R_i \leftarrow cR_i$ ($c \neq 0$)
3. 행 덧셈: $R_i \leftarrow R_i + cR_j$

행 사다리꼴 형태 (REF) / 기약 행 사다리꼴 형태 (RREF)

해의 구조: 랭크

랭크(Rank)는 행렬의 REF에서 영이 아닌 행의 수, 즉 피벗의 수입니다.

같은 연립방정식, 4가지 풀이법

다음 연립방정식을 가우스 소거법, 크래머 공식, 역행렬법, LU분해의 4가지 방법으로 풀어보겠습니다.

풀이 1 — 가우스 소거법 (Gaussian Elimination)

확대행렬을 행 연산으로 사다리꼴 형태로 변환합니다.

역대입: $\frac{5}{2}y = \frac{5}{2} \implies y = 1$, $2x + 1 = 5 \implies x = 2$

따라서 $\boxed{x = 2, \; y = 1}$입니다.

풀이 2 — 크래머 공식 (Cramer's Rule)

크래머 공식은 행렬식을 이용하여 해를 직접 구합니다.

$A_x$는 $A$의 1열을 $\mathbf{b}$로 대체한 행렬, $A_y$는 2열을 $\mathbf{b}$로 대체한 행렬입니다.

풀이 3 — 역행렬법 (Inverse Matrix Method)

$\mathbf{x} = A^{-1}\mathbf{b}$를 이용합니다.

풀이 4 — LU 분해

$A = LU$로 분해한 뒤, 전진대입과 후진대입을 순서대로 수행합니다.

1단계 — LU 분해: 가우스 소거 과정에서 승수 $\ell_{21} = \frac{1}{2}$를 기록합니다.

2단계 — 전진대입 $L\mathbf{y} = \mathbf{b}$:

3단계 — 후진대입 $U\mathbf{x} = \mathbf{y}$:

기하학적 해석 — 두 직선의 교점

선형변환

$T: V \to W$가 선형변환(Linear Transformation)이면 다음을 만족합니다:

1. $T(\mathbf{u} + \mathbf{v}) = T(\mathbf{u}) + T(\mathbf{v})$ — 가법성
2. $T(c\mathbf{v}) = cT(\mathbf{v})$ — 동차성

동치 조건: $T(c_1\mathbf{v}_1 + c_2\mathbf{v}_2) = c_1 T(\mathbf{v}_1) + c_2 T(\mathbf{v}_2)$

행렬 표현

유한차원 벡터 공간 사이의 모든 선형변환은 행렬로 표현할 수 있습니다. $T: \mathbb{R}^n \to \mathbb{R}^m$이면 $T(\mathbf{x}) = A\mathbf{x}$인 $m \times n$ 행렬 $A$가 존재합니다.

핵과 상

주요 기하학적 선형변환 ($\mathbb{R}^2$)

고유값과 고유벡터

고유값과 고유벡터란?

정사각행렬 $A$에 대하여 다음을 만족하는 $\mathbf{0}$이 아닌 벡터 $\mathbf{v}$와 스칼라 $\lambda$가 존재할 때:

$\lambda$를 고유값(Eigenvalue), $\mathbf{v}$를 고유벡터(Eigenvector)라 합니다.

고유값 구하기

특성방정식(Characteristic Equation):

이 다항식을 특성다항식(Characteristic Polynomial)이라 합니다. $n \times n$ 행렬의 특성다항식은 $n$차입니다.

예시

$A = \begin{pmatrix} 4 & 1 \\ 2 & 3 \end{pmatrix}$의 고유값과 고유벡터를 구합니다.

1단계 (고유값):

2단계 (고유벡터):

$\lambda_1 = 5$: $(A - 5I)\mathbf{v} = \mathbf{0}$

$\lambda_2 = 2$: $(A - 2I)\mathbf{v} = \mathbf{0}$

고유값의 성질

• 고유값의 합 = $\text{tr}(A)$ (대각합, trace)
• 고유값의 곱 = $\det(A)$
• $A$가 삼각행렬이면 고유값 = 대각 원소
• $A$가 대칭행렬이면 모든 고유값이 실수
• 서로 다른 고유값에 대응하는 고유벡터는 일차독립

고유값 문제 — 다양한 접근법

같은 행렬의 고유값을 특성방정식, 멱법(Power Method), QR 알고리즘의 세 가지 방법으로 구합니다.

방법 1 — 특성방정식 (해석적 방법)

정확한 고유값을 대수적으로 구합니다.

$\lambda_1 = 3$의 고유벡터: $(A - 3I)\mathbf{v} = \mathbf{0}$ → $\begin{pmatrix}-1&1\\1&-1\end{pmatrix}\mathbf{v} = \mathbf{0}$ → $\mathbf{v}_1 = \begin{pmatrix}1\\1\end{pmatrix}$

$\lambda_2 = 1$의 고유벡터: $(A - I)\mathbf{v} = \mathbf{0}$ → $\begin{pmatrix}1&1\\1&1\end{pmatrix}\mathbf{v} = \mathbf{0}$ → $\mathbf{v}_2 = \begin{pmatrix}1\\-1\end{pmatrix}$

방법 2 — 멱법 (Power Method)

멱법은 최대 고유값과 그에 대응하는 고유벡터를 반복적으로 근사합니다. 초기 벡터 $\mathbf{x}_0 = \begin{pmatrix}1\\0\end{pmatrix}$에서 시작합니다.

반복 $k=1$:

반복 $k=2$:

반복 $k=3$:

반복을 계속하면 $\lambda^{(k)} \to 3$, $\mathbf{x}_k \to \begin{pmatrix}1\\1\end{pmatrix}$로 수렴합니다. 수렴 속도는 $|\lambda_2/\lambda_1| = 1/3$에 비례합니다.

방법 3 — QR 알고리즘 (개요)

QR 알고리즘은 모든 고유값을 동시에 구하는 반복법입니다.

1. $A_0 = A$로 설정합니다.
2. 각 단계에서 $A_k = Q_k R_k$ (QR 분해)를 수행합니다.
3. $A_{k+1} = R_k Q_k$를 계산합니다.
4. $A_k$가 (준)대각행렬로 수렴하면 대각 원소가 고유값입니다.

1단계 — QR 분해: $A_0 = \begin{pmatrix}2&1\\1&2\end{pmatrix}$

2단계: $A_1 = R_0 Q_0$를 계산하면 비대각 원소가 감소합니다. 반복하면 대각행렬 $\begin{pmatrix}3&0\\0&1\end{pmatrix}$로 수렴합니다.

대각화

$n \times n$ 행렬 $A$가 대각화 가능(Diagonalizable)하다는 것은 가역행렬 $P$가 존재하여:

여기서 $P$의 열벡터는 고유벡터, $D$의 대각 원소는 고유값입니다.

대각화 가능 조건

• $n$개의 일차독립인 고유벡터가 존재하면 대각화 가능
• $n$개의 서로 다른 고유값을 가지면 반드시 대각화 가능
• 대칭행렬은 항상 직교 대각화(Orthogonal Diagonalization) 가능: $Q^T A Q = D$ ($Q$는 직교행렬)

내적공간

내적공간(Inner Product Space)은 벡터 공간에 내적이 추가로 정의된 공간입니다.

내적의 공리

$V$ 위의 내적 $\langle \cdot, \cdot \rangle: V \times V \to F$는 다음을 만족합니다:

1. $\langle \mathbf{v}, \mathbf{v} \rangle \geq 0$, 등호 ⟺ $\mathbf{v} = \mathbf{0}$ (양정치성)
2. $\langle \mathbf{u}, \mathbf{v} \rangle = \overline{\langle \mathbf{v}, \mathbf{u} \rangle}$ (켤레 대칭성)
3. $\langle a\mathbf{u} + b\mathbf{v}, \mathbf{w} \rangle = a\langle \mathbf{u}, \mathbf{w} \rangle + b\langle \mathbf{v}, \mathbf{w} \rangle$ (선형성)

코시-슈바르츠 부등식

직교화 — 3가지 방법 비교

벡터 $\mathbf{v}_1 = \begin{pmatrix}1\\1\\0\end{pmatrix}$, $\mathbf{v}_2 = \begin{pmatrix}1\\0\\1\end{pmatrix}$를 정규직교화하는 세 가지 방법을 비교합니다.

방법 1 — 그람-슈미트 과정 (Gram-Schmidt Process)

가장 고전적인 직교화 방법입니다.

1단계: $\mathbf{u}_1 = \mathbf{v}_1 = \begin{pmatrix}1\\1\\0\end{pmatrix}$

2단계: $\mathbf{v}_2$에서 $\mathbf{u}_1$ 방향 성분을 빼줍니다.

3단계 — 정규화:

방법 2 — 하우스홀더 반사 (Householder Reflection)

하우스홀더 변환은 벡터를 초평면에 대해 반사시켜 특정 성분을 0으로 만드는 방법입니다.

벡터 $\mathbf{a}$를 $\|\mathbf{a}\|\mathbf{e}_1$ 방향으로 반사하는 행렬:

$\mathbf{v}_1 = \begin{pmatrix}1\\1\\0\end{pmatrix}$에 적용하면:

$H_1\mathbf{v}_1 = \begin{pmatrix}\sqrt{2}\\0\\0\end{pmatrix}$이 되어 첫 번째 열이 정리됩니다. 이 과정을 나머지 열에 반복합니다.

방법 3 — 기븐스 회전 (Givens Rotation)

기븐스 회전은 2차원 평면에서의 회전을 이용하여 행렬의 특정 원소를 0으로 만드는 방법입니다.

$\mathbf{v}_1 = \begin{pmatrix}1\\1\\0\end{pmatrix}$의 $(1,2)$ 평면에서 $\tan\theta = v_{21}/v_{11} = 1$이므로 $\theta = 45°$:

기븐스 회전은 희소행렬에서 특히 유리합니다. 0이 아닌 원소를 하나씩 제거할 수 있기 때문입니다.

정사영의 다양한 계산법

벡터 $\mathbf{b} = \begin{pmatrix}1\\2\\3\end{pmatrix}$를 부분공간 $W = \text{Span}\left\{\begin{pmatrix}1\\0\\1\end{pmatrix}, \begin{pmatrix}0\\1\\1\end{pmatrix}\right\}$ 위로 정사영합니다.

방법 1 — 정사영 행렬

$A = \begin{pmatrix}1&0\\0&1\\1&1\end{pmatrix}$로 놓으면 정사영 행렬은:

이 경우 $\mathbf{b}$가 $W$ 위에 있으므로 정사영이 자기 자신입니다.

방법 2 — 정규직교 기저를 이용

정규직교 기저 $\{\mathbf{e}_1, \mathbf{e}_2\}$가 있으면 정사영이 간단합니다.

그람-슈미트로 구한 정규직교 기저를 대입하면 됩니다. 정규직교 기저가 이미 있을 때 가장 빠른 방법입니다.

최소제곱법 — 3가지 풀이

과잉결정 시스템 $A\mathbf{x} \approx \mathbf{b}$의 최소제곱 해 $\hat{\mathbf{x}}$를 세 가지 방법으로 구합니다.

이 문제는 데이터 점 $(1,1), (2,2), (3,4)$에 직선 $y = \hat{x}_1 + \hat{x}_2 t$를 적합하는 선형 회귀입니다.

풀이 1 — 정규방정식 (Normal Equation)

풀면: $\hat{x}_2 = \frac{3 \cdot 17 - 6 \cdot 7}{3 \cdot 14 - 36} = \frac{51 - 42}{42 - 36} = \frac{9}{6} = \frac{3}{2}$

$\hat{x}_1 = \frac{7 - 6 \cdot \frac{3}{2}}{3} = \frac{7 - 9}{3} = -\frac{2}{3}$

따라서 최적 직선은 $y = -\frac{2}{3} + \frac{3}{2}t$입니다.

풀이 2 — QR 분해

$A = QR$로 분해하면 정규방정식이 $R\hat{\mathbf{x}} = Q^T\mathbf{b}$로 단순화됩니다.

그람-슈미트로 $A$의 열을 직교화합니다.

후진대입으로 $R\hat{\mathbf{x}} = Q^T\mathbf{b}$를 풀면 동일한 결과를 얻습니다.

풀이 3 — SVD (특잇값 분해)

$A = U\Sigma V^T$로 분해하면 최소제곱 해는:

여기서 $\Sigma^{+}$는 $\Sigma$의 의사역행렬(비영 특잇값의 역수를 취하고 전치)입니다.

SVD를 이용한 풀이는 $A$의 랭크가 부족한 경우에도 최소 노름 해를 자동으로 제공하므로 가장 범용적인 방법입니다.

조르당 표준형 (Jordan Normal Form)

대각화가 불가능한 행렬도 조르당 표준형으로 변환할 수 있습니다. 모든 정사각행렬은 (복소수체 위에서) 가역행렬 $P$에 대해 $P^{-1}AP = J$인 조르당 행렬 $J$가 존재합니다.

조르당 블록

고유값 $\lambda$에 대응하는 $k \times k$ 조르당 블록은 다음과 같습니다.

대각선에 $\lambda$, 초대각선에 1, 나머지는 0입니다.

예시

$A = \begin{pmatrix}5&4&2&1\\0&1&-1&-1\\-1&-1&3&0\\1&1&-1&2\end{pmatrix}$의 고유값이 $\lambda_1 = 1$ (대수적 중복도 2), $\lambda_2 = 4$ (대수적 중복도 2)이고, 각 고유값의 기하적 중복도가 1이면 조르당 표준형은:

조르당 표준형 구하는 절차

1. 고유값 구하기: 특성다항식 $\det(A - \lambda I) = 0$을 풀어 고유값과 대수적 중복도를 구합니다.
2. 기하적 중복도 구하기: 각 고유값 $\lambda_i$에 대해 $\dim(\ker(A - \lambda_i I))$를 계산합니다. 이것이 해당 고유값의 조르당 블록 개수입니다.
3. 블록 크기 결정: $\text{rank}((A - \lambda_i I)^k)$를 $k=1,2,\ldots$에 대해 계산하여 블록 크기를 결정합니다.
4. 일반화된 고유벡터 구하기: $(A - \lambda_i I)^k \mathbf{v} = \mathbf{0}$을 풀어 체인을 구성합니다.

특잇값 분해 (SVD) 심화

SVD의 구성

임의의 $m \times n$ 행렬 $A$는 다음과 같이 분해됩니다.

• $U$: $m \times m$ 직교행렬 — $AA^T$의 고유벡터 (좌특이벡터)
• $\Sigma$: $m \times n$ 대각행렬 — 특잇값 $\sigma_i = \sqrt{\lambda_i(A^T A)}$
• $V$: $n \times n$ 직교행렬 — $A^T A$의 고유벡터 (우특이벡터)

SVD 계산 예시

$A = \begin{pmatrix}3&2\\2&3\end{pmatrix}$의 SVD를 구합니다.

1단계: $A^T A = \begin{pmatrix}13&12\\12&13\end{pmatrix}$의 고유값:

2단계: $V$의 열 (우특이벡터): $\mathbf{v}_1 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\1\end{pmatrix}$, $\mathbf{v}_2 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\-1\end{pmatrix}$

3단계: $U$의 열: $\mathbf{u}_i = \frac{1}{\sigma_i}A\mathbf{v}_i$ → $\mathbf{u}_1 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\1\end{pmatrix}$, $\mathbf{u}_2 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\-1\end{pmatrix}$

기하학적 의미 — 회전-신축-회전

SVD의 기하학적 해석: 선형변환 $A$는 다음 세 단계로 분해됩니다.

1. $V^T$ — 회전: 입력 공간의 좌표계를 정렬합니다.
2. $\Sigma$ — 신축: 각 축 방향으로 $\sigma_i$배만큼 늘이거나 줄입니다.
3. $U$ — 회전: 출력 공간의 좌표계를 정렬합니다.

단위원이 SVD에 의해 타원으로 변환되며, 특잇값은 타원의 반축 길이가 됩니다.

SVD의 응용

• 이미지 압축: 상위 $k$개 특잇값만 유지하면 $A \approx U_k \Sigma_k V_k^T$ (저랭크 근사)
• 의사역행렬: $A^{+} = V\Sigma^{+}U^T$ (무어-펜로즈 역행렬)
• 조건수: $\kappa(A) = \sigma_{\max}/\sigma_{\min}$으로 수치적 안정성 판단
• 주성분 분석(PCA): 데이터 행렬의 SVD에서 주성분을 추출

선형변환의 행렬 표현과 기저 변환

기저에 따른 행렬 표현

선형변환 $T: V \to V$의 행렬 표현은 기저의 선택에 따라 달라집니다. 기저 $\beta = \{\mathbf{v}_1, \ldots, \mathbf{v}_n\}$에 대한 $T$의 행렬을 $[T]_\beta$로 쓰면:

$[T]_\beta$의 $j$번째 열은 $T(\mathbf{v}_j)$를 기저 $\beta$로 표현한 좌표입니다.

기저 변환 행렬

기저 $\beta$에서 기저 $\beta'$로의 변환행렬을 $P$라 하면:

이것이 닮음 변환(Similarity Transformation)입니다. 닮은 행렬은 같은 선형변환의 서로 다른 기저에 대한 표현입니다.

예시

$T: \mathbb{R}^2 \to \mathbb{R}^2$가 표준 기저 $\epsilon$에서 $[T]_\epsilon = \begin{pmatrix}2&1\\1&2\end{pmatrix}$일 때, 기저 $\beta = \left\{\begin{pmatrix}1\\1\end{pmatrix}, \begin{pmatrix}1\\-1\end{pmatrix}\right\}$에서의 행렬을 구합니다.

$P = \begin{pmatrix}1&1\\1&-1\end{pmatrix}$, $P^{-1} = \frac{1}{2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}$

고유벡터 기저를 선택하면 행렬이 대각화됩니다.

텐서곱 개요

텐서곱(Tensor Product)은 두 벡터 공간을 결합하여 더 큰 벡터 공간을 만드는 연산입니다.

정의

벡터 공간 $V$와 $W$의 텐서곱 $V \otimes W$는 다음 성질을 만족하는 보편적 쌍선형 사상에 의해 정의됩니다.

• $(\mathbf{u} + \mathbf{v}) \otimes \mathbf{w} = \mathbf{u} \otimes \mathbf{w} + \mathbf{v} \otimes \mathbf{w}$
• $\mathbf{v} \otimes (\mathbf{w}_1 + \mathbf{w}_2) = \mathbf{v} \otimes \mathbf{w}_1 + \mathbf{v} \otimes \mathbf{w}_2$
• $c(\mathbf{v} \otimes \mathbf{w}) = (c\mathbf{v}) \otimes \mathbf{w} = \mathbf{v} \otimes (c\mathbf{w})$

차원

$\dim(V) = m$, $\dim(W) = n$이면 $\dim(V \otimes W) = mn$입니다.

$V$의 기저 $\{\mathbf{e}_i\}$와 $W$의 기저 $\{\mathbf{f}_j\}$에 대해 $\{\mathbf{e}_i \otimes \mathbf{f}_j\}$가 $V \otimes W$의 기저가 됩니다.

행렬로 본 텐서곱 (크로네커 곱)

행렬 $A \in M_{m \times n}$, $B \in M_{p \times q}$의 크로네커 곱은 $mp \times nq$ 행렬입니다.

예시:

응용 — 페이지랭크, PCA, 마르코프 체인

구글 페이지랭크 (PageRank)

웹의 $n$개 페이지를 노드로, 하이퍼링크를 간선으로 표현합니다. 페이지 $j$가 $L_j$개의 링크를 가지고 있고 그 중 하나가 페이지 $i$로 간다면 전이행렬의 원소는:

감쇠인자(damping factor) $d$를 포함한 페이지랭크 공식:

$\mathbf{r}$은 전이행렬 $\hat{M} = \frac{1-d}{n}\mathbf{1}\mathbf{1}^T + dM$의 최대 고유값 1에 대응하는 고유벡터입니다. 멱법을 적용하여 반복적으로 수렴시킵니다.

간단한 예시 (3개 페이지):

페이지 A는 B, C로, B는 A로, C는 A로 링크합니다.

$d = 0.85$로 멱법을 적용하면 페이지 A의 랭크가 가장 높게 나옵니다 (가장 많은 인링크를 받으므로).

주성분 분석 (PCA)

$n$개의 데이터 포인트가 $p$차원인 데이터 행렬 $X$ ($n \times p$)에서 주성분을 추출합니다.

1. 중심화: 각 열의 평균을 빼서 $\bar{X}$를 만듭니다.
2. 공분산 행렬: $C = \frac{1}{n-1}\bar{X}^T\bar{X}$를 계산합니다.
3. 고유값 분해: $C = V\Lambda V^T$ (또는 $\bar{X}$의 SVD를 이용).
4. 차원 축소: 상위 $k$개 고유벡터(주성분)를 선택하여 $Y = \bar{X}V_k$로 투영합니다.

제1주성분은 데이터의 분산을 최대화하는 방향이며, 각 주성분은 서로 직교합니다.

마르코프 체인 (Markov Chain)

유한 상태를 가지는 확률 과정에서 전이확률행렬 $P$의 각 원소 $p_{ij}$는 상태 $j$에서 상태 $i$로 이동할 확률입니다.

$P$는 열 확률행렬(각 열의 합이 1)이며, 정상 분포 $\boldsymbol{\pi}$는 다음을 만족합니다.

이는 고유값 $\lambda = 1$에 대응하는 고유벡터를 구하는 문제입니다.

$\pi_2 = \frac{3}{4}\pi_1$이고 $\pi_1 + \pi_2 = 1$이므로: $\boldsymbol{\pi} = \begin{pmatrix}4/7\\3/7\end{pmatrix}$

참고자료

• Strang, G. — Linear Algebra and Its Applications, Academic Press
• Axler, S. — Linear Algebra Done Right, Springer
• Lay, D. C. — Linear Algebra and Its Applications, Pearson
• Horn, R. A. & Johnson, C. R. — Matrix Analysis, Cambridge University Press
• Trefethen, L. N. & Bau, D. — Numerical Linear Algebra, SIAM
• 추상대수학 — 벡터 공간의 일반화
• 미분방정식 — 고유값의 응용
• 통계학 — 회귀분석과 PCA
• 수치해석 — 수치적 행렬 계산
• 양자컴퓨팅의 수학 — 유니터리 행렬, 측정, 텐서곱의 응용