디버그 커널 설정 옵션 총정리

커널 디버깅(Debugging) 목적에 맞는 CONFIG 옵션 선택 가이드입니다. 디버그 정보 생성, 메모리 Sanitizer, 동기화 검증, 런타임 모니터링, ftrace/perf 설정을 카테고리별로 정리하고, 각 옵션의 동작 원리와 오버헤드를 설명합니다. 목적별 프로필과 Sanitizer 조합 가이드를 통해 개발·테스트·프로덕션 환경에 적합한 설정을 선택할 수 있습니다.

개요

리눅스 커널에는 수백 개의 디버깅 관련 CONFIG 옵션이 있습니다. 이 옵션들은 CONFIG_DEBUG_KERNEL을 최상위 스위치로 하여 트리(Tree) 구조로 조직되어 있습니다. 목적에 맞는 옵션을 선택적으로 활성화하면 불필요한 오버헤드 없이 디버깅 효율을 크게 향상시킬 수 있습니다.

디버그 옵션은 크게 정적 분석(Static Analysis)과 동적 분석(Dynamic Analysis)으로 나뉩니다. 정적 분석 옵션은 빌드 시점에 디버그 정보를 포함시키고(예: DWARF 심볼), 동적 분석 옵션은 런타임에 코드를 계측(Instrumentation)하여 버그를 탐지합니다. Sanitizer(KASAN, KMSAN, KCSAN, UBSAN)는 동적 분석의 대표적인 예로, 컴파일러가 삽입한 검사 코드가 런타임에 메모리 접근과 동기화를 검증합니다.

디버그 정보 옵션

디버그 정보 옵션은 빌드 시점에 커널 바이너리(vmlinux)에 심볼(Symbol) 정보와 타입(Type) 정보를 포함시킵니다. 이 정보는 GDB 디버깅, perf 프로파일링, BPF 프로그램 실행 등에 필수적입니다. 런타임 성능에는 거의 영향을 주지 않지만, 빌드 결과물의 크기가 크게 증가합니다.

DWARF(Debugging With Attributed Record Formats)는 디버거가 변수 이름, 타입, 소스 라인 번호를 알 수 있게 하는 표준 형식입니다. CONFIG_DEBUG_INFO를 활성화하면 GCC/Clang이 -g 플래그로 빌드하여 vmlinux에 DWARF 섹션을 포함시킵니다. DWARF v5(CONFIG_DEBUG_INFO_DWARF5)는 v4 대비 디버그 섹션 크기를 약 25% 줄이면서 동일한 정보를 제공합니다.

BTF(BPF Type Format)는 BPF 프로그램이 커널 구조체(Struct)의 필드 오프셋(Offset)을 정확히 알 수 있게 하는 경량 타입 형식입니다. CONFIG_DEBUG_INFO_BTF를 활성화하면 pahole 도구가 DWARF 정보를 BTF로 변환하여 커널에 포함시킵니다. bpftrace, BCC 등 BPF 기반 도구를 사용하려면 이 옵션이 필수입니다.

메모리 디버깅 옵션

메모리 디버깅 옵션은 커널의 메모리 할당/해제 과정에 검사 코드를 삽입하여 use-after-free, buffer overflow, 초기화되지 않은 메모리 읽기 등의 버그를 런타임에 탐지합니다. 이 옵션들은 검출 정밀도와 오버헤드 사이에 트레이드오프(Trade-off)가 있으므로, 개발/테스트/프로덕션 환경에 맞는 선택이 중요합니다.

KASAN 동작 원리

KASAN(Kernel Address Sanitizer)은 커널에서 가장 강력한 메모리 버그 탐지 도구입니다. 컴파일러가 모든 메모리 접근 명령 앞에 검사 코드를 삽입하며, 섀도 메모리(Shadow Memory)를 사용하여 각 바이트의 접근 가능 여부를 추적합니다.

KASAN Generic 모드에서는 커널 메모리 공간의 1/8 크기에 해당하는 섀도 메모리를 할당합니다. 실제 메모리 8바이트마다 섀도 메모리 1바이트가 대응하며, 섀도 값이 0이면 8바이트 모두 접근 가능, 1~7이면 해당 바이트 수만큼만 접근 가능, 음수이면 접근 불가(해제됨, 레드존 등)를 의미합니다.

KFENCE 동작 원리

KFENCE(Kernel Electric Fence)는 프로덕션 환경에서 사용할 수 있는 경량 메모리 버그 탐지 메커니즘입니다. KASAN과 달리 모든 메모리 접근을 검사하지 않고, 일정 간격(기본 100ms)마다 하나의 slab 할당을 가드 페이지(Guard Page)가 둘러싼 특별한 풀(Pool)로 리다이렉트합니다.

가드 페이지는 접근 불가로 매핑(Unmapped)되어 있어, 할당 영역을 벗어나는 접근이 발생하면 즉시 페이지 폴트(Page Fault)가 발생합니다. 이 방식은 샘플링 기반이므로 모든 버그를 잡지는 못하지만, 오버헤드가 거의 없어 프로덕션에서 장시간 실행하여 간헐적 버그를 탐지할 수 있습니다.

동기화/락 디버깅 옵션

동기화 디버깅 옵션은 데드락(Deadlock), 데이터 레이스(Data Race), 잘못된 컨텍스트에서의 sleep 등 동시성 관련 버그를 탐지합니다. 커널의 동시성 버그는 재현이 어렵고 디버깅이 까다로운데, 이 옵션들은 버그가 실제로 발생하기 전에 잠재적 위반을 감지하여 보고합니다.

LOCKDEP 동작 원리

LOCKDEP(Lock Dependency Validator)는 커널의 모든 락 획득/해제를 추적하여 락 순서 그래프(Lock Order Graph)를 구축합니다. 이 그래프에서 순환(Cycle)이 감지되면 잠재적 데드락으로 보고합니다. LOCKDEP의 핵심 강점은 데드락이 실제로 발생하지 않아도 잘못된 순서로 락을 잡는 코드 경로를 탐지하는 점입니다.

예를 들어 스레드(Thread) A가 lock_A → lock_B 순서로 잡고, 다른 코드 경로에서 lock_B → lock_A 순서로 잡으면, 두 스레드가 동시에 실행되지 않더라도 LOCKDEP가 순환 의존성을 보고합니다. 이는 미래에 발생할 수 있는 데드락을 예방하는 것입니다.

기타 디버깅 옵션

이 카테고리에는 런타임 동작을 모니터링하거나, 시스템 행(Hang) 상태를 감지하거나, 미정의 동작(Undefined Behavior)을 탐지하는 옵션들이 포함됩니다.

락업(Lockup) 감지 메커니즘

소프트 락업(Soft Lockup)은 CPU가 커널 모드에서 20초(기본값) 이상 다른 태스크에 양보(Yield)하지 않는 상태입니다. watchdog 커널 스레드(Kernel Thread)가 주기적으로 깨어나야 하는데, 타이머(Timer) 인터럽트가 동작하지만 스레드가 스케줄되지 못하면 소프트 락업으로 판정합니다.

하드 락업(Hard Lockup)은 CPU가 인터럽트조차 처리하지 못하는 심각한 상태입니다. NMI(Non-Maskable Interrupt) watchdog이 타이머 인터럽트 카운터가 증가하지 않음을 감지하면 하드 락업으로 보고합니다. 이는 보통 인터럽트를 비활성화한 채로 무한 루프에 빠진 경우에 발생합니다.

Sanitizer 비교 및 조합 가이드

리눅스 커널에서 제공하는 Sanitizer는 각각 특정 유형의 버그를 탐지합니다. 아래 표는 주요 Sanitizer의 탐지 대상과 제약사항을 비교한 것입니다.

목적별 디버그 프로필

아래는 디버깅 목적별로 최적화된 CONFIG 옵션 조합입니다. scripts/config 도구를 사용하면 .config 파일을 직접 편집하지 않고 옵션을 일괄 활성화/비활성화할 수 있습니다.

# 프로필 1: 기본 디버깅 (GDB + 로그)
./scripts/config --enable DEBUG_INFO
./scripts/config --enable DEBUG_INFO_DWARF_TOOLCHAIN_DEFAULT
./scripts/config --enable GDB_SCRIPTS
./scripts/config --enable FRAME_POINTER
./scripts/config --enable DYNAMIC_DEBUG
./scripts/config --enable DEBUG_FS
./scripts/config --enable MAGIC_SYSRQ

# 프로필 2: 메모리 버그 헌팅
./scripts/config --enable KASAN
./scripts/config --enable KASAN_GENERIC
./scripts/config --enable KFENCE
./scripts/config --enable SLUB_DEBUG
./scripts/config --enable DEBUG_PAGEALLOC
./scripts/config --enable PAGE_OWNER

# 프로필 3: 동기화 버그 헌팅
./scripts/config --enable LOCKDEP
./scripts/config --enable PROVE_LOCKING
./scripts/config --enable DEBUG_MUTEXES
./scripts/config --enable DEBUG_SPINLOCK
./scripts/config --enable DEBUG_ATOMIC_SLEEP
./scripts/config --enable DETECT_HUNG_TASK
./scripts/config --enable KCSAN

# 프로필 4: 성능 분석
./scripts/config --enable FTRACE
./scripts/config --enable FUNCTION_TRACER
./scripts/config --enable FUNCTION_GRAPH_TRACER
./scripts/config --enable KALLSYMS_ALL
./scripts/config --enable DEBUG_INFO_BTF

# 적용
make olddefconfig

ftrace/perf 기본 설정

ftrace와 perf는 커널 성능 분석과 동작 추적의 핵심 도구입니다. ftrace는 커널 내부에 내장된 추적 프레임워크로 함수 호출 순서와 실행 시간을 기록하며, perf는 하드웨어 성능 카운터(PMU)를 활용한 통계적 프로파일링 도구입니다. 두 도구는 상호 보완적이며, 목적에 따라 선택하여 사용합니다.

ftrace 기본 사용

# 커널 설정 (필수)
./scripts/config --enable FTRACE
./scripts/config --enable FUNCTION_TRACER
./scripts/config --enable FUNCTION_GRAPH_TRACER
./scripts/config --enable DYNAMIC_FTRACE
./scripts/config --enable STACK_TRACER

# ftrace 기본 사용 (tracefs 마운트(Mount) 필요)
mount -t tracefs nodev /sys/kernel/tracing

# 사용 가능한 트레이서 확인
cat /sys/kernel/tracing/available_tracers

# 함수 트레이서 활성화
echo function > /sys/kernel/tracing/current_tracer

# 특정 함수만 추적
echo "do_sys_openat2" > /sys/kernel/tracing/set_ftrace_filter

# 추적 시작/중지
echo 1 > /sys/kernel/tracing/tracing_on
# ... 작업 수행 ...
echo 0 > /sys/kernel/tracing/tracing_on

# 결과 확인
cat /sys/kernel/tracing/trace

# function_graph 트레이서 (호출 깊이 표시)
echo function_graph > /sys/kernel/tracing/current_tracer
echo "tcp_sendmsg" > /sys/kernel/tracing/set_graph_function
echo 1 > /sys/kernel/tracing/tracing_on

trace-cmd 사용

# trace-cmd 설치
sudo apt install trace-cmd

# 함수 추적 녹화
trace-cmd record -p function -l "do_sys_*"
# Ctrl+C로 중지

# 결과 보기
trace-cmd report | head -50

# function_graph 녹화
trace-cmd record -p function_graph -g tcp_sendmsg

# 이벤트 추적 (스케줄러)
trace-cmd record -e sched_switch -e sched_wakeup
trace-cmd report

perf 기본 사용

# perf 설치
sudo apt install linux-tools-common linux-tools-$(uname -r)

# 또는 커널 소스에서 빌드
make -C tools/perf install

# CPU 프로파일링 (10초간 시스템 전체)
perf record -a -g -- sleep 10
perf report

# 특정 프로세스 프로파일링
perf record -g -p $PID -- sleep 10

# 하드웨어 이벤트 카운터
perf stat -e cycles,instructions,cache-misses,branch-misses -- make -j$(nproc)

# 콜 그래프 시각화 (Flamegraph)
perf record -a -g -- sleep 30
perf script | stackcollapse-perf.pl | flamegraph.pl > flame.svg

# 커널 함수 프로파일링
perf top -e cycles:k # 커널 모드만

디버그 출력 분석

디버그 옵션을 활성화한 커널에서 버그가 탐지되면 dmesg에 상세한 보고서가 출력됩니다. 보고서 형식은 Sanitizer마다 다르므로, 각 형식을 이해하면 원인을 빠르게 파악할 수 있습니다.

KASAN 보고서 읽기

# KASAN use-after-free 보고서 예시
==================================================================
BUG: KASAN: slab-use-after-free in my_driver_read+0x4c/0x100
Read of size 4 at addr ffff888012345678 by task cat/1234

CPU: 2 PID: 1234 Comm: cat Not tainted 6.8.0-debug
Call Trace:
 dump_stack_lvl+0x48/0x70
 print_report+0xce/0x670
 kasan_report+0xb7/0xf0
 my_driver_read+0x4c/0x100  # ← 버그 발생 위치
 vfs_read+0x1a0/0x3a0

Allocated by task 1200:              # ← 메모리가 어디서 할당되었는지
 kmalloc+0x5a/0x90
 my_driver_open+0x30/0x80

Freed by task 1200:                 # ← 메모리가 어디서 해제되었는지
 kfree+0x68/0xd0
 my_driver_release+0x20/0x50
==================================================================

LOCKDEP 보고서 읽기

# LOCKDEP 순환 의존성 보고서 예시
======================================================
WARNING: possible circular locking dependency detected
6.8.0-debug #1 Not tainted
------------------------------------------------------
kworker/0:1/15 is trying to acquire lock:
ffff888001234500 (&dev->mutex){+.+.}-{3:3}

but task is already holding lock:
ffff888001234600 (&dev->spinlock){....}-{2:2}

which lock already depends on the new lock.

the existing dependency chain (in reverse order) is:
-> #1 (&dev->mutex){+.+.}-{3:3}:
       __mutex_lock+0xb8/0xf80
       driver_func_a+0x50/0x100

-> #0 (&dev->spinlock){....}-{2:2}:
       _raw_spin_lock+0x30/0x70
       driver_func_b+0x40/0xc0
======================================================

커널 커맨드 라인 디버그 파라미터

일부 디버그 기능은 커널 커맨드 라인(Boot Parameter)으로도 제어할 수 있습니다. 이 방법은 커널을 재빌드하지 않고 부팅 시점에 디버그 동작을 변경할 수 있어 편리합니다.

디버그 옵션 빠른 활성화 스크립트

커널 .config에서 디버그 옵션을 빠르게 활성화하는 scripts/config 명령어 모음입니다.

# === 메모리 디버깅 프로필 ===
./scripts/config -e KASAN -e KASAN_GENERIC      # 주소 살균기
./scripts/config -e KFENCE                       # 저오버헤드 메모리 오류 감지
./scripts/config -e KMEMLEAK                     # 메모리 누수 탐지
./scripts/config -e DEBUG_PAGEALLOC              # 페이지 할당 디버깅
./scripts/config -e PAGE_POISONING               # 해제된 페이지 포이즈닝

# === 동기화/락 디버깅 프로필 ===
./scripts/config -e PROVE_LOCKING                # LOCKDEP
./scripts/config -e DEBUG_LOCK_ALLOC             # 락 할당 추적
./scripts/config -e DETECT_HUNG_TASK             # 행 태스크 감지
./scripts/config -e SOFTLOCKUP_DETECTOR          # 소프트 락업 감지
./scripts/config -e DEBUG_ATOMIC_SLEEP           # 원자적 컨텍스트 sleep 감지

# === 정보 수집 프로필 ===
./scripts/config -e DEBUG_INFO -e DEBUG_INFO_DWARF5  # DWARF5 디버그 심볼
./scripts/config -e GDB_SCRIPTS                  # GDB 헬퍼 스크립트
./scripts/config -e FRAME_POINTER                # 정확한 스택 추적
./scripts/config -e FTRACE -e FUNCTION_TRACER    # ftrace 트레이서

# === 전체 적용 ===
make olddefconfig                                # 의존성 자동 해결
make -j$(nproc)

참고자료

• KASAN 공식 문서 — Kernel Address Sanitizer
• UBSAN 공식 문서 — Undefined Behavior Sanitizer
• KFENCE 공식 문서 — Kernel Electric-Fence
• Lockdep Design — 락 의존성 검증기 설계
• ftrace 공식 문서 — Function Tracer

관련 문서

이 주제와 관련된 다른 문서를 더 깊이 이해하고 싶다면 다음을 참고하세요.

• 디버깅 — printk, debugfs, crash dump, GDB 커널 디버깅
• Lockdep — 락 의존성 검증, 교착 상태 감지 상세
• OOM Killer — 메모리 부족 시 프로세스 종료 (KASAN/KMEMLEAK 연계)
• SLAB 할당자 — slub_debug, SLUB 디버그 옵션
• 개발 환경 설정 — QEMU+GDB 디버깅 환경 구축
• 에디터 설정 — 에디터와 GDB 연동 (DEBUG_INFO 활용)
• ftrace — 함수 트레이서, 이벤트 트레이싱 상세