고급 암호화 및 사이버 보안: 기술 핸드북

고급 암호학 및 사이버 보안 — 종합 기술 핸드북

1 소개

1.1 사이버 보안이란?

사이버 보안은 정보 시스템·네트워크·애플리케이션·데이터를 무단 접근·파괴·변조로부터 보호하는 학문입니다. 거버넌스, 위험 관리, 보안 공학, 모니터링, 사고 대응, 복원력을 포함하며, 기밀성·무결성·가용성 (CIA)을 유지하면서 규제 요구 사항과 새로운 위협에 대응합니다.

1.2 암호학이란?

암호학은 정보를 암호화·복호화하여 승인된 당사자만 읽거나 수정할 수 있도록 하는 과학입니다. 현대 암호학은 형식적 증명, 수론적 난제(예: 인수분해, 이산 로그) 및 철저히 검증된 알고리즘에 기반해 소프트웨어·하드웨어에 암호화, 인증, 무결성, 부인 방지 기능을 제공합니다.

1.3 두 영역이 분리될 수 없는 이유

암호학은 암호화·서명·해시와 같은 기술적 원시 요소를 제공해 보안 아키텍처의 정책과 제어를 구현합니다. 모든 제로 트러스트 홉, 보안 부팅, 비밀번호 금고는 결국 encrypt/decrypt 또는 sign/verify를 호출합니다. 강력한 암호학 없이는 사이버 보안은 물리적 방화벽 수준에 머무르며 클라우드‑네이티브 분산 환경에서는 부족합니다.

1.4 핵심 원칙: CIA·인증·부인 방지

기밀성 (Confidentiality) — 암호화 및 접근 제어로 데이터 노출 방지
무결성 (Integrity) — MAC, 해시, 디지털 서명으로 변조 감지
가용성 (Availability) — 이중화, DoS 방어, 탄력 설계로 시스템 지속 운영
인증 (Authentication) — PKI, 토큰, MFA로 신원 검증
부인 방지 (Non‑Repudiation) — 서명된 로그 등 암호 증거로 사후 부인 불가

2 수학·이론 기반

2.1 수론 개요

현대 암호 시스템은 소수, 모듈러 산술, 유한 체에 의존합니다. 확장 유클리드 알고리즘, 오일러 파이 함수, 중국 나머지 정리는 RSA 키 생성과 ECC 점 곱셈의 핵심입니다.

2.2 엔트로피·난수·정보 이론

안전한 키는 고엔트로피 소스가 필요합니다. 섀넌의 완전 비밀성은 키 엔트로피 ≥ 메시지 엔트로피일 때 암호문이 정보를 노출하지 않음을 증명합니다.

2.3 복잡도 클래스와 “어려운” 문제

보안은 계산 비대칭성에서 옵니다. 방어자는 쉬우나 공격자는 어려운 문제(예: 소인수 분해). 쇼어, 그로버 알고리즘이 이 가정을 위협하며 포스트‑양자 암호를 촉진합니다.

2.4 확률과 위협 모델링

생일 역설이 해시 길이를 결정하고, 포아송 분포가 비밀번호 추측 성공률을 추정합니다. 정량적 위험 분석은 확률을 방어 우선순위로 전환합니다.

3 암호 기본 요소

3.1 대칭키 알고리즘

3.1.1 블록 암호 (AES, Camellia, Twofish)

공유 키로 고정 길이 블록을 변환합니다. AES는 사실상 표준이며 AES‑NI로 HW 가속됩니다.

3.1.2 스트림 암호 (ChaCha20)

키스트림을 생성해 평문과 XOR합니다. ChaCha20‑Poly1305는 AES 없는 CPU에서도 빠르고 인증을 포함합니다.

3.1.3 동작 모드 (GCM, CBC, CTR, XTS)

블록 암호를 가변 길이 암호로 확장합니다. GCM은 AEAD, XTS는 스토리지 섹터 보호, 신규 설계에서 인증되지 않은 CBC는 지양합니다.

3.2 공개키 알고리즘

3.2.1 RSA와 키 길이

약 128‑비트 안전에는 3072‑비트 키와 OAEP 패딩이 필요합니다.

3.2.2 ECC (X25519, Ed25519)

ECC는 더 작은 키로 동일한 안전성을 제공하며 빠릅니다. Curve25519/Ed25519는 과거 함정을 회피합니다.

3.2.3 포스트‑양자 암호군

CRYSTALS‑Kyber(KEM), Dilithium(서명)이 NIST 후보이며 **SPHINCS+**는 상태 없는 해시 서명입니다.

3.3 해시·MAC 함수

SHA‑2/3가 주류, BLAKE3는 트리 해싱·SIMD 병렬을 제공합니다. HMAC, Poly1305로 무결성을 확보합니다.

3.4 키 파생·비밀번호 강화

Argon2는 메모리 집약 설계로 GPU 공격을 완화, scrypt는 저사양 기기에 적합합니다.

3.5 디지털 서명·인증서

서명은 신원을 데이터에 연결합니다. X.509 인증서는 공용 키를 신뢰 CA에 체인합니다. Certificate Transparency가 감사성을 높입니다.

3.6 난수 생성·하드웨어 TRNG

RNG 편향은 전체 알고리즘을 약화시킵니다. HW 엔트로피 + DRBG(NIST SP 800‑90A) 조합이 권장됩니다.

4 프로토콜 및 보안 채널

4.1 TLS 1.3 핸드셰이크

TLS 1.3은 왕복 횟수를 줄이고 메타데이터를 추가 암호화하며 AEAD(AES‑GCM/ChaCha20‑Poly1305)를 강제합니다. 0‑RTT는 지연을 줄이지만 재전송 공격 위험이 있습니다.

4.2 IPsec vs WireGuard

IPsec은 성숙하지만 복잡, WireGuard는 약 4kLOC·NoiseIK 암호·고성능·감사 용이.

4.3 SSH 키 교환·전방 비밀성

SSH는 DH/ECDH로 키 합의, 해시 KDF로 세션 키 파생. Ed25519 호스트 키 권장, RSA‑SHA1 비활성화.

4.4 이메일 보안 (PGP, S/MIME, DKIM, DMARC)

종단 간 암호화로 내용 보호, TLS로 SMTP 홉 보호. DKIM 헤더 서명, DMARC가 SPF·DKIM을 정렬해 스푸핑 방지.

4.5 제로 지식 증명·MPC

zk‑SNARK로 비밀을 공개하지 않고도 지식 증명, MPC로 임계 서명·비밀 계산을 구현.

5 키 관리 및 인프라

5.1 키 수명주기

생성 → 활성화 → 회전 → 일시중지 → 폐기 → 파기. 자동 정책이 오류를 줄입니다.

5.2 HSM·KMS 서비스

HSM은 변조 방지 저장소와 격리 연산을 제공. AWS KMS, GCP KMS, Azure Key Vault가 HSM API 제공, 키 내보내기는 이중 승인 필요.

5.3 PKI 설계 패턴

기업 PKI: 오프라인 루트 CA, 온라인 발급 CA, OCSP 응답기. ACME·cert‑manager로 자동 발급.

5.4 클라우드 네이티브 시크릿 관리

Vault, AWS Secrets Manager, GCP Secret Manager가 저장·회전·런타임 주입. 서비스 메시(mTLS)가 인증서 자동 갱신.

5.5 포스트‑양자 이전 계획

알고리즘 인벤토리화, x25519+Kyber768 하이브리드 TLS, 대칭 키 256‑bit, 암호 애자일 파이프라인 구축.

6 응용 및 산업 사례

6.1 저장 데이터 암호화

전체 디스크 암호화(BitLocker, LUKS)·투명 DB 암호화(TDE)로 분실 장치·스냅샷 위험을 완화. XTS‑AES·엔벌로프 암호가 일반적.

6.2 안전한 메시징 (Signal, Matrix)

Signal(X3DH+Double Ratchet)이 전방·사후 비밀성 제공, Matrix는 Olm/Megolm으로 대규모 그룹 E2EE.

6.3 블록체인·스마트 계약 보안

서명이 거래를 인증, 합의 알고리즘이 Sybil 완화, 형식 검증으로 재진입 등 방지.

6.4 인증 토큰 (OAuth 2.1, WebAuthn, FIDO2)

OAuth/OIDC가 JWT/PASETO 발행, WebAuthn은 HW 공개키로 패스워드 제거.

6.5 안전 결제·PCI DSS

PAN 종단 간 암호, 토큰화. PCI DSS 4.0은 키 관리·스캔·세그먼트 요구, 3‑D Secure 2.x·EMVCo 토큰으로 CNP 사기 감소.

6.6 IoT 펌웨어 서명·업데이트

제한 디바이스는 Ed25519 서명으로 펌웨어 검증. Secure Boot, TLS PSK/DTLS 업데이트, TPM/TrustZone‑M Root of Trust로 악성 플래시 방지.

7 위협 환경 및 공격 기법

7.1 암호 분석 범주

차분·선형 — 대칭 암호의 통계 편향 이용
대수·Index Calculus — 공개키 프리미티브 대상
사이드 채널 — 시간·전력·EM·음향으로 키 추출

7.2 키 복구 공격

무차별, 사전, 레인보우 테이블 — 높은 엔트로피·느린 KDF 필수.

7.3 프로토콜 취약점

Downgrade(POODLE), Padding Oracle(Lucky13), 메모리 버그(Heartbleed).

7.4 MITM·리플레이·세션 하이재킹

약한 인증서 검증·nonce 처리·토큰 만료로 트래픽 탈취/재전송. mTLS·시간 기반 토큰·Anti‑Replay로 완화.

7.5 양자 컴퓨팅 위협 일정

NIST는 10–15년 내 의미 있는 양자 컴퓨터 출현 예상. 하이브리드 모드·PQC 마이그레이션 로드맵이 시급.

7.6 공급망·백도어 위험

SolarWinds형 라이브러리, CI/CD, 내부자에 의한 악성 코드·약한 키 주입. SBOM·sigstore로 검증.

8 심층 방어와 모범 사례

8.1 암호 애자일리티

프리미티브를 API 뒤로 캡슐화하여 스위트 교체 시 로직 변경 최소화.

8.2 안전한 코딩 가이드

Memory‑safe 언어(Rust, Go)·상수 시간 라이브러리, 위험 함수 금지, 컴파일러 하드닝 활성화.

8.3 CI/CD 시크릿 스캔

git‑secrets, TruffleHog, DLP로 키·토큰 포함 커밋 차단, pre‑commit hook 강제.

8.4 인증서 핀닝·투명성

모바일에서 핀닝으로 악성 CA 차단, Certificate Transparency 로그로 오발급 감시, STH 모니터링.

8.5 키 자동 회전·암호 위생

ACME 자동 갱신, 짧은 TTL, 키·인증서 인벤토리 관리.

8.6 퍼플팀 암호 평가

Red/Purple 연습으로 토큰 유출·다운그레이드 루트·HSM 추출 위험 테스트.

9 거버넌스·컴플라이언스·정책

9.1 전세계 암호 수출 통제

바세나르 협정·미 EAR는 강력 암호 수출 제한, 시장별 라이선스 필요.

9.2 GDPR·HIPAA·PCI DSS의 암호 조항

GDPR 제32조는 "최신" 암호 요구, HIPAA §164.312(a)(2)(iv)는 저장 데이터 보호, PCI 

9.3 NIST 800-53 / ISO 27001 통제 매핑

SC-13, SC-28, IA-7 등 통제 패밀리는 키 관리, 암호화, 다중 인증을 규정합니다. 두 표준 간 매핑을 통해 외부 감사와 내부 거버넌스를 단순화할 수 있습니다.

9.4 사고 공개 및 키 손상 프로토콜

키 유출 시 즉각적인 인증서 폐지, 키 교체, 고객 통보, 그리고 GDPR 72시간 보고를 포함한 법적 보고 절차를 사전에 정의해 두어야 합니다.

10 안전한 소프트웨어·시스템 수명주기

10.1 위협 모델링 및 설계 리뷰 게이트

STRIDE/LINDDUN 기법으로 초기 설계 단계에서 암호 사용 오류를 발견하고, RFC 체크리스트를 사용해 아키텍처 리뷰에서 필수 요건을 검증합니다.

10.2 암호화 라이브러리: 도입 vs 자체 개발

OpenSSL 3.x, BoringSSL, libsodium과 같은 검증된 라이브러리를 우선 사용하십시오. 자체 구현 시 제3자 보안 감사 및 형식 검증이 필수입니다.

10.3 정적·동적 분석으로 오용 탐지

Linter로 약한 알고리즘을 제거하고, fuzzer(libFuzzer, AFL)로 파서 취약점을 찾으며, 동적 분석 툴로 예외 경로를 점검합니다.

10.4 현장 패치 관리 및 인증서 갱신

디지털 서명된 OTA 업데이트, 단계적 배포, 만료 대시보드를 통해 패치와 인증서를 안전하게 유지합니다.

11 사고 대응 및 디지털 포렌식

11.1 로그에서 암호 구성 오류 탐지

SIEM 규칙을 통해 Null cipher-suite, 자체 서명 인증서, TLS 다운그레이드 시도를 경고합니다.

11.2 메모리 획득 및 키 추출

콜드 부트·DMA 공격은 RAM에서 키를 추출할 수 있습니다. TPM으로 봉인된 FDE 키와 절전 시 화면 잠금을 적용하십시오.

11.3 암호화 증거의 증거 보전 체인

해시, 매체 ID, 접근 로그를 기록하고, 키 자료는 봉인 가방에 보관하여 무결성을 유지합니다.

12 신흥 영역

12.1 포스트-양자 표준화 로드맵

NIST PQC 4라운드, ETSI TC CYBER, IETF cfrg 초안을 추적하여 TLS·SSH에 통합하십시오.

12.2 동형 암호 및 프라이버시 보존 분석

CKKS, BFV, TFHE 스킴은 암호화된 데이터 상에서 직접 연산을 허용해 규제 데이터 공유를 가능하게 합니다.

12.3 기밀 컴퓨팅 및 TEE

Intel SGX, AMD SEV-SNP, Arm CCA는 하드웨어 격리 Enclave에서 워크로드를 보호하여 멀티 테넌트를 안전하게 지원합니다.

12.4 AI 기반 암호 분석 및 방어

신경망은 사이드 채널 차분 분석을 가속하며, AI 모델은 이상 핸드셰이크와 악성 인증서를 실시간 탐지합니다.

12.5 탈중앙화 신원(DID) 및 검증 가능 자격증명

W3C DID 스펙과 VC 모델은 사용자 주권형 신원과 암호화된 증명을 제공합니다.

13 학습 경로 및 자료

13.1 필독 서적 및 RFC

"Applied Cryptography" — Bruce Schneier
"Serious Cryptography" — Jean-Philippe Aumasson
RFC 8446 (TLS 1.3), RFC 7519 (JWT), NIST SP 800-90A/B/C

고급 암호화 및 사이버 보안: 기술 핸드북

사이버 보안 경력을 다음 단계로 끌어올리세요