AI가 DDoS를 막는 원리

 

출처: COLO BIRD

 

2025년 초 Cloudflare는 초당 5.6Tbps(테라비트) 규모의 DDoS 공격을 단번에 방어해냈다. 수치만으로는 감이 잘 오지 않지만, 이는 1초에 5,600기가의 트래픽이 한 서버로 쏟아진 것이다. 예전처럼 방화벽 룰과 IP 차단 리스트로 막을 수 있는 수준은 완전히 벗어났다. 그래서 AI DDoS 방어는 단순한 마케팅 용어가 아니라 진짜 실무 표준이 되었다. 이 글에서는 DDoS가 대체 무엇이고, 왜 전통 방어가 통하지 않는지, AI가 구체적으로 어떤 원리로 트래픽을 걸러내는지, 그리고 중소기업도 실제로 사용할 수 있는 솔루션에는 무엇이 있는지 순서대로 정리한다.

 

DDoS 공격은 대체 무엇인가, 한 줄 요약

 

DDoS(Distributed Denial of Service)는 한마디로 "전국 각지에 뿌려진 좀비 PC들이 한 서버로 트래픽을 쏘아 다운시키는 공격"이다. 이름 그대로 "분산(Distributed)"된 여러 출처에서 동시에 들어오는 것이 핵심이다.

 

DoS와 DDoS의 차이

 

DoS(Denial of Service)는 공격자 한 명이 서버 하나를 공격하는 방식이다. 이는 해당 IP만 차단하면 종결된다. 반면 DDoS는 공격자가 봇넷(Botnet)으로 감염시킨 좀비 PC 수천수만 대를 동시에 동원해 공격한다. IP를 차단해도 다른 IP 수만 개가 또 공격하므로 막을 수 없다.

 

왜 분산이 그토록 골치 아픈가

 

한 IP당 초당 10번 요청을 보낸다고 치면 혼자서는 서버를 내릴 수 없다. 그러나 5만 대가 똑같이 초당 10번씩 보내면 초당 50만 요청이 된다. 심지어 각각은 "정상 사용자처럼" 보이게 설계할 수도 있다. 이것이 단순 IP 차단이나 레이트 리미팅으로는 풀리지 않는 이유이다.

 

2024~2025 공격 규모 통계

 

• 2016년 미라이 봇넷: 1.1Tbps (당시에는 역대급이라고 떠들썩했다)
• 2023년 HTTP/2 Rapid Reset (CVE-2023-44487): 초당 3.98억 요청(398M rps) — Google Cloud 기록
• 2025년 초 Cloudflare: 5.6Tbps 볼류메트릭 공격 방어

 

9년 사이 볼륨이 5배 이상 커졌고, L7(애플리케이션 계층) 공격은 비교도 되지 않게 정교해졌다.

 

DDoS 공격 종류 3가지로 분류한다

 

 

출처: Cisco

 

공격은 크게 OSI 모델의 어느 계층을 노리느냐에 따라 나뉜다. 방어 전략도 계층별로 완전히 다르므로 이 구분이 중요하다.

 

볼류메트릭 공격 (Volumetric) — 회선 자체를 마비시키는 타입

 

가장 원시적이지만 가장 위협적인 유형이다. 트래픽을 감당하지 못할 만큼 쏟아부어 회선 대역폭을 전부 채워버린다.

 

• UDP Flood: 랜덤 UDP 패킷을 무차별 발사한다. 서버가 응답을 처리하다가 대역폭이 소진된다
• DNS Amplification: 작은 쿼리를 보내면 DNS 서버가 큰 응답을 피해자에게 쏘도록 유도한다 — 공격 트래픽이 증폭된다
• NTP Amplification: NTP 서버 취약점을 이용해 최대 556배까지 증폭이 가능하다

 

Cloudflare가 방어한 5.6Tbps가 이 유형이다. 회선을 아예 사용할 수 없게 만드는 것이라 단일 서버나 작은 데이터센터는 처음부터 게임이 성립하지 않는다.

 

프로토콜 공격 (Protocol) — 자원 고갈 유도

 

서버 자체의 연결 상태 테이블이나 방화벽 리소스를 고갈시킨다.

 

• SYN Flood: TCP 3-way handshake의 SYN만 보내고 ACK를 돌려주지 않는다 → 서버가 half-open 연결로 가득 차게 된다
• Ping of Death: 규격을 초과한 ICMP 패킷을 보내 오래된 스택을 망가뜨린다 (요즘은 거의 통하지 않는다)
• Smurf Attack: 브로드캐스트 주소로 ICMP를 보내 네트워크 전체가 피해자에게 응답하도록 만든다

 

애플리케이션 계층 공격 (L7) — 가장 까다로운 타입

 

감지하기 가장 어려운 유형이다. 정상 HTTP 요청처럼 보이지만 서버 CPU/DB를 갈아 넣는다.

 

• HTTP Flood: 정상 GET/POST를 말도 안 되는 속도로 발사한다. 패킷 단위로는 정상이라 시그니처 탐지가 불가능하다
• Slowloris: 반대로 느리게 요청을 보내 커넥션을 점유한다. 서버 워커 스레드를 전부 선점한다
• 검색/로그인 엔드포인트 타격: DB 쿼리가 많이 발생하는 엔드포인트만 골라 공격한다

 

최신 트렌드 — HTTP/2 Rapid Reset, AI 기반 공격

 

2023년 말 터진 HTTP/2 Rapid Reset은 HTTP/2의 스트림 취소 메커니즘을 악용한 공격이다. 스트림을 열자마자 RST_STREAM으로 취소하는 동작을 반복해 서버 자원만 소모시킨다. 단일 연결에서 초당 수만 요청을 만들어낼 수 있어 파장이 컸다.

 

더 심각한 것은 공격자가 AI를 사용하기 시작했다는 점이다. 과거 봇은 패턴이 뻔했지만, 요즘은 LLM이 정상 사용자 행동을 시뮬레이션해 User-Agent, 마우스 움직임, 요청 간격까지 자연스럽게 흉내 낸다. 이렇게 되면 전통 봇 탐지 룰로는 걸러낼 수 없다.

 

전통 DDoS 방어 방식이 왜 통하지 않는가

 

예전에는 DDoS 방어가 거의 "IP 블랙리스트 + 레이트 리미팅 + 방화벽 룰" 조합이었다. 그러나 지금은 이것이 거의 모두 뚫린다.

 

시그니처 기반 방어의 한계

 

시그니처는 "알려진 악성 패턴"을 DB화해 매칭하는 방식이다. 그러나 공격자가 매번 새로운 페이로드 형태로 변환하면 DB가 따라가지 못한다. 특히 L7 공격은 HTTP 요청이 문법적으로 정상이라 매칭할 시그니처 자체가 없다.

 

레이트 리미팅이 실패하는 이유

 

"한 IP당 초당 10회까지"로 제한해도, 봇넷이 5만 대라면 초당 50만 요청이 "정상 범위"로 들어온다. 심지어 요즘 봇넷은 IP당 요청 속도를 일부러 낮춰 임계값 밑으로 깔아둔다.

 

정상 트래픽과 봇 트래픽의 구분이 어렵다

 

블랙프라이데이 같은 세일 시즌에는 트래픽이 평소의 50배로 치솟기도 한다. 이것이 공격이라면 차단해야 하지만, 정상 트래픽이라면 매출이다. 단순 임계값으로는 이를 구분할 수 없다. 잘못 차단하면 매출이 날아간다.

 

AI가 DDoS를 막는 원리 (이 글의 핵심)

 

 

출처: ru.uec.ac.jp

 

AI DDoS 방어의 본질은 "알려진 악성 패턴 매칭"에서 "정상 대비 이상 패턴 탐지"로 패러다임을 전환한 것이다. 구체적으로 어떻게 동작하는지 단계별로 살펴본다.

 

1단계: 트래픽 패턴 학습 — 정상 베이스라인 구축

 

가장 먼저 수행하는 작업은 "우리 서비스의 평소 트래픽이 어떤 형태인가"를 학습시키는 것이다. 수집하는 특징(feature)이 한둘이 아니다.

 

• 시간대별 요청량
• 지역별(IP 지오로케이션) 분포
• User-Agent 분포
• 요청 메소드 비율 (GET/POST/PUT)
• URL 경로 분포
• 세션당 평균 요청 수
• 요청 간격(inter-arrival time) 분포

 

이를 며칠에서 몇 주 동안 관찰해 "정상 프로파일"을 구축한다. 비유하자면 신입 직원이 출근해 누가 평소 어떻게 일하는지 눈에 익혀두는 것과 비슷하다.

 

2단계: 이상 탐지 (Anomaly Detection) 알고리즘

 

베이스라인이 확보되면 실시간 트래픽을 여기에 비교한다. 주로 사용되는 알고리즘은 3종이다.

 

• Autoencoder: 신경망이 정상 트래픽을 "압축했다가 복원"하는 과정을 학습한다. 복원 오차가 크면 이상 트래픽이다. 평소 데이터만으로 훈련돼 신규 공격도 탐지할 수 있다
• Isolation Forest: 트래픽을 랜덤하게 분할했을 때, 이상치는 몇 번 분할하지 않아도 고립된다. 계산 비용이 낮고 실시간 처리에 유리하다
• LSTM 시계열 모델: 트래픽이 시간에 따라 변하는 패턴을 학습한다. 예컨대 "이 IP는 평소 1분에 5번 접근하는데 갑자기 초당 200번 접근한다" 같은 이상을 잡아낸다

 

"평소와 다른 깃발"을 드는 시스템이라 보면 된다. 시그니처 기반이 "블랙리스트 매칭"이라면, 이것은 "화이트리스트 이탈 감지"이다.

 

3단계: 실시간 분류 — Random Forest, 그래디언트 부스팅

 

이상이 감지됐다고 모두 차단해서는 안 된다. 정확히 "공격인가 정상 스파이크인가"를 분류해야 한다. 이 지점에서 지도학습 모델이 투입된다.

 

• Random Forest: 수백 개의 의사결정 트리가 투표로 분류한다. 해석력이 좋고 속도가 빠르다
• XGBoost / LightGBM: 복잡한 패턴을 학습하는 그래디언트 부스팅 계열이다. 현업에서 가장 많이 사용된다
• 딥러닝 분류기: 특징 엔지니어링 없이도 원본 패킷에서 패턴을 추출한다

 

Cloudflare의 Bot Management는 머신러닝으로 99% 이상을 자동 차단한다고 주장한다. 다만 이 수치는 자사 주장이므로 절반은 걸러서 이해하면 된다.

 

4단계: 행동 기반 분석 — 봇과 사람의 구분

 

AI 방어의 핵심이다. 요청 내용만 보는 것이 아니라 행동 시퀀스를 분석한다.

 

• 마우스 움직임 궤적 (사람은 곡선, 봇은 직선)
• 페이지 전환 패턴
• 폼 입력 속도
• 자바스크립트 실행 흔적
• TLS fingerprint (JA3/JA4 핑거프린팅)

 

사람은 랜덤하고 비효율적으로 움직이지만, 봇은 너무 일관되거나 너무 규칙적이다. 이 차이를 ML이 포착한다.

 

5단계: 적응형 차단 — 공격 진화에 실시간 대응

 

공격자도 봇 패턴을 바꿔가며 진화하므로, 방어 측도 실시간으로 모델을 업데이트해야 한다. 요즘은 온라인 학습(online learning) 또는 주기적 재학습으로 모델을 갱신한다. 새로운 공격이 유입되면 수 분에서 수 시간 안에 전체 네트워크에 차단 규칙이 전파된다.

 

실제 AI 기반 DDoS 방어 솔루션 비교

 

상용으로 쓸 만한 대표 솔루션들의 비교표이다. 가격과 AI 활용도를 기준으로 정리했다.

 

솔루션	타입	AI 활용도	가격대	특징
**Cloudflare**	글로벌 CDN + WAF	매우 높음	무료 티어 있음, Pro $20/월~	L3/4는 기본 포함, L7은 플랜별이다. Magic Transit은 별도 엔터프라이즈
**AWS Shield Advanced**	AWS 통합 방어	높음	월 $3,000~	AWS 리소스 자동 통합, ML 기반 적응형 완화
**Akamai Prolexic**	전용 스크러빙 센터	높음	엔터프라이즈 견적	세계 최대 스크러빙 용량, 대형 금융·게임이 많이 사용한다
**Imperva**	WAF + DDoS	높음	월 $300~	L7 방어 강점
**SK쉴더스 (KT, LG U+ 포함)**	국내 통신사	중	월 수백만원~	국내 회선 연계, 한국어 지원
**안랩 AIPS**	국산	중	견적	국내 금융권 선호

 

Cloudflare 무료 티어도 L3/4 볼류메트릭 공격은 자동 방어된다. 스타트업이라면 우선 이것을 연결하고 시작하는 것이 정석이다. L7 보호가 필요하면 Pro 플랜($20/월)부터 일부 지원된다. 기업급 L7 전체 방어는 Business($200/월)나 Enterprise로 가야 한다.

 

AWS 사용처라면 Shield Standard는 무료로 따라온다. Advanced는 가격이 비싸지만 재무적 손실 커버(Cost Protection)를 제공해 엔터프라이즈에게는 보험 같은 가치를 가진다.

 

국내에서는 금융권이 주로 안랩, SK쉴더스, KT를 사용한다. 이유는 단순하다. 국내 회선 연계와 금융감독원 규제 요구사항을 충족해야 하는데, 해외 벤더만으로는 부족할 수 있기 때문이다.

 

오픈소스나 DIY 옵션은 없는가

 

예산이 정말 없는 경우 사용할 수 있는 오픈소스 선택지도 있다. 다만 대규모 볼류메트릭 공격은 회선 용량 자체가 부족해 방어할 수 없다. L7이나 소규모 방어용이다.

 

• CrowdSec: 커뮤니티 기반 블록리스트 공유 시스템이다. 전 세계 사용자가 감지한 악성 IP를 실시간으로 공유한다. 무료이다
• Fail2ban + 커스텀 필터: 로그 패턴을 보고 자동 차단한다. 규칙을 잘 설계하면 L7 공격을 어느 정도 방어할 수 있다
• Suricata / Snort + ML 플러그인: IDS에 머신러닝을 결합해 이상 트래픽을 탐지한다

 

CDN 앞단에 오픈소스를 두는 조합도 나쁘지 않다. 예컨대 Cloudflare 무료 + 서버 앞 CrowdSec 조합이다. 이 구성이면 L3/4는 CF가 처리하고 L7은 CrowdSec이 보조한다.

 

AI DDoS 방어의 한계와 함정

 

AI는 만능이 아니다. 몇 가지 유의할 점이 있다.

 

오탐(False Positive) 문제

 

ML이 민감할 경우 정상 사용자도 봇으로 걸러버린다. 블랙프라이데이 같은 트래픽 스파이크 시점에 심심치 않게 발생한다. 대표 사례가 캡차가 무한 루프를 도는 상황이다 — 사용자 이탈이 즉시 발생한다. 민감도 튜닝을 하지 않으면 매출이 날아갈 수 있다.

 

적대적 머신러닝 (Adversarial ML) 공격

 

공격자가 ML 모델의 특성을 역이용해 "정상처럼 보이는 공격"을 설계하는 기법이다. 최근 연구에서는 생성형 AI로 합성한 트래픽이 기존 탐지 모델을 속이는 실험 결과가 쏟아지고 있다. 방어 측도 이를 잡아내는 연구를 병행해야 하는 상황이다.

 

학습 데이터 편향

 

AI가 과거 트래픽만 보고 학습했다면, 처음 접하는 패턴의 공격에는 반응이 느리다. 그래서 벤더들은 전 세계 고객 트래픽을 익명화해 공유 학습하는 방식을 사용한다. 이것이 또 다른 프라이버시 이슈를 낳기도 한다.

 

중소기업이 지금 실행할 수 있는 현실적 방어 체크리스트

 

 

예산 규모별로 최소한 이 정도는 구축해두어야 한다.

 

예산 0원 — 우선 이것부터

 

• Cloudflare 무료 티어 연결: DNS만 옮기면 자동으로 L3/4 DDoS 방어가 붙는다
• 기본 rate limiting: nginx나 앱 서버에서 IP별 초당 요청을 제한한다
• 자동 IP 차단 스크립트: fail2ban을 설치해 로그인 실패가 반복되는 IP를 자동 차단한다
• 관리자 페이지 IP 화이트리스트: 관리 엔드포인트는 특정 IP만 허용한다

 

월 10~30만 원 수준

 

• Cloudflare Pro/Business: L7 공격 자동 방어가 켜지고, Bot Management를 사용할 수 있다
• CrowdSec 설치: 서버에 설치해 커뮤니티 블록리스트를 활용한다
• CDN + 오리진 마스킹: 서버 IP를 노출하지 않는다. 공격자가 타깃을 잡지 못하게 차단한다
• 로깅/모니터링 강화: Grafana + Loki나 Datadog으로 트래픽 대시보드를 구축한다

 

엔터프라이즈급 (월 수백만~수천만 원)

 

• AWS Shield Advanced, Akamai Prolexic, SK쉴더스 같은 전담 스크러빙 계약
• SOC(Security Operations Center) 운영 또는 외주
• BCP/DR 훈련, 공격 대응 플레이북 작성

 

정리하면 다음과 같다

 

DDoS는 이제 "서버 다운" 수준이 아니라 5Tbps를 넘는 회선 마비 + AI 기반 봇 우회 같은 정교한 공격이 일상이다. 이 글에서 확인한 핵심은 3가지이다.

 

1. DDoS는 크게 볼류메트릭·프로토콜·L7 세 종류이다 — 각각 방어 전략이 다르다. L7이 가장 까다롭다
2. AI DDoS 방어는 "정상 베이스라인 vs 이상 패턴" 패러다임이다 — 시그니처 기반으로는 이제 한계이다. Autoencoder, Isolation Forest, LSTM, Random Forest가 실제로 동작한다
3. 오탐·적대적 ML이라는 한계도 분명하다 — AI를 무조건 신뢰하지 말고 로깅·수동 오버라이드 같은 안전장치가 필수이다

 

지금 당장 실행할 수 있는 최소 방어는 Cloudflare 무료 티어 연결 + 로깅 활성화이다. 이것만으로도 스크립트 키디 수준은 대부분 걸러진다. 엔터프라이즈라면 AWS Shield Advanced나 Akamai Prolexic 계약을 검토해야 한다. 더 깊이 살펴보고 싶다면 Cloudflare Radar의 실시간 공격 통계와 KISA 보호나라의 국내 침해사고 통계를 참고하면 된다.

 

공격은 계속 진화하므로 방어도 "한 번 배포하면 끝"이 아니라 지속적 튜닝이 답이다. 우선 오늘 DNS를 옮기는 것부터 시작하면 된다.