VPN 프로토콜 비교

같은 VPN이라도 내부 프로토콜에 따라 암호군, 포트, 재연결 방식이 다릅니다. 표준 문서와 공개된 사례로 차이를 정리했습니다.

한눈에 보기

VPN 프로토콜은 내 기기와 VPN 서버 사이에 암호화된 터널을 만들고 유지하는 규칙입니다. 이 글은 특정 VPN 서비스나 제품을 추천하지 않고, OpenVPN, WireGuard, IPsec/IKEv2, L2TP, PPTP의 공개된 특성과 한계를 비교합니다. 어떤 프로토콜이든 VPN은 통신을 VPN 서버까지 보호할 뿐 '완전한 익명성'을 만들어 주지는 않습니다. VPN 사업자는 서버 쪽에서 트래픽 정보를 볼 수 있는 위치에 있기 때문입니다.

🧭

VPN 프로토콜이란

VPN 앱이 내 기기와 서버 사이에 암호화된 터널을 만드는 구체적인 규칙과 방식을 뜻하며, 어떤 프로토콜을 쓰느냐에 따라 속도·보안성·호환성의 균형이 조금씩 달라집니다.

같은 VPN 서비스라도 내부적으로 어떤 프로토콜을 사용하는지에 따라 연결 속도, 배터리 소모, 방화벽 우회 능력, 네트워크가 바뀔 때의 재연결 안정성 등이 달라질 수 있습니다. 최근에는 다수의 VPN 앱이 여러 프로토콜 중에서 선택할 수 있는 옵션을 제공하기도 합니다.

🪶

와이어가드(WireGuard)

비교적 최근에 등장한 프로토콜로, 코드 구조가 단순하고 가벼우며 최신 암호화 방식을 기본으로 채택해 빠르고 효율적으로 동작한다는 평가를 받습니다.

와이어가드는 UDP 기반으로 동작하며, 선택 가능한 암호화 알고리즘을 여러 개 두는 대신 처음부터 검증된 최신 알고리즘 조합을 고정해 사용하는 방식을 택했습니다. 이 덕분에 구현이 단순해지고 연결을 맺는 속도나 전반적인 체감 성능이 가볍다는 평가를 받으며, 최근 여러 VPN 서비스와 운영체제에 점점 더 폭넓게 채택되고 있습니다.

🔓

오픈VPN(OpenVPN)

오랜 기간 널리 쓰여온 오픈소스 프로토콜로, TLS 기반의 키 교환 방식과 TCP·UDP를 모두 지원하는 유연성 덕분에 다양한 네트워크 환경에서 안정적으로 동작합니다.

오픈VPN은 설정 항목이 세밀하고 다양해 여러 환경에 맞춰 조정하기 좋다는 장점이 있으며, 특히 일반 웹 트래픽처럼 보이는 포트로 통신을 구성할 수 있어 제한이 많은 네트워크 환경에서도 비교적 잘 통과하는 편으로 알려져 있습니다. 오랜 기간 검증되어 온 만큼 다양한 플랫폼과 VPN 서비스에서 폭넓게 지원되는 프로토콜이기도 합니다.

📲

아이피섹/아이크이버2(IPsec/IKEv2)

표준화된 프로토콜 조합으로 대부분의 최신 운영체제에 기본 내장되어 있으며, 와이파이와 모바일 데이터 사이를 오갈 때도 연결이 비교적 매끄럽게 유지되는 편입니다.

IPsec은 암호화 자체를 담당하는 프로토콜 모음이고, IKEv2는 그 위에서 키를 교환하고 연결을 관리하는 역할을 합니다. 이 조합은 윈도우·macOS·iOS·안드로이드 등 여러 운영체제에 기본으로 포함되어 있는 경우가 많아 별도 설치 없이 바로 활용할 수 있고, 네트워크가 와이파이에서 모바일 데이터로 바뀌는 상황에서도 연결을 다시 맺는 과정이 비교적 매끄럽다는 평가를 받아 스마트폰 환경에 잘 맞는다고 여겨집니다.

📼

L2TP/IPsec

L2TP(터널링)와 IPsec(암호화)을 함께 묶어 쓰는 오래된 조합으로, 폭넓은 기기 호환성은 있지만 최근에는 다소 구식으로 여겨져 신규 구축에는 잘 권장되지 않습니다.

L2TP 자체는 암호화 기능이 없어 반드시 IPsec과 함께 조합해 사용하며, 과거부터 여러 운영체제에 기본 지원되어 온 덕분에 호환성은 넓은 편입니다. 다만 오늘날 기준으로는 상대적으로 오래된 방식으로 취급되며, 더 가볍고 현대적인 대안(와이어가드나 IKEv2 등)이 자리 잡으면서 새로운 서비스를 구축할 때는 잘 선택되지 않는 추세입니다.

🗑️

PPTP(더 이상 권장되지 않음)

한때 설정이 간편해 널리 쓰였던 초창기 VPN 프로토콜이지만, 지금은 보안성이 취약한 것으로 널리 알려져 있어 사용을 피하는 것이 좋습니다.

PPTP는 구현이 간단하고 대부분의 오래된 기기에서도 지원되어 한때 인기를 끌었지만, 시간이 지나며 여러 보안 취약점이 드러났고 오늘날에는 더 이상 안전한 선택으로 여겨지지 않습니다. 새로운 VPN 서비스를 고를 때는 가급적 PPTP 대신 와이어가드, 오픈VPN, IKEv2 같은 더 최신 프로토콜을 지원하는지를 확인하는 것이 좋습니다.

✅

상황별 프로토콜 선택 기준

절대적으로 가장 좋은 프로토콜이 정해져 있다기보다는, 내 기기·운영체제의 지원 여부와 네트워크 환경, VPN 서비스가 제공하는 옵션을 함께 고려해 고르는 것이 현실적입니다.

대부분의 사용자는 VPN 앱이나 서비스가 제공하는 몇 가지 프로토콜 중에서 선택하게 되는 경우가 많으며, 굳이 세부 설정을 직접 건드리지 않아도 서비스가 권장하는 기본값을 쓰는 것으로 충분한 경우가 대부분입니다. 다만 방화벽이 엄격한 네트워크에서 연결이 자꾸 끊긴다면 오픈VPN처럼 우회에 강한 옵션을, 모바일에서 자주 네트워크를 오간다면 IKEv2나 와이어가드처럼 재연결이 매끄러운 옵션을 우선 시도해보는 식으로 접근할 수 있습니다.

프로토콜 비교표

아래 값은 위키백과와 공식 사이트(wireguard.com), RFC 목록에서 확인한 항목만 적었습니다. 속도 수치는 환경에 따라 달라 싣지 않았습니다.

프로토콜전송·포트암호·인증 특징표준·출처현황
WireGuardUDP만 사용 (기본 51820)Noise 계열 핸드셰이크, Curve25519, ChaCha20-Poly1305, BLAKE2s. 알고리즘을 협상하지 않고 고정제작자 제이슨 도넌펠드, 리눅스 5.6에 포함2019년 INRIA가 기계 검증 증명 발표
OpenVPNTCP·UDP 모두, IANA 지정 포트 1194OpenSSL 기반 TLS로 키 교환제임스 요난, 2001년 5월 첫 공개, GPLv2다양한 플랫폼에서 지원
IPsec/IKEv2UDP 500, NAT 환경에서는 UDP 4500IKEv2가 키 교환과 연결 관리, IPsec이 암호화RFC 7296(2014년 인터넷 표준), 이전 RFC 4306(2005)MOBIKE(RFC 4555)로 이동성 지원
L2TP/IPsecL2TP는 UDP 1701, IKE는 UDP 500L2TP 자체에는 암호화 없음, IPsec이 보호RFC 2661, IPsec 결합은 RFC 3193구형 조합
PPTPTCP 1723 + GRE(IP 프로토콜 47)MS-CHAPv2와 RC4 기반 MPPERFC 2637(1999년 7월)알려진 보안 문제가 많아 폐기 대상

왜 WireGuard는 암호를 고르게 하지 않나

오래된 프로토콜은 여러 암호 알고리즘 중 하나를 협상하는 '선택 가능성'을 제공했습니다. WireGuard는 반대로 검증된 조합을 하나로 고정했고, 약점이 발견되면 알고리즘을 바꾸는 대신 프로토콜 새 버전을 내는 방식을 택한다고 위키백과는 설명합니다. 공식 사이트는 '아주 적은 코드로 쉽게 구현되도록 의도되었다'고 소개합니다. 코드가 작을수록 검토할 범위가 줄어든다는 것이 설계 취지이지만, 구체적인 코드 줄 수는 이 글에서 확인하지 못해 적지 않습니다.

실제 사례로 보는 프로토콜의 운명

사례 1. PPTP: 표준이 된 적 없는 프로토콜의 쇠퇴

PPTP는 마이크로소프트, 아센드, 3Com 등 업체 컨소시엄이 만들어 1999년 7월 RFC 2637로 공개되었지만 IETF가 표준으로 채택한 적은 없습니다(위키백과 기준). 인증에 쓰이는 MS-CHAPv2는 사전 공격에 취약하고, 2012년에는 MS-CHAPv2 키를 무차별 대입하는 난이도가 DES 키 하나를 뚫는 수준과 비슷하다는 점이 시연되었습니다. 암호화 계층인 MPPE는 암호문 인증이 없는 RC4 스트림 암호를 써서 비트 뒤집기 공격에 취약합니다. 이런 이유로 PPTP는 오늘날 '쓰지 말아야 할 프로토콜'로 다뤄집니다. 배울 점은 설정이 쉽고 호환성이 넓다는 장점이 있어도 암호 설계가 낡으면 보안은 회복되지 않는다는 것입니다.

사례 2. WireGuard: 커널 합류와 형식 검증

WireGuard 패치는 2019년 12월 9일 리눅스 네트워킹 트리에 받아들여졌고, 2020년 1월 28일 리누스 토르발스가 그 트리를 병합해 2020년 3월 리눅스 5.6에 포함되었습니다(위키백과 기준). 2019년 5월에는 프랑스 INRIA의 논문이 CryptoVerif로 상호 인증, 세션 키 비밀성, 순방향 비밀성 등을 기계로 검증했습니다. 이 증명은 프로토콜의 암호 설계에 대한 것이며, 특정 VPN 서비스의 구현이나 운영까지 보증하는 것은 아닙니다.

사례 3. 가상 예시: 같은 사용자의 환경별 선택

가상 예시입니다. 출장이 잦은 직원이 회사가 지원하는 VPN 앱에서 프로토콜을 고른다고 합시다. 호텔 와이파이에서 UDP가 막혀 연결이 실패한다면 TCP를 지원하는 옵션(예: OpenVPN의 TCP 모드)을 시도하고, 이동 중 와이파이와 모바일 데이터가 자주 바뀐다면 IKEv2의 MOBIKE처럼 주소 변경에 대응하는 옵션이 유리할 수 있습니다. 어디까지나 일반적인 접근이며 실제 결과는 회사 정책과 앱 구현에 달려 있습니다.

점검 체크리스트

흔한 오해와 정정

한계와 더 알아볼 점

프로토콜 비교 글은 구현마다 성능과 보안이 다르다는 점을 먼저 전제해야 합니다. 같은 프로토콜이라도 앱과 서버 설정에 따라 결과가 달라집니다. 또한 이 글은 일반 정보이며 특정 서비스의 신뢰성을 평가하지 않습니다. 구체적 필요가 있다면 각 프로토콜의 RFC와 공식 문서를 확인하세요.

VPN 자체가 처음이라면

VPN이 무엇이고 왜 쓰는지부터 알고 싶다면 VPN 기초 알아보기를 먼저 확인해보세요.

일부 트래픽만 VPN으로 보내고 싶다면

전체 트래픽이 아니라 일부만 선택해 VPN을 거치게 하는 방법이 궁금하다면 VPN 스플릿 터널링(Split Tunneling)이란?도 참고해보세요.

자주 묻는 질문

가장 빠른 VPN 프로토콜은 무엇인가요?

실제 체감 속도는 서버와의 거리, 네트워크 상황, 서비스 구현 방식에 따라 달라지기 때문에 절대적으로 답하기는 어렵습니다. 다만 일반적으로 와이어가드 계열이 가볍고 효율적으로 동작하도록 설계되었다는 평가를 받고 있습니다.

회사에서 정해준 VPN인데 제가 프로토콜을 바꿀 수 있나요?

대부분의 경우 사용자는 VPN 서비스나 앱이 지원하는 프로토콜 중에서 선택할 수 있을 뿐, 프로토콜 자체를 새로 만들거나 서버 쪽 설정 없이 임의로 바꿀 수는 없습니다. 여러 옵션을 지원하는 앱이라면 설정 메뉴에서 다른 프로토콜로 전환해볼 수 있습니다.

WireGuard는 왜 UDP만 쓰나요?

WireGuard는 IP 패킷을 UDP로 감싸 전달하며, 위키백과는 이것이 TCP 위에 TCP를 올리는 터널링의 문제를 피한다고 설명합니다. 대신 UDP가 막힌 네트워크에서는 연결이 어려울 수 있습니다.

L2TP/IPsec은 지금도 쓰나요?

운영체제 기본 기능으로 오래 지원되어 호환 목적으로 남아 있지만, 새로 구축할 때는 다른 방식이 선택되는 추세입니다.

IKEv2와 IPsec은 같은 말인가요?

IKEv2는 IPsec 터널의 키 교환과 연결 관리를 맡는 프로토콜이고, 실제 패킷 암호화는 IPsec(ESP)이 담당합니다. 그래서 흔히 IPsec/IKEv2로 묶어 부릅니다.

VPN을 쓰면 광고 추적이 사라지나요?

IP 주소는 바뀌지만 로그인 정보, 쿠키, 브라우저 특성으로도 식별될 수 있어 추적이 완전히 사라지지는 않습니다.

이어서 읽을 가이드