죄수의 딜레마(게임이론) 이해하기

각자 가장 합리적으로 행동했는데 모두가 손해를 보는 상황은 왜 생길까요? 보수표 읽는 법부터 반복 게임, 실제 사례와 한계까지 따라가 봅니다.

한눈에 보기

죄수의 딜레마는 두 사람이 서로 의사소통 없이 '협력할지, 배신할지'를 정해야 하는 상황을 단순화한 게임입니다. 어느 쪽이든 상대가 무엇을 고르든 자신은 배신하는 편이 더 낫다는 구조 때문에, 두 사람 모두 배신하고 둘 다 협력했을 때보다 나쁜 결과에 이릅니다. 이 글에서는 게임이 만들어진 배경, 결과표(보수표)를 읽는 법, 같은 상대와 여러 번 만날 때 달라지는 점, 그리고 실제 연구·역사 사례와 이 모델의 한계를 순서대로 살펴봅니다. 아래 여섯 개 카드는 개념의 뼈대이니 순서대로 읽어 보세요.

어디서 나온 이야기일까

이 게임은 1950년 미국 랜드(RAND) 연구소의 메릴 플러드와 멜빈 드레셔가 고안했습니다(위키백과 기준). 두 사람은 경제학자 아먼 앨치언과 수학자 존 윌리엄스에게 이 게임을 100판 하게 했고, 존 내시는 반복되는 게임에서의 합리적 행동이 한 번뿐인 게임과 다를 수 있다고 평했습니다. 그 뒤 수학자 앨버트 터커가 보수를 '징역 기간'으로 바꾸어 이야기 형식을 붙이면서 '죄수의 딜레마'라는 이름이 굳어졌습니다. 즉 이 이름은 실제 수사 절차를 다룬 것이 아니라, 수학적 구조에 입힌 비유입니다.

보수표 읽는 법 (가상 예시)

아래 숫자는 설명을 위한 가상 예시입니다. 숫자는 '받는 형량(년)'이며 작을수록 좋습니다. 각 칸에서 앞의 숫자가 A, 뒤의 숫자가 B의 형량입니다.

B가 침묵(협력)B가 자백(배신)
A가 침묵(협력)1년 / 1년5년 / 0년
A가 자백(배신)0년 / 5년3년 / 3년

A의 입장에서 따져 봅니다. B가 침묵한다면 자백해서 0년을 받는 것이 침묵(1년)보다 낫고, B가 자백한다면 자백해서 3년을 받는 것이 침묵(5년)보다 낫습니다. B가 무엇을 하든 자백이 더 좋으므로 자백은 'A의 우세 전략'입니다. B도 같은 계산을 하니 둘 다 자백해 3년씩 받게 되는데, 둘 다 침묵했다면 1년씩이었을 것입니다. 일반적으로 이 구조는 유혹(T) > 협력 보상(R) > 상호 배신의 벌(P) > 속은 쪽의 손해(S)라는 순서로 쓰며, 이 부등식이 성립해야 죄수의 딜레마라고 부릅니다.

  1. 기본 시나리오

    공범 관계인 두 용의자가 각각 따로 취조받으며, 상대방을 배신하고 자백할지 침묵할지를 동시에 선택해야 하는 상황입니다. 둘 다 침묵하면 가벼운 처벌을 받지만, 한쪽만 자백하면 자백한 쪽은 풀려나고 침묵한 쪽은 무거운 처벌을 받으며, 둘 다 자백하면 둘 다 중간 수준의 처벌을 받습니다.

  2. 유래

    1950년 미국 랜드연구소의 메릴 플러드와 멜빈 드레셔가 고안한 게임에, 수학자 앨버트 터커가 "죄수의 딜레마"라는 이름과 이야기 형식을 붙이면서 널리 알려졌습니다.

  3. 내쉬균형 개념

    상대방의 선택이 무엇이든 자신은 자백(배신)하는 것이 개인에게 항상 더 유리하기 때문에, 두 사람 모두 자백을 선택하는 것이 이 게임의 내쉬균형입니다. 하지만 이 균형은 둘 다 침묵했을 때보다 두 사람 모두에게 더 나쁜 결과라는 점에서 역설적입니다.

  4. 반복 게임과 팃포탯 전략

    같은 상대와 게임을 여러 번 반복하면 상황이 달라집니다. 정치학자 로버트 액설로드가 1980년 무렵 연 컴퓨터 대회(각 전략이 다른 모든 전략과 200판씩 대결)에서, 아나톨 라포포트가 제출한 "팃포탯(tit-for-tat)" 전략, 즉 첫 판엔 협력하고 이후에는 상대가 직전 판에 한 대로 그대로 따라 하는 단순한 전략이 우승하며, 반복되는 관계에서는 협력이 자연스럽게 나타날 수 있음을 보여주었습니다.

  5. 실생활 적용 사례

    기업 간 가격 경쟁, 국가 간 군비 경쟁, 공유자원 남용 문제 등 "서로 협력하면 모두에게 이득이지만 개별적으로는 배신하는 것이 더 유리해 보이는" 다양한 상황을 설명하는 데 널리 활용됩니다.

  6. 핵심 역설

    각자에게는 배신이 합리적인 선택이지만, 모두가 그 합리적 선택을 따르면 오히려 모두가 협력했을 때보다 나쁜 결과를 맞게 됩니다. 이는 "개인의 합리성이 반드시 집단의 최선으로 이어지지는 않는다"는 게임이론의 핵심 통찰을 보여주는 대표 사례입니다.

한 번뿐인 게임과 계속되는 게임

한 번만 만나고 끝나는 게임이라면 배신이 합리적이라는 결론은 흔들리지 않습니다. 횟수가 정해져 있고 둘 다 그것을 아는 반복 게임도, 마지막 판에서 배신하고, 그러면 그 앞 판도 배신하고, 하는 식으로 '뒤에서부터 풀면' 결국 매 판 배신이라는 예측이 나옵니다. 그러나 로버트 아우만이 1959년 논문에서 보였듯, 언제 끝날지 모르는 반복에서는 협력이 균형으로 유지될 수 있습니다. 액설로드는 이를 '미래의 그림자'로 불렀습니다. 상대를 다시 만날 가능성이 클수록 지금 한 번 배신해서 얻는 이득보다 앞으로의 협력이 더 커지기 때문입니다.

게임의 형태이론이 말하는 결과협력이 유지되는 조건
한 번만 하는 게임둘 다 배신(내쉬균형)없음. 외부 장치(계약, 처벌 등)가 필요
횟수가 정해진 반복뒤에서부터 풀면 매 판 배신이론상 어렵지만 실험에서는 다르게 나타나기도 함
끝을 모르는 반복협력도 균형이 될 수 있음다시 만날 가능성이 충분히 높을 것

실제 사례 세 가지

사례 1. 컴퓨터 대회에서 이긴 가장 단순한 전략: 액설로드의 대회 (실험의 사례)

정치학자 로버트 액설로드는 1980년 무렵 여러 연구자에게 반복 죄수의 딜레마를 치르는 프로그램을 제출받아 대회를 열었습니다. 각 전략은 다른 모든 전략과 200판씩 겨루었고, 아나톨 라포포트가 낸 팃포탯이 우승했습니다. 팃포탯은 첫 판에 협력하고 그다음부터는 상대의 직전 행동을 그대로 따라 합니다. 이후 액설로드는 결과를 1984년 책 『협력의 진화』로 정리하며 성공한 전략의 특징을 '먼저 배신하지 않는다, 배신당하면 보복한다, 협력으로 돌아오면 용서한다, 상대를 이기려는 시샘을 하지 않는다'로 요약했습니다. 팃포탯이 이긴 것은 상대를 꺾어서가 아니라, 협력적인 상대와 높은 점수를 함께 쌓았기 때문입니다. 배울 점은 '이기려는 목표'와 '높은 점수를 얻으려는 목표'가 다르다는 것입니다.

사례 2. 총 쏘는 척만 하던 참호: 1차 세계대전의 '공존 체제' (역사의 사례)

1차 세계대전 서부전선의 참호전에서는 서로 죽이려는 적이 마주 보고 있으면서도, 소규모 부대 사이에서 치명적이지 않게 쏘거나 일정 시간대에는 사격을 쉬는 암묵적 합의가 퍼졌다고 합니다. 영국의 사회학자 토니 애시워스는 일기, 편지, 참전자 증언을 모아 2000년 책 『참호전 1914~1918: 공존 체제』에서 이 현상이 당시에 널리 알려져 있었고, 특히 조용한 구역으로 부대를 돌리는 시기에 두드러졌다고 설명했습니다. 이 체제는 약해서 한 번 치명적 공격이 일어나면 쉽게 깨졌고, 지휘부가 공세 정신을 요구하며 습격과 순찰을 명령하는 일도 있었습니다. 액설로드는 이를 반복 죄수의 딜레마와 팃포탯의 예로 풀이했지만, 조앤 고와(1986)와 앤드루 겔먼(1988)은 이 사례가 죄수의 딜레마의 가정에 맞지 않는다고 반박했습니다. 배울 점은 이 모델이 설득력 있는 설명을 줄 수는 있어도 역사 사례에 곧바로 대입하면 논쟁이 생긴다는 것입니다.

사례 3. 공유자원은 반드시 파괴될까: 엘리너 오스트롬의 반론 (제도의 사례)

개릿 하딘의 '공유지의 비극'은 모두가 쓰는 자원이 각자의 이익 추구로 고갈된다는 이야기로, 죄수의 딜레마와 닮은 구조로 자주 소개됩니다. 정치경제학자 엘리너 오스트롬은 현실의 공동체들이 규칙과 감시, 제재를 스스로 만들어 공유자원을 오래 관리하는 사례가 많다고 주장했고, 이 연구로 2009년 노벨 경제학상을 받았습니다. 즉 같은 구조라도 소통하고, 반복해서 만나고, 서로를 감시할 수 있는 집단이라면 결과가 달라질 수 있다는 것입니다. 배울 점은 딜레마가 '운명'이 아니라 게임의 조건(소통, 반복, 감시, 제재)을 바꾸면 달라질 수 있는 구조라는 점입니다.

일상에서 구조를 알아보는 법

아래는 게임이론에서 흔히 쓰는 질문을 일상 상황에 옮겨 놓은 점검표입니다. 어떤 상황이 죄수의 딜레마인지 판정하는 공식 기준은 아니며, 생각을 정리하는 데 쓰세요.

흔한 오해와 정정

한계와 아직 열려 있는 질문

이 모델은 두 사람, 두 선택지, 동시 결정이라는 단순한 가정 위에 서 있습니다. 현실은 참가자가 많고 선택지가 다양하며, 정보가 불완전하고 관계가 비대칭입니다. 2004년 반복 죄수의 딜레마 대회에서는 사우샘프턴 대학이 여러 프로그램을 낸 팀의 담합 전략이 상위권을 차지했습니다. 한 팀이 여러 참가자를 낼 수 있는 규칙에서는 결과가 달라질 수 있다는 점을 보여 줍니다. 2012년에는 윌리엄 프레스와 프리먼 다이슨이 '영점 결정(zero-determinant)' 전략을 제시해 반복 게임 전략 연구에 새 논의를 일으켰습니다. 시뮬레이션 모델의 가정이 현실에 얼마나 들어맞는지는 지금도 열린 연구 주제입니다. 이 글은 일반 정보이며, 구체적인 협상·계약 판단은 전문가와 상의하시기 바랍니다.

집단 속에서 개인의 노력은 어떻게 달라질까

죄수의 딜레마가 개인의 선택이 서로에게 미치는 영향을 다룬다면, 집단 규모가 커질 때 개인의 실제 노력이 줄어드는 현상도 있습니다.링겔만 효과(사회적 태만) 이해하기에서 확인해보세요.

자주 묻는 질문

내쉬균형이 곧 최선의 결과라는 뜻인가요?

아닙니다. 내쉬균형은 '누구도 혼자 선택을 바꿔서는 이득을 보지 못하는 상태'일 뿐입니다. 죄수의 딜레마에서는 이 균형이 파레토 효율적이지 않아, 모두가 동시에 바꾸면 더 좋아지는 다른 결과가 존재합니다.

보수표의 숫자는 왜 부등식 순서가 중요한가요?

유혹 > 협력 보상 > 상호 배신의 벌 > 속은 쪽의 손해라는 순서가 깨지면 배신이 더는 우세 전략이 아니거나 협력이 곧바로 이익이 되어 딜레마가 사라집니다. 숫자 크기보다 순서가 구조를 정합니다.

대화를 할 수 있으면 문제가 해결되나요?

소통만으로는 약속을 지킬 이유가 생기지 않을 수 있습니다. 약속을 어겼을 때의 불이익(반복 관계의 평판, 계약, 제재)이 함께 있어야 소통이 협력으로 이어지기 쉽습니다.

도핑 문제도 죄수의 딜레마로 설명하나요?

스포츠에서 모두가 도핑하면 아무도 우위를 얻지 못하면서 건강 위험만 커지므로, 구조가 닮았다고 소개되는 예입니다. 다만 이것은 구조를 설명하는 비유이며, 실제 선수 개인의 동기와 규정, 검사 체계는 훨씬 복잡합니다.

이 개념은 어느 분야에서 쓰이나요?

경제학, 정치학, 국제관계, 생물학 등에서 협력과 경쟁의 구조를 분석하는 기본 틀로 쓰입니다. 다만 실제 분석에서는 위에서 본 것처럼 모델의 가정이 맞는지 먼저 따져 봅니다.

이어서 읽어 보세요