Game Arena — LLM agent benchmarks on real games

2024-2025 의 LLM 평가 풍경은 벤치마크 포화로 압축된다. MMLU·HumanEval·GSM8K 같은 정답이 고정된 단일 턴 평가는 frontier 모델 간의 차이를 더 이상 분리하지 못 한다. Game Arena 는 그 자리에 multi-turn · adversarial · 환경 상호작용이라는 세 축을 넣어 다시 신호를 만든다.

강의의 출발 질문 두 개.

1. frontier 모델을 어떻게 더 분리할 것인가 — 단일 턴 정답률은 90% 근방에서 plateau. 차이가 metric 안으로 안 들어온다.
2. “agent 능력” 을 어떻게 정량화할 것인가 — tool use, planning, memory 같은 단어는 풍성하지만, 점수로 떨어지는 평가가 빈약하다.

강의의 입장은 명확하다 — 게임은 이 두 질문에 동시에 답할 수 있는 가장 잘 정의된 실험대다. 게임은 (a) 규칙과 종료 조건이 닫혀 있고, (b) 다른 agent 와 head-to-head 매치업이 가능하고, (c) 같은 환경 위에서 score / win-rate / move-count 같은 다차원 metric이 모두 자연스럽게 정의된다.

이 강의 자체는 transcript 가 사라져 있으니 arXiv 2412.06394 (게임 기반 LLM 평가) 와 GPU Mode YouTube 메타데이터를 발판으로 재구성한다. 본문에서 인용하는 수치는 모두 paper 또는 일반 도메인 지식에서 가져온 것이며, 강의에서 발화된 정확한 표현이 아닐 수 있다 — 직접 확인이 필요한 항목은 본문에 명시한다.

기존 LLM 벤치마크가 가지지 못하는 세 가지 차원 — sequential (선택의 결과가 다음 상태를 바꿈), adversarial (상대가 같이 움직임), embodied (제한된 관측만으로 결정)이 게임에는 본질적으로 들어있다.

여기서 흔한 비판 하나에 미리 답해두자 — “게임은 toy 환경 아니냐”. 강의의 답은 “그 toy 가 차원을 압축해 보여주는 lab 이다”. 이미 1990년대 RL 이 Atari · Go 위에서 실증됐고, 같은 논리가 LLM 에도 적용된다. 게임을 evaluate 하는 게 목적이 아니라, 게임 위에서 모델 간 차이를 만들어내는 능력의 축을 분리해 보는 게 목적.

benchmark 가 의미를 가지려면 환경이 닫혀 있어야 하고 결정론적이어야 한다. 게임은 그 둘을 동시에 만족시킨다 — 단, 설계가 까다롭다. 강의에서 다루는 환경 카테고리는 셋. 보드 게임 · 카드 게임 · 텍스트 어드벤처.

prompt format 의 결정

같은 게임도 prompt 표현이 점수를 크게 흔든다. 체스를 예로 들면 (a) FEN string, (b) PGN history, (c) ASCII board, (d) PNG 의 vision input — 네 가지 모두 같은 위치를 표현하지만 모델 별로 강한 표현이 다르다. Game Arena 는 format 을 표준화하되 각 게임에서 두 가지 이상을 비교한다 (확인 필요).

# 체스 한 수의 prompt 표현 비교 (예시)
# 1) FEN — 체스 표준 단일 라인
rnbqkbnr/pppppppp/8/8/4P3/8/PPPP1PPP/RNBQKBNR b KQkq e3 0 1

# 2) PGN — 수의 history
1. e4

# 3) ASCII board — LLM 친화적
8 r n b q k b n r
7 p p p p p p p p
6 . . . . . . . .
...
1 R N B Q K B N R
  a b c d e f g h

강의에서 강조하는 것 — 같은 모델이 같은 게임에서 ASCII 와 FEN 사이 6-8 ELO 정도 흔들린다는 관찰. 이게 §07 의 “format brittleness” 한계로 이어진다.

스코어는 단순히 승률이 아니다. Game Arena 가 사용하는 metric 은 최소 셋 — win rate, ELO/TrueSkill, sample efficiency. 같은 win rate 60% 라도 “500턴 만에 이긴 모델” 과 “30턴 만에 이긴 모델” 은 다르게 점수를 받는다.

ELO 는 round-robin tournament 안에서만 의미가 있다. M개 모델이 있으면 M(M-1)/2 페어가 각각 N 게임씩 — 페어당 100게임으로도 6개 모델은 1500 게임. 그래서 게임을 병렬화하는 인프라가 benchmark 의 일부가 된다 (이게 GPU Mode 청중에게 던져지는 메시지의 핵심).

paper / 강의에서 보고된 결과의 큰 모양 — “하나의 모델이 모든 게임에서 압도하지 않는다”. 체스에 강한 모델, 포커에 강한 모델, 텍스트 어드벤처에 강한 모델이 다르다. 이 분리가 곧 benchmark 가 작동하고 있다는 증거.

게임의 가장 강력한 특성 — 스코어가 자동으로 매겨진다는 점은 평가뿐 아니라 학습 신호로도 직접 쓸 수 있다는 의미. RLHF 의 사람 라벨러 자리에 게임 엔진이 들어간다.

왜 이게 frontier 추세인가

2024-2025 의 RL post-training 흐름은 verifier-grounded reward 로 모인다 — 코드는 unit test, 수학은 정답 비교, 게임은 엔진. 강의의 입장은 명시적으로 “게임은 verifier-grounded 의 가장 깨끗한 형태”. 코드/수학과 달리 “정답이 단일하지 않은” adversarial setting 이라는 점이 추가 특성.

# 단순화한 self-play 학습 의사코드
for iteration in range(N):
    trajectories = []
    for _ in range(BATCH):
        env = Chess()
        traj = play_one_game(policy, policy, env)   # self-play
        trajectories.append(traj)
    # 게임 엔진이 돌려준 reward 만 사용 — verifier-free
    policy = grpo_update(policy, trajectories)

강의에서 강조된 trick — “상대를 freeze 시켜서 학습” (population-based self-play). 자기 자신과만 두면 좋은 전략이 collapse 한다. 여러 버전의 자기 자신을 풀(pool)에 두고 sampling 한다 — AlphaStar 와 같은 패턴.

게임을 LLM eval 에 쓸 때의 결정적 함정 셋 — contamination, format brittleness, illegal-move 사고. 강의의 정직한 부분은 이 한계들을 같은 무게로 다룬다는 것.

강의에서 가장 솔직한 표현은 — “게임 벤치마크는 다른 벤치마크의 보완재이지, 단독 정량 척도로 쓰면 거의 항상 잘못된 결론에 도달한다”. 이 문장이 §08, §11 의 후속 방향을 끌고 간다.

Game Arena 의 자연스러운 확장. (a) 환경을 더 풍부하게 — 도구 사용이 들어간 환경. (b) 여러 agent 가 협력 / 경쟁하는 multi-agent. (c) 처음부터 LLM 이 환경을 만들고 나누는 self-generation.

multi-agent 시나리오

• negotiation game — 두 agent 가 limited resource 를 나눔. 합의가 reward. cooperate-defect 의 게임이론적 구도를 LLM 위에서 직접 측정.
• werewolf / mafia — social deduction. 대화 자체가 액션 — 거짓말, 추론, 신뢰 형성이 평가됨. 가장 자연스러운 LLM-native 게임.
• collaborative coding — 두 agent 가 같은 codebase 위에서 task 를 나눠 수행. code review 와 commit 이 액션. 본질적으로 game arena 의 multi-agent 확장.

강의의 마지막 메시지 — “closed game 의 끝에서 시뮬레이션 환경의 시작으로”. 이게 OpenAI / Anthropic 등이 frontier RL 환경을 게임에서 코드 / 컴퓨터 사용으로 옮긴 흐름과 정확히 같은 방향.

benchmark 는 재현 가능성이 본질. Game Arena 가 채택한 메커니즘은 (a) seed 고정, (b) 모델 버전 string 명시, (c) prompt template 공개, (d) 게임 trace 공개.

그리고 — 강의에서 강조된 추가 표준 “public leaderboard”. 새 모델이 들어왔을 때 이전 결과를 다시 돌리지 않아도 ELO 가 자연스럽게 업데이트되도록, lichess 와 같은 incremental 방식.

강의에서 6개월 뒤에 돌아왔을 때 가장 빨리 복원해야 하는 사실들.

손에 새기기 — 실습 시퀀스

1. tic-tac-toe LLM tournament — 가장 간단한 환경에서 두 LLM 을 round-robin 으로 100 게임. illegal move rate 를 먼저 측정. 이게 0% 가 안 되면 ELO 비교는 의미 없다.
2. format swap test — 같은 게임을 ASCII / FEN / PGN 세 prompt 로 똑같이 돌린다. ELO 차이를 만들면 그게 곧 강의의 “format brittleness” 의 직접 재현.
3. verifier-free reward 구현 — gymnasium / pettingzoo 에서 환경 하나 골라 GRPO 로 작은 LLM (Qwen 0.5B 정도) 을 100 step 학습. reward 가 자연스럽게 자동으로 들어가는 경험.
4. tournament infra — vLLM 에 두 모델을 동시에 띄우고 KV cache 를 공유하면서 게임을 병렬로 돌려본다. 이게 §04 의 GPU Mode 적 의미.
5. contamination probe — 학습 후 모델이 처음 본 변종 (예: Chess 9×9) 에서 같은 ELO 가 나오는지 비교. 떨어지면 그게 contamination 의 양.

이 강의는 단독으로는 평가 / RL 가족, 인프라로는 inference engine 가족 양쪽에 다리를 놓는다.

transcript 가 사라진 강의이므로, 본문의 수치/단언 중 다음 항목들은 paper 또는 직접 실험으로 별도 확인이 필요하다.

• 모델별 ELO 의 정확한 값 — §05 의 표는 paper Table 1 의 정성 패턴을 재구성한 것. 정확한 ELO 는 paper 본문 확인 필요.
• format brittleness 의 정확한 흔들림 — “6-8 ELO” 는 일반적 도메인 지식에서 가져왔으나, Game Arena 가 보고한 수치는 paper §4 확인 필요.
• RL 학습 적용 사례 — §06 은 game-driven RL 의 일반론. 강의에서 Lanxiang 이 어떤 자체 학습 결과를 보였는지는 영상 다시 확인 필요.
• L067 / L068 communication 강의와의 직접 연결 — tournament infra 가 multi-GPU 라면 NCCL / NVSHMEM 이 어떻게 들어가는지는 별도 추적.
• Lanxiang Hu 의 affiliation — UCSD / 다른 곳? YouTube 메타데이터로는 분명치 않음. 확인 필요.