Efficient & Effective Long-Context Modeling for LLMs

2024-2025 frontier 모델은 256k-1M context 를 standard 로 자랑한다. Gemini 1.5 Pro 1M, Claude 3 Sonnet 200k. 이 숫자가 의미하는 게 무엇인가 — 그리고 어떤 trick 으로 가능해졌는가? 강의의 framing 은 3 가지 무너짐을 분리하는 것.

1. memory blow-up — attention 의 KV cache 가 N (sequence) 에 비례해 무한정. 1M context = ~50GB KV cache (확인 필요).
2. compute blow-up — attention 자체는 O(N²). 1M token 의 attention 은 1k token 의 1M× 비싸다.
3. position generalization 무너짐 — 4k 학습 모델이 100k input 에서 hallucinate. RoPE 의 frequency 가 OOD.

강의의 입장 — “이 셋이 다 풀려야 long context 가 동작. 한 둘만 풀면 다른 차원에서 무너진다.”

"context 길이 = 모델의 능력" 이라는 association 의 이유. 단순한 marketing 이 아니라 — 새 application 들이 long context 를 essential 하게 요구한다.

RAG 가 있는데 왜

흔한 비판 — “RAG 로 뽑아서 짧은 context 로 쿼리하면 되지 않나”. 강의의 답은 두 가지. (a) RAG 의 retrieval 이 실패하는 케이스 (cross-document reasoning) 가 많다. (b) long context 와 RAG 는 보완재 — RAG 가 candidate 을 추리고, long context 가 그 candidate set 위에서 reasoning. §07 에서 본격.

attention 의 메모리는 본래 O(N²) — N×N matrix QKᵀ 를 계산해서 softmax. FlashAttention (Dao et al., 2022, 2023) 의 핵심은 — 이 matrix 를 explicit 으로 만들지 않고 tile 단위로 streaming. 메모리는 O(N), 속도도 더 빠르다 (HBM ↔ SRAM 왕복 절약).

# 표준 attention
S = Q @ Kᵀ           # [N, N] 메모리 폭발
P = softmax(S)
O = P @ V

# FlashAttention - tile 단위
for i_block in range(N_tiles):
    for j_block in range(N_tiles):
        S_ij = Q_i @ K_jᵀ      # [Br, Bc] 작음
        m_ij = max(S_ij)
        P_ij = exp(S_ij - m_ij)
        O_i  = update(O_i, P_ij, V_j, online softmax)

FlashAttention 만으로는 1M 까지 못 간다 — compute 가 quadratic. 다음 단계는 "모든 token 쌍을 계산할 필요가 없다" 는 깨달음 = sliding window / sparse attention. §04.

강의의 핵심 contribution. StreamingLLM (Xiao et al., 2023) 은 단순한 sliding window 가 학습된 모델에서 갑자기 깨지는 현상을 보고, "맨 앞 token (BOS) 의 KV 가 attention sink 역할" 임을 발견. 단순 fix — 맨 앞 4-token 의 KV 만 보존하고 나머지는 sliding window — 으로 무한 length 가 가능해짐.

왜 attention sink 가 작동하는가

softmax 의 normalize 가 핵심. 현재 token 이 “주의를 둘 곳이 없을 때” 도 softmax 는 100% 어딘가로 흘러야 한다. 그래서 모델은 학습 중에 "의미 없는 곳" 으로 첫 token 을 학습. 첫 token 이 dump(쓰레기통) 역할. 이게 빠지면 softmax 가 다른 의미 있는 token 들을 over-attend, 분포가 망가짐.

대부분 모델이 RoPE (Rotary Position Embedding) 사용. 학습 중 본 max position 너머로 가면 — RoPE 의 회전이 OOD frequency 가 됨 — 모델이 갑자기 무너짐. 이 문제를 inference 또는 light fine-tune 으로 푸는 트릭 family.

linear vs NTK 직관

• Position Interpolation (PI) — 모든 RoPE frequency 를 같은 비율로 압축. 4k → 16k 면 모든 frequency 를 4× 느리게. 모든 dimension 의 정밀도가 떨어짐.
• NTK-aware — 높은 frequency (단기 패턴) 는 거의 그대로, 낮은 frequency (장기 패턴) 만 더 압축. 단기 패턴 보존 + 장기 확장.
• YaRN — NTK 에 ramp + temperature 추가. 더 robust.

long context 에서 가장 큰 메모리 burden 은 KV cache. context length × num_layers × hidden_size × 2 (K, V) × dtype_bytes. 1M token Llama-70B ≈ 80GB+. GPU 한 장 에 안 들어감.

H2O 의 핵심 idea

Heavy-Hitter Oracle — 모든 token 이 동등하게 중요하지 않다. 일부 token (heavy hitter) 이 다른 token 들에게서 강한 attention 을 계속 받음. eviction 시 — 각 token 이 받은 누적 attention score 를 추적, 가장 낮은 score 의 token 을 버림.

# 단순화한 H2O
def evict_kv(K_cache, V_cache, attention_scores):
    # 각 token 의 누적 attention score (모든 query 로부터)
    accumulated = attention_scores.sum(dim=0)  # [seq_len]
    # 하위 N 개 token 의 KV 제거
    keep_mask = accumulated > threshold
    return K_cache[keep_mask], V_cache[keep_mask]

두 접근이 자주 경쟁으로 묘사되지만, 강의의 입장은 “보완재”. 각자 강한 영역이 다르다.

이 프레이밍이 application 디자인의 출발점. 처음부터 “RAG 만” 또는 “long context 만” 이라고 못 박지 말 것. task 에 맞는 비율의 hybrid 가 거의 항상 best.

long context 의 진짜 평가는 단순 perplexity 가 아니다 — 특정 정보를 retrieve 할 수 있는가, 여러 fact 를 결합할 수 있는가. 표준 benchmark 셋.

• Needle In A Haystack (NIAH) — 긴 context 에 한 fact 를 숨기고 question. retrieval 성능. 가장 단순한 lower bound.
• RULER — needle 의 더 복잡한 변종. multi-needle, multi-key, common-words. 더 realistic.
• LongBench — 다양한 NLP task 의 long-context 변종. summarization, QA, code completion 등.
• InfiniteBench — 100k 이상 의 task. truly long.
• L-Eval, ZeroSCROLLS — academic 표준.

결과의 큰 모양

실측에서 흔히 발견되는 패턴 (확인 필요).

1. middle 의 “lost in the middle” — context 의 시작과 끝은 잘 보지만, 중간 부분의 정보를 잘 놓침. 모든 모델에서 공통.
2. context length 가 길어질수록 정확도 하락 — 1M 이라고 광고해도 800k 이상에서는 강한 degradation 흔함.
3. multi-needle 에서 더 빠른 하락 — single needle 은 잘하는 모델도 5 needle 은 못 함. 진짜 reasoning 은 아직 약함.
4. frontier closed 모델 (Gemini, Claude) 이 open 보다 일관적으로 좋음 — open 모델의 long context 는 아직 catching up.

• cross-document reasoning — multi-needle, multi-fact. attention sink 와 sliding window 만으로는 안 됨. 진짜 long-range dependency 가 필요한 task 에서 RAG 가 더 강할 수도.
• 중간 부분의 lost — 모델 학습의 frequency 분포의 직접 결과. 여전히 active research.
• compute cost — FlashAttention 으로 메모리는 풀었지만 compute 는 여전히 quadratic. 1M token 의 attention 은 4k 의 62500× 비싸다.
• training data 부족 — 100k+ 길이의 양질 학습 데이터가 부족. 짧은 문서 concatenate 로는 진짜 long-range 를 못 가르침.
• evaluation 이 어려움 — long-context eval 자체가 사람의 검증이 어려움. NIAH 같은 synthetic eval 은 brittle.

다음 frontier — linear/sub-quadratic attention. Mamba, RWKV, RetNet, Linear Attention 등의 alternatives. 또는 MoE 와의 결합 — 길이가 길어지면 일부 expert 만 active 되도록.

손에 새기기 — 실습 시퀀스

1. StreamingLLM 직접 실행 — repo 에서 hello world. 4 sink + 4k window 로 100k 길이 입력해서 perplexity 확인. naive sliding 과 비교.
2. NIAH 직접 만들기 — long input 에 needle 한 줄 삽입, 모델에 retrieve 시켜 본다. context length sweep 으로 정확도 그래프.
3. FlashAttention vs eager attention — PyTorch 의 scaled_dot_product_attention backend swap. 같은 input 의 memory + latency 비교.
4. YaRN fine-tune — small Llama 를 4k → 16k 로 YaRN 으로 light fine-tune. 학습 전후 NIAH 점수 측정.
5. vLLM PagedAttention — vLLM 으로 long context inference 한 번 돌려보고 pagination 이 OOM 회피하는 것 직접 확인.
6. KV cache profiling — long input 의 KV cache 메모리 사용량 측정. nvidia-smi 또는 PyTorch memory profiler.
7. lost-in-the-middle 재현 — 같은 fact 를 시작 / 중간 / 끝 에 두고 retrieve 정확도 비교. paper 와 같은 패턴 직접 확인.

• Mamba / linear attention 의 위치 — 강의에서 다루는지 확인 필요. attention quadratic 의 alternative 라는 점에서 자연스러운 다음 주제.
• YaRN 의 정확한 수식 — 본문은 비유 수준. paper 의 정확한 ramp/temperature 수식은 별도 reading.
• multimodal long context — video/audio 의 long context. 강의에서 §02 application 으로 짚었지만 자세한 mechanism 은 별도.
• Guangxuan 의 이후 work — StreamingLLM 다음. Quest, MInference 같은 KV optimization. 본문에서 일부만 언급.
• 실측 수치 — context length 별 perplexity, NIAH 정확도 등. paper Table 직접 확인 권장.