FlexOlmo — Open Language Models for Flexible Data Use

"open language model" 의 정의가 2024-2025 사이에 본격적으로 쪼개지고 있다. weight 공개 (open-weight) vs 학습 데이터 + 코드 + 모델 모두 공개 (fully open). Llama 는 weight, Olmo 는 fully open 의 표준. 그러나 fully open 도 새 question 에 부딪힌다 — 한 번 공개된 데이터의 사용을 사후에 제어할 수 있는가?

강의의 출발 question 셋.

1. open LM 의 진짜 약속이 무엇인가 — weight 공개만으로는 reproducible 도 trustworthy 도 아니다. 학습 데이터가 같이 풀려야 한다.
2. data contributor 가 사후에 자기 데이터 제거를 요청하면 어떻게 하는가 — 처음부터 다시 학습하면 수개월 + 수억 원. 다른 mechanism 이 필요.
3. flexible data use 의 framework 가 가능한가 — FlexOlmo 의 답: 데이터를 modular 단위로 다루고, expert mixture 로 학습하면 부분 제거가 가능.

open LM 의 spectrum. 같은 “open” 단어를 쓰는 모델들이 사실 매우 다른 단계에 있다.

왜 fully-open 만으로 부족한가

• 저작권 회수 — 데이터 출처가 사후에 license 변경 또는 takedown 요청. 모델 안에 그 데이터의 영향이 남아 있음.
• 개인정보 회수 (right to be forgotten) — GDPR, EU AI Act. 특정 사용자의 데이터를 학습에서 제거할 의무.
• 유해 데이터 제거 — 학습 후 발견된 toxic / biased subset 의 사후 제거.
• commercial vs research split — 같은 데이터의 일부 만 commercial 사용 허용. flexible 한 변형 (variant) 학습 필요.

FlexOlmo 의 핵심 기술 idea — data 를 module 단위로 학습. 한 module 의 영향이 모델 안의 한 부분에 localized 되도록. 그 부분을 빼면 그 module 의 영향이 빠진다.

MoE 와의 관계

구조적으로 mixture-of-experts (MoE) 와 같다 — Mixtral, DeepSeek-MoE 의 형태. 그러나 routing 의 의미가 다르다. MoE 의 routing 은 token 마다 학습된 router 가 결정. FlexOlmo 의 expert 는 data partition 자체로 정해짐. 학습 시 routing 이 supervised — “이 token 은 web partition 에서 왔으니 web expert 로”.

이 차이가 핵심 — supervised routing 덕분에 expert ↔ partition 의 mapping 이 명시적. unlearn 이 가능한 이유.

FlexOlmo 학습의 단계별 흐름. OLMo 의 학습 framework 와 어디가 같고 어디가 다른가.

학습 cost

Olmo 같은 baseline 대비 cost 비교 (paper 의 수치는 확인 필요).

• training compute — 비슷하거나 +10-20% (expert 가 추가 parameter 라).
• inference compute — MoE 와 같이 active parameter 만 사용. dense 모델보다 빠를 수 있음.
• opt-out cost — expert 한 개 제거는 거의 0 cost. backbone 도 retrain 하면 일부 비용 (그러나 처음부터 다시 학습보다 훨씬 적음).

FlexOlmo 의 자연스러운 question — flexibility 를 위해 일반 능력을 얼마나 희생하는가? paper 의 결과는 "거의 없음" (확인 필요).

OLMo 시리즈의 입장에서 reproducibility 의 spec — 다음 모두를 공개해야 누군가가 같은 모델을 다시 만들 수 있다.

• data — 학습에 쓴 모든 데이터. partition 단위까지. Dolma corpus 같은 형태.
• data preprocessing code — tokenizer, filtering, deduplication. seed 까지.
• training code — 분산 학습 framework. hyperparameter 전체.
• checkpoint cadence — 마지막만이 아니라 중간 step 도 공개. learning curve 의 검증 가능.
• eval suite — eval 에 쓴 코드와 prompt template. eval 결과 reproducible.
• hardware spec + log — exact GPU type, count, schedule. timing 의 reproducibility.

FlexOlmo 는 OLMo 의 reproducibility 표준에 data partition manifest 를 추가한다 — 어느 데이터가 어느 expert 에 들어갔는지의 명시적 매핑. 사후 opt-out 시 어느 expert 가 영향받는지 추적 가능.

"AI 모델의 라이선싱" 은 data, code, weight 셋이 다르게 흘러갈 수 있다는 점에서 복잡. FlexOlmo 의 입장은 — “데이터의 license 는 expert 단위로 추적해, 적절한 commercial 사용 가능 변형을 빌드한다”.

FlexOlmo 가 2025 시점에서 새로운 모델인 만큼, 채택은 초기. 강의에서 언급될 수 있는 / 자연스러운 사례들 (확인 필요).

• academic research — full reproducibility 가 중요한 학술 환경. data partition 가 ablation 의 dimension 으로 자연스럽게 들어감.
• regulated industry — 의료, 법률, 금융. 사후 데이터 회수 가능성이 compliance 의 prerequisite 가 되는 도메인.
• multilingual — 각 언어를 expert 로. 일부 언어만 commercial license, 나머지는 research only 같은 hybrid.
• continual learning — 새 데이터 partition 을 새 expert 로 추가. backbone 은 그대로. incremental learning 의 cleaner 한 framework.
• specialized derivatives — code expert 만 떼서 code-only 모델, scientific expert 만 떼서 science-only 모델. 같은 원본에서 여러 specialized model.

• true unlearning — backbone 의 잔류 정보 까지 제거. 이론적으로는 어렵지만 frontier research.
• fine-grained partition — 현재는 source-level partition. document-level, token-level partition 으로 더 정교한 unlearn 가능성.
• delegated training — 데이터 contributor 가 자기 expert 를 직접 학습해 backbone 에 plug-in. federated learning 와 같은 가족.
• privacy-preserving training — differential privacy + flexible expert 의 합성. 이론적/공학적 question.
• governance protocol — opt-out 요청을 누가 받고 누가 검증하고 누가 적용하는가. 기술 외 framework.

손에 새기기 — 실습 시퀀스

1. OLMo / FlexOlmo 직접 다운로드 — Hugging Face 에서 weight + tokenizer + 학습 데이터 manifest 까지 다운. 실제 partition 의 모양 직접 확인.
2. data partition 분석 — Dolma corpus 의 source distribution 시각화. partition 을 어떻게 나눠야 자연스러운지 직접 시도.
3. expert 제거 실험 — FlexOlmo 의 expert 한 개를 mask out 한 inference. 그 partition 의 평가 데이터에 대한 perplexity 변화 측정.
4. membership inference — 제거 전후의 모델에 대해 그 partition 의 데이터로 MIA 공격. unlearn 의 정량적 측정.
5. baseline 비교 — 같은 size 의 OLMo 와 FlexOlmo 를 MMLU 등에서 비교. flexibility 의 비용 직접 측정.
6. data manifest 작성 — 자기 학습 데이터를 partition 단위로 명시. license, source, opt-out path 까지. open LM 의 governance hygiene.

FlexOlmo 는 ScaleML 시리즈 안에서 data layer 의 핵심. system / inference / quantization 강의들의 데이터 거버넌스 기준점.

• FlexOlmo 의 정확한 architecture — 본문은 “MoE 와 같은 가족” 의 일반화된 표현. paper 가 publish 되면 정확한 구조 (expert 수, sharing ratio, routing 방식) 로 교체.
• 벤치마크 수치 — “±1% 안” 은 paper Abstract 의 정성 패턴 추정. 정확한 표는 paper §5 Tables 확인 필요.
• opt-out 요청 처리 protocol — 기술적 mechanism 외의 governance side. 강의에서 언급됐는지 확인 필요.
• OLMo 2 / FlexOlmo 의 release timing — AI2 의 release schedule 추적 필요.
• commercial 채택 사례 — §08 의 사례는 일반 추정. 실 케이스는 강의 영상 / paper 확인 필요.