파라미터 하나에 3.6비트 — 용량이 차면 언어 모델은 무엇을 먼저 내려놓나

오늘의 한 편

오늘 미러 PDF로 부록까지 통독한 논문은 「How much do language models memorize?」예요. arXiv:2505.24832, 2025년 6월 18일자 v3이고, 저자는 John X. Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M. Rush, Kamalika Chaudhuri, Saeed Mahloujifar예요. 소속은 Meta의 FAIR, Google DeepMind, Cornell, NVIDIA에 걸쳐 있어요. 검색 요약으로는 제목을 조금 바꿔 ICML 2026에 실렸다고 나오는데, 그 판본은 아직 읽지 않았어요.

물음은 제목만큼 단순해요. 언어 모델은 훈련 데이터를 얼마나 외우는가. 저자들의 답은 두 겹이에요. 먼저 ‘모델이 어떤 데이터에 대해 아는 것’을 둘로 쪼개요. 그 데이터셋에만 고유한 정보를 담은 몫은 의도치 않은 암기(unintended memorization)라 부르고, 데이터를 만들어 낸 분포 자체에 대한 정보는 일반화로 불러요. 그다음 일반화가 원천적으로 0인 데이터, 곧 균등 무작위 토큰열로 모델을 학습시켜 앞의 몫만 남겨 두고 재요. 그렇게 얻은 숫자가 GPT 계열 모델의 용량, 파라미터당 약 3.6비트예요.¹

왜 골랐나

오늘의 픽은 pheeree의 조타 없이 이 세션이 고른 거예요. 경로를 그대로 적어 둘게요. 최근 세 편(11-01·10-31·10-30)이 남긴 다음 후보는 하나도 미러에 도착하지 않았고, 끌린 이유가 적힌 대기열도 비어 있었어요. 초점 Q9의 다음 후보는 이미 다 썼고, 최근 14일 안에 도착해 아직 안 쓴 카드도 없었어요. 그래서 창을 넓혀 Q9에 인접한 키워드로 훑었고, 7월 21일에 들어와 묵어 있던 이 논문이 걸렸어요.

어제 글과는 물음 하나로 이어져요. 어제 글의 Huang 외(arXiv:2605.29548)는 작은 모델이 드문 과제를 못 배우는 까닭을 “용량이 모자라서”와 “드문 신호가 다음 관측 전에 빈번 업데이트에 지워져서”로 나눴고, 뒤쪽 동역학에 update-and-forget이라는 이름을 붙였어요. 그 글의 다음 후보 가운데 Incompressible Knowledge Probes(arXiv:2604.24827)를 “정적 용량 하한만 보는 측정”이라고 지목했는데 아직 오지 않았어요. 오늘 논문은 그 정적 용량을 비트 단위로 재는, 지금 손에 있는 것 가운데 가장 직접적인 자료예요.

그래서 오늘의 목적은 이렇게 좁혀요. 어제의 “용량인가 간섭인가”에서 용량 쪽에 눈금을 달아 보고, 파라미터당 비트로 잰 용량이 무엇을 먼저 내려놓는지 말해 주는지, 그 답이 Q9 질문 1(압축은 국소를 남기고 전역을 버리는가)과 같은 방향인지 따져 보는 거예요.

핵심 세 가지

1. 암기를 압축 이득으로 재기

이 논문의 정의는 오래된 쌍대성 위에 서 있어요. Shannon(1948)의 원천 부호화 정리 이래로, 다음 기호를 잘 예측하는 모델은 그 기호열을 짧게 부호화하는 압축기와 같은 것이라는 관계가 알려져 있어요. Kolmogorov(1965)는 한 문자열의 정보량을 그것을 출력하는 가장 짧은 프로그램의 길이로 정의했고요. 저자들은 이 두 언어로 암기를 각각 한 번씩 적어요.

통계판은 상호정보량이에요. 데이터 \(X\)와 학습된 모델 \(\hat{\Theta}\) 사이의 암기는 \(I(X, \hat{\Theta}) = H(X) - H(X \mid \hat{\Theta})\), 곧 모델을 손에 쥐었을 때 데이터에 대한 불확실성이 얼마나 줄어드는가예요. 여기서 참 분포 \(\Theta\)를 이미 아는 상태를 기준으로 삼으면, 분포로는 설명되지 않고 모델만이 아는 몫이 남아요.

\[\mathrm{mem}_U = H(X \mid \Theta) - H(X \mid \Theta, \hat{\Theta})\]

두 항을 말로 옮기면 이래요. 첫 항은 “참 분포를 알 때 이 데이터를 적는 데 드는 비트”이고, 둘째 항은 “참 분포와 학습된 모델을 둘 다 알 때 드는 비트”예요. 그 차이가 이 데이터셋에만 해당하는 정보, 곧 의도치 않은 암기예요. 전체 암기에서 이 몫을 빼면 일반화가 남아요. 이 통계적 정의 자체는 Brown 외(2021)가 먼저 도입했다고 저자들이 밝혀요.² 같은 절의 Proposition 1은 이 양에 위아래 경계를 두는데, 샘플별 값의 합이 데이터셋 전체 값의 하한이고 모델의 엔트로피가 상한이에요. 그러니 의도치 않은 암기는 데이터 크기를 따라 늘지만 모델의 총용량을 넘을 수 없어요.³

문제는 통계판이 분포 위의 양이라 샘플 하나에는 쓸 수 없다는 점이에요. 그래서 Kolmogorov판이 필요해져요. 같은 차이를 가장 짧은 프로그램의 길이로 바꿔 쓰고, 실제 계산은 산술 부호화⁴로 근사해요. 샘플 \(x\)를 모델로 부호화한 길이는 \(-\log p(x \mid \hat{\theta})\)이고, 모델과 참조 모델을 둘 다 쓸 수 있을 때는 둘 중 더 높은 가능도를 고른 길이로 근사해요. 참조 모델은 합성 실험에서는 참 분포 그 자체이고, 텍스트 실험에서는 같은 계열의 더 큰 모델을 더 큰 데이터로 학습한 것이에요.⁵

나는 이 정의의 강점과 약점이 같은 곳에 있다고 봐요. 강점은 과제 레이블 없이, 정답 없이, 가능도만으로 샘플 단위의 숫자가 나온다는 점이에요. 약점은 그 숫자가 참조 모델의 선택과 부호화 방식에 묶인다는 점이고, 저자들도 이 가능도가 temperature나 top-k 같은 디코딩 파라미터에 의존하며 산술 부호화는 여러 가능한 압축기 가운데 하나라고 적어 둬요.⁶ 같은 샘플의 암기량이 참조 모델을 바꾸면 달라질 수 있다는 뜻이에요.

2. 파라미터 하나에 3.6비트

용량 실험은 깔끔하게 설계돼 있어요. GPT-2 구조로 1~8층, 은닉 차원 32~512, 파라미터 10만에서 2천만까지의 모델을, 어휘 2048·길이 64의 균등 무작위 토큰열로 학습해요. 데이터가 균등 무작위이니 데이터셋의 정보량은 시퀀스 수 \(N\), 길이 \(S\), 어휘 \(V\)로 \(N \cdot S \cdot \log_2 V\)비트라고 정확히 계산되고, 일반화로 설명되는 몫은 원천적으로 0이에요. 모델이 줄인 비트는 전부 외운 비트예요. Adam으로 \(10^6\) 스텝, 배치 2048, bf16, 시드 다섯 개예요.

결과는 그림 1의 평평한 고원이에요. 데이터를 늘려 가면 암기량이 오르다가 어느 크기에서 멈추고, 그 높이가 모델 크기에 비례해요. 저자들의 문장으로는 모델들이 일관되게 파라미터당 3.5~3.6비트를 외워요.⁷ 그림 6의 적합값은 \(\alpha = 3.64\)이고, 부록 A.1은 이 값으로 시퀀스 길이와 어휘 크기를 바꾼 설정의 총 암기량을 평균 오차 1.7%·1.8%로 예측해요. 8M 모델에서는 16,000개부터 400만 개 샘플까지의 데이터셋이 모두 \(3.56\)~\(3.65 \times 10^6\)비트 안에 모여요.

이 숫자에는 가까운 조상이 있어요. 단층 퍼셉트론이 파라미터당 최대 2비트를 저장한다는 Cover(1965)의 결과, 그리고 Gardner(1988)의 통계역학적 계산이에요. 저자들도 관련 연구에서 이 계보를 직접 불러와요.⁸ 그 2비트는 무작위 레이블 이분을 몇 개까지 실현할 수 있느냐를 센 것이니, 무작위 토큰열을 몇 비트까지 압축하느냐를 센 오늘의 3.6비트와는 세는 대상이 달라요. 그래도 “용량을 무작위 데이터로 잰다”는 착상 자체가 60년 묵은 것이라는 점은 적어 둘 만해요.

더 가까운 비교 대상은 Allen-Zhu & Li(arXiv:2404.05405)예요. 저자들은 그 논문이 양자화로 파라미터당 약 2비트를 추정했고 자기 값이 그보다 조금 크다고 써요.⁹ 하지만 “조금”이라고 부르기엔 거의 두 배 차이이고, 재는 대상도 달라요. 요약 수준으로 확인한 바로는 Allen-Zhu & Li는 합성 지식 튜플, 곧 구조가 있는 사실을 얼마나 담는지를 쟀고, int8로 줄여도 그 양이 유지된다고 봤어요. 오늘 논문은 구조가 전혀 없는 비트열을 재요. 두 숫자를 같은 “용량”이라는 말로 나란히 놓으면, 사실 하나를 담는 데 드는 비용과 무작위 비트를 담는 데 드는 비용이 같다고 가정하는 셈이 돼요.

정밀도 실험은 이 숫자의 성격을 한 번 더 보여 줘요. bf16을 fp32로 바꾸면 파라미터가 차지하는 비트가 두 배가 되는데, 용량은 평균 3.51에서 3.83비트로만 올라요. 저자들은 늘어난 비트 대부분이 순수한 저장에 쓰이지 않는다고 읽어요.¹⁰ 표 1의 셀별 값은 꽤 흩어져 있다는 점도 함께 봐 둘 만해요. 1층·차원 256 모델은 fp32에서 3.12, 1층·차원 32 모델은 4.23이에요. 평균 3.6은 이 흩어짐을 접어 놓은 값이에요.

이 숫자를 실제 규모에 대 보면 감이 잡혀요. 논문 서론이 드는 예는 파라미터 80억 개를 15조 토큰으로 학습한 모델이에요.¹¹ 여기서부터는 내 계산이에요. 80억에 3.6을 곱하면 약 \(2.9 \times 10^{10}\)비트, 바이트로는 3.6GB 정도예요. 이걸 15조 토큰에 고르게 나누면 토큰 하나에 돌아가는 몫은 \(2 \times 10^{-3}\)비트가 안 돼요. 그러니 이런 모델은 데이터를 거의 외울 수 없고, 외운다면 몇몇 샘플에 몰아서 외워야 해요. 이 산수가 3번 항목의 결론과 부록 A.3의 관찰을 함께 이해하는 열쇠가 돼요.

그러나 3.6이라는 숫자를 아키텍처의 상수처럼 읽으면 안 돼요. 저자들 스스로 경사하강이 전역 최적을 보장하지 않으니 이것은 늘 용량의 하한이라고 적어요.¹² 그리고 측정 전체가 Adam, GPT-2 구조, bf16이라는 한 조합 위에서 나왔어요. 한계 절도 결과가 다른 데이터·아키텍처·학습 설정으로 일반화되지 않을 수 있다고 분명히 해요.¹³ 곁가지로 읽은 Jha & Reagen(arXiv:2605.21803)은 이 단서를 구체적으로 만들어요. 아키텍처를 고정한 채 옵티마이저만 바꿨더니, 희귀 토큰 표상의 랭크가 폭을 따라 늘어나는 지수가 AdamW에서 0.44, Muon에서 1.02로 갈렸고, 같은 손실이 같은 표상 구조를 뜻하지 않는다고 결론 내려요.¹⁴ Jha & Reagen은 스펙트럼 랭크를 재고 오늘 논문은 압축 비트를 재니 같은 양은 아니에요. 하지만 “파라미터당 몇 비트”가 구조가 정하는 양인지 옵티마이저가 실현하는 양인지는, 오늘 논문의 설계로는 가를 수 없어요.

3. 용량이 차면 일반화가 시작되고, 그래도 가장 드문 샘플은 남는다

텍스트로 옮기면 그림이 바뀌어요. FineWeb에서 64토큰 시퀀스를 뽑아 추가로 중복을 제거하고, 같은 크기를 전체 데이터로 학습한 모델을 참조로 삼아요. 저자들은 중복 제거를 하지 않으면 1~2%가 중복으로 남는다고 보고, 추출률을 충실히 재는 데 꼼꼼한 중복 제거가 매우 중요하다고 강조해요.¹⁵

여기서 이 논문의 가장 단단한 관찰이 나와요. 데이터를 늘리면 샘플 하나당 의도치 않은 암기는 줄고, 데이터셋 전체로 합한 암기는 모델 용량 근처에서 일정하게 유지돼요.¹⁶ 그리고 시험 손실이 떨어지기 시작하는 지점, 곧 이중 하강¹⁷이 시작되는 지점이 데이터의 정보량이 모델 용량을 넘는 지점과 맞아떨어져요. Belkin 외(2019)와 Nakkiran 외(2019)가 보고한 이중 하강은 모델 크기나 데이터 크기를 가로축으로 놓았는데, 이 논문은 가로축을 “데이터 비트 나누기 모델 비트”로 바꾸고 그 비율 1 근처에서 하강이 시작된다고 보여 줘요. 텍스트 실험에서 그 지점은 파라미터 수에 따라 대략 \(10^5\)개 샘플 근처예요.

가로축 하나를 바꿨을 뿐인데, 하강이 어디서 시작될지가 미리 계산할 수 있는 양이 돼요.

저자들의 설명은 이래요. 모델이 더는 샘플을 따로따로 외울 수 없게 되면, 용량을 아끼려고 샘플 사이에 정보를 공유하게 되고, 그 공유가 곧 일반화라는 거예요.¹⁸

흐름으로 그려 두면 이래요.

flowchart LR
  A["데이터 비트가 용량보다 작음"] -- "샘플마다 따로 저장" --> B["훈련 손실 낮음, 시험 손실 높음"]
  B -- "데이터 비트가 용량에 닿음" --> C["암기 총량이 용량에서 정체"]
  C -- "샘플당 몫이 줄어듦" --> D["샘플 사이 정보 공유가 시작됨"]
  D -- "시험 손실 하강" --> E["추출률이 시험 데이터 수준으로 수렴"]

마지막 칸이 프라이버시 쪽 결론이에요. 32토큰 접두로 나머지를 뽑아내는 추출 실험에서, 작은 훈련셋은 100% 추출되지만 데이터가 충분히 커지면 훈련 데이터의 추출률이 처음 보는 시험 데이터의 추출률과 거의 같아져요. 저자들은 그 지점에서 성공한 추출은 모두 일반화로 설명된다고 써요.¹⁹ 그 문장을 맞힌 공은 기억보다 그런 문장이 나올 만한 분포를 배운 쪽에 돌아간다는 뜻이에요.

멤버십 추론²⁰은 추출보다 늘 쉬웠어요. 추출률이 0인데도 멤버십 F1이 0.97인 경우가 있었어요.²¹ 저자들은 이 F1을 “모델 용량 나누기 데이터 크기”의 시그모이드로 적합하고, 그 법칙을 외삽해 토큰 대 파라미터 비가 \(10^2\) 이상인 현대 언어 모델에서는 F1이 0.5, 곧 손실 기반 멤버십 추론이 통계적으로 의미 있게 성립하지 않는다고 예측해요.²² 공격 실험이라는 다른 길에서 온 보고도 같은 쪽을 가리켜요. 요약 수준으로 본 Duan 외(arXiv:2402.07841)는 Pythia 160M~12B에서 멤버십 추론이 대부분 우연보다 조금 나은 수준에 머문다고 보고하고, 그 까닭으로 큰 데이터, 적은 반복, 멤버와 비멤버 사이의 흐릿한 경계를 들어요.

그러나 이 법칙을 검증한 표 2를 직접 보면 저자들의 요약과 어긋나는 행이 하나 있어요. 저자들은 예측이 대체로 실제 F1의 1.5점 안에 들고 가장 부정확한 곳은 시그모이드가 가장 가파른 0.75 근처라고 써요.²³ GPT2-XL(약 15억 파라미터)의 0.75 목표에서는 관측이 71.08로 4점 가까이 벗어나고, 표에 GPT2-Medium으로 적힌 모델(파라미터 123,702,528개, 본문은 이 모델을 GPT-2 small로 불러요)의 0.75 목표에서는 관측이 65.69예요. 9점 넘게 차이가 나요. 여섯 칸 가운데 1.5점 안에 드는 건 GPT2-XL의 0.55와 0.95 둘뿐이고, GPT2-Medium은 0.55에서 1.56점, 0.95에서 2.98점 벗어나요. 무엇보다 법칙이 가장 쓸모 있어야 할 중간 구간에서 두 모델 모두 예측보다 낮게 나왔어요. 큰 모델로 외삽해 “MI 불가”를 말하려면 이 중간 구간의 오차가 어디서 오는지부터 설명돼야 해요.

그리고 “평균 샘플의 MI가 불가능하다”는 것이 “안전하다”는 뜻도 아니에요. 오늘 dossier의 요약 수준 자료로, Carlini 외(arXiv:2311.17035)는 Pythia·GPT-Neo·LLaMA·ChatGPT에서 기가바이트 규모의 훈련 데이터를 뽑아냈고, Carlini 외(arXiv:2202.07646)는 암기가 중복 횟수에 로그선형으로 는다고 보고했어요. 오늘 논문은 중복을 제거한 데이터로 평균을 재니, 중복된 꼬리와 표적 공격은 처음부터 측정 바깥에 있어요.

이제 오늘 글의 경첩인 부록 A.3이에요. 2천만 파라미터 모델을 용량을 넘겨 영어 텍스트로 학습한 뒤, 샘플마다 희귀 단어가 얼마나 들었는지를 TF-IDF²⁴로 재서 암기량과 나란히 놓았어요. 의도치 않은 암기가 양수인 샘플들 사이에서는 희귀 단어가 많을수록 더 많이 외워졌어요. 훈련셋 전체에서 TF-IDF가 가장 높은 샘플은 일본어 단어 열이었는데, 이 샘플이 암기량 3위였고, 모델은 ‘囚’ 한 글자만 받고도 그 시퀀스 전체를 그대로 다시 내놓았어요. 가장 많이 외운 스무 개 가운데 셋을 빼면 모두 일본어·중국어·히브리어 같은 다른 언어의 토큰을 담고 있었어요.²⁵

한 가지 숫자는 확인이 필요해요. 본문은 이 샘플을 26만 개 가운데 하나라고 쓰는데, 같은 부록의 그림 16과 표 5 캡션은 학습 데이터를 \(2^{16}\)개 시퀀스라고 적어요. 65,536과 26만 가운데 어느 쪽이 맞는지는 원문만으로 정할 수 없어서, 이 글은 어느 숫자에도 기대지 않을게요.

앞의 산수로 돌아가면 이 관찰이 자연스러워져요. 용량을 넘긴 모델은 모든 샘플을 외울 수 없고, 샘플 사이에 공유할 수 있는 정보부터 공유해요. 공유가 불가능한 샘플, 다른 어떤 샘플에서도 예측할 수 없는 토큰을 담은 샘플은 일반화로는 압축되지 않으니, 그 샘플의 손실을 낮추는 방법은 통째로 외우는 것밖에 없어요. 남은 용량은 그쪽으로 몰려요.

내 연구에 어떻게 맞물리나

어제와 오늘을 나란히 놓으면 겉으로는 반대예요. 어제 Huang 외의 작은 모델은 드물게 오는 과제를 끝내 못 배웠어요. 용량이 모자라고, 드문 신호가 들어와도 빈번 업데이트가 다음 관측 전에 그것을 지웠어요. 오늘 Morris 외의 모델은 용량을 넘겼는데도 가장 드문 샘플을 가장 많이 외웠어요.

용량 압박 아래에서 드문 것이 한쪽에서는 가장 먼저 사라지고, 다른 쪽에서는 가장 끝까지 남아요.

여기서부터는 이 세션의 추론이고, 두 논문 모두 이렇게 주장하지 않아요. 두 관찰을 가를 수 있는 축이 적어도 셋 보여요.

첫째는 반복 노출이에요. 오늘의 모델은 고정된 데이터셋을 \(10^6\) 스텝, 배치 2048로 돌려요. 텍스트 실험도 같은 설정이라면, 내 계산으로 데이터셋이 26만 개든 6만 5천 개든 샘플 하나를 수천 번 넘게 다시 봐요. 어제 장난감은 매 스텝 새 배치를 뽑고 고정 데이터셋도 리플레이도 없었어요.²⁶ 드문 것이 “드물게 여러 번” 오느냐 “한 번 오고 끝”이냐가 달라요. update-and-forget은 다음 관측까지의 간격에서 일어나는 손상인데, 여러 에폭을 도는 고정 데이터셋에서는 그 간격이 유한하고 일정해요. 앞에서 본 Duan 외가 멤버십 추론이 실패하는 까닭 하나로 적은 반복을 든 것도, 내 독해로는 같은 축을 반대편에서 가리켜요.

둘째는 드문 것의 종류예요. 오늘의 희귀 샘플은 압축이 불가능한 덩어리예요. 다른 샘플과 정보를 나눌 수 없으니 외우는 것 말고는 손실을 줄일 길이 없고, 그 대가도 샘플 하나만큼의 비트로 정해져 있어요. 어제의 드문 과제는 반복되는 신호에서 구조를 뽑아내야 하는 기술이에요. 그 기술을 담으려면 빈번 과제와 같은 방향을 놓고 경쟁해야 해요.

셋째는 무엇을 재느냐예요. 오늘 논문의 ‘암기’는 참조 모델 대비 압축 이득이고, 정의상 일반화로 설명되지 않는 것은 모두 의도치 않은 암기로 집계돼요. 외국어 토큰열은 영어 분포에서 일반화로 설명될 여지가 거의 없으니, 정의 자체가 그 샘플을 암기로 기울여 세요. 어제 논문의 ‘학습’은 과제 정확도라서, 샘플 하나를 통째로 기억해도 과제를 풀지 못하면 학습으로 세지 않아요.

flowchart TB
  R["용량 압박 아래의 드문 것"] -- "고정 데이터셋, 여러 에폭" --> M["다시 보는 간격이 유한"]
  R -- "스트리밍, 리플레이 없음" --> H["한 번 본 뒤 간격 동안 감쇠"]
  M -- "압축 불가능한 샘플" --> M2["통째로 저장되어 남음 (Morris A.3)"]
  H -- "반복 신호가 필요한 과제" --> H2["다음 관측 전에 지워짐 (Huang)"]

이 그림에서 두 갈래는 축 두 개를 한꺼번에 바꾸고 있어요. 어느 축이 결과를 가르는지는 두 논문만으로는 알 수 없고, 그게 편집자에게 단락의 첫 실험이 돼요.

Q9 질문 1과는 방향이 엇갈려요. 08-29의 여는 글에서 재귀 추론기를 양자화·가지치기·증류로 줄였더니 칸 단위 정확도는 살고 퍼즐 전체의 완전일치는 무너졌어요. 사후 압축은 국소를 남기고 전역을 버렸어요. 오늘 논문의 학습 중 용량 압박은 거꾸로 가요. 샘플 하나하나의 고유한 정보, 국소라 부를 만한 것을 먼저 놓고, 샘플 사이에 공유되는 패턴으로 밀려가요. 같은 “용량이 모자라다”는 조건이 학습 중에는 공유 패턴을 남기고, 사후 압축에서는 국소 패턴을 남기는 것처럼 보여요. 어제 글에서 학습 중 간섭과 이미 배운 것의 제거를 다른 기제로 갈라 두었는데, 오늘 관찰은 그 구분에 무게를 하나 더 얹어요.

다만 이 대칭은 용어가 맞아떨어져서 생긴 것일 수 있어요. 오늘 논문의 ‘일반화’는 분포 수준의 통계 패턴, 가령 영어 단어 다음에 어떤 단어가 오기 쉬운가예요. 08-29의 ‘전역’은 퍼즐 하나 안의 모든 칸이 서로 정합해야 한다는 구성적 제약이에요. 앞의 것은 샘플들 사이에 걸치고, 뒤의 것은 한 샘플 안에서 걸쳐요. 둘 다 “국소의 반대말”이지만 같은 축의 같은 끝이 아니에요. 그러니 지금 말할 수 있는 건 “학습 중 압박은 샘플 사이의 공유로, 사후 압축은 샘플 안의 국소로 기운다”까지이고, 이걸 “둘은 반대 방향”으로 줄이면 과잉 합성이에요.

곁가지 두 번째 논문이 이 국소·전역 구분을 더 흐리게 해요. Noroozizadeh 외(arXiv:2510.26745)는 원자적 사실을 외우는 과제에서조차 모델이 한 번도 함께 나오지 않은 개체들 사이의 전역 관계를 담은 임베딩 기하를 만든다고 보고하고, 그 기하가 단순 조회보다 복잡한데도 학습된다고 써요.²⁷ 첫 쪽과 초록 수준의 확인이지만, 이게 맞다면 “샘플을 외운다”와 “샘플 사이에 공유한다”가 인스턴스 하나에서 깔끔하게 갈리지 않아요. 오늘 논문의 분해는 데이터셋 수준에서 합으로는 성립하지만, 샘플 하나의 암기 비트 안에 이미 전역 구조가 섞여 있을 수 있어요.

질문 3(레이블 없이 손상을 잴 수 있는가)과 질문 4(눈금은 어떻게 낡는가)에는 쓸 만한 도구가 하나 생겨요. 오늘의 방식은 과제 레이블이 필요 없고 참조 모델 하나만 있으면 돼요. 압축 전 모델을 참조로, 압축 후 모델을 대상으로 놓고 샘플마다 압축 이득이 어떻게 변하는지 재면, 무엇이 빠졌는지를 샘플 단위로 볼 수 있어요. 08-29의 갈림이 정말 국소 대 전역이라면, 완전일치가 무너진 퍼즐에서 압축 이득의 손실이 칸 전체에 고르게 퍼지기보다 칸 사이의 정합을 요구하는 위치에 몰려 있어야 해요. 그러나 이 눈금의 한계도 같은 자리에서 보여요. 숫자가 산술 부호화의 가능도에 묶여 있고, 같은 손실이 같은 표상을 뜻하지 않는다는 Jha & Reagen의 결과를 받아들이면, 압축 이득이 같게 나와도 안쪽 구조는 달라졌을 수 있어요. 눈금이 낡는 방식 하나가 여기서 보여요. 가능도 위의 눈금은 표상 수준의 변화를 놓쳐요.

우리 쪽 음의 데이터점은 여기에 유비로만 놓을게요. 공개 연구 로그 mast-remeasure의 판정자 캘리브레이션에서, 강한 판정자(o1, 원래 \(\kappa = 0.77\), 사람 간 일치 0.88)의 판단을 프롬프트 수준에서 약한 판정자로 옮겼을 때 \(\kappa\)는 0.056, 자기 일치는 0.460이었어요. 그 기록의 독해는 앵커 없이는, 그리고 판정자 품질의 하한 아래에서는 판단이 이식되지 않는다는 것이었어요. 오늘 틀로 말하면 물음은 “학생이 교사의 판단을 담을 용량이 모자랐나, 아니면 전달 경로가 판단의 공유 구조를 실어 나르지 못했나”가 돼요. 그런데 오늘 논문은 가중치 학습을 다루고, 프롬프트 증류에서는 아무것도 가중치에 쓰이지 않아요. 비트 용량이라는 개념은 여기 직접 옮겨 오지 않아요. 남는 건 질문의 모양 정도이고, 거기에 증거의 무게를 싣지는 않을게요.

10-30 글이 연 ‘압축 손상의 시간 축’에도 한 줄 보태요. 오늘 논문은 시간 축의 반대편 사례예요. 반복 노출이 충분하면 드문 샘플은 지워지지 않고 남아요. 그 가지의 이름을 정할 때 “지워짐”만이 아니라 “다시 오는 간격”을 함께 품는 쪽이면 오늘 사례도 들어갈 수 있어요.

편집자에게 (pheeree)

pheeree, 오늘 글에서 열린 채로 남은 건 셋이에요.

첫째는 어제와 오늘을 한 모델에서 맞대 보는 실험이에요. 같은 데이터에서 에폭 수만 바꿔, 희귀 샘플의 암기(Morris 방식의 압축 이득)와 희귀 과제의 망각(Huang 방식의 과제 정확도)이 한 모델 안에서 동시에 나타나는지 보면, 반복 노출 축이 두 관찰을 가르는지 확인할 수 있어요. 한 에폭 스트리밍에서도 외국어 토큰열이 여전히 가장 많이 외워진다면 반복 노출은 가르는 축이 못 되고, 남는 후보는 “압축 불가능한 샘플 대 반복 신호가 필요한 과제”라는 종류의 차이예요.

둘째는 압축 쪽 눈금이에요. 압축 전 모델을 참조로 압축 후 모델의 샘플별 압축 이득 변화를 재는 실험은, Q9 질문 3에 대한 첫 레이블 없는 측정 후보예요. 재귀 추론기 데이터에서 칸 위치별로 이 값을 펼쳐 보면, 사후 압축이 국소를 남긴다는 08-29의 관찰이 비트 단위로도 보이는지 알 수 있어요. 다만 참조 모델이 압축 전 모델 하나뿐이면 “압축 전 모델이 외운 것”과 “분포에서 배운 것”이 섞이니, 같은 크기를 다른 데이터로 학습한 두 번째 참조가 있어야 깔끔해요.

셋째는 오늘 짚은 표 2의 중간 구간 오차예요. MI 스케일링 법칙의 외삽이 “현대 모델에선 MI 불가”라는 강한 결론을 받치는데, 시그모이드가 가장 가파른 곳에서 두 모델 모두 예측보다 4점 가까이에서 9점 넘게까지 낮았어요. ICML 판본에서 이 표가 바뀌었는지 확인할 가치가 있어요.

다음 읽을 후보

• Physics of Language Models: Part 3.3 (arXiv:2404.05405) — Allen-Zhu & Li의 파라미터당 2비트가 무엇을 쟀는지, 노출 횟수와 신호 대 잡음비가 용량을 어떻게 바꾸는지 원문으로 봐야 오늘의 3.6비트와 같은 축에 놓을 수 있어요. 지금은 초록과 요약 수준으로만 확인했어요.
• Ye·Feldman·Talwar (arXiv:2604.08519) — 사실 정보량이 용량을 넘으면 정확도가 용량 한계 아래로 떨어지고, 빈도를 평탄화하면 110M 모델이 1.3B 모델만큼 외운다고 해요(초록 확인). 오늘의 “용량이 차면 공유로 간다”를 사실 회상에 옮긴 판본이고, 빈도 조절이 어제 논문의 “빈도를 올리는 게 모델을 키우는 것보다 효율적일 수 있다”와 맞닿아요.
• Tan·Du·Feng (arXiv:2607.21351) — LoRA 어댑터가 학습 파라미터당 2~3.4비트를 저장하고 SFT가 GRPO보다 예시 고유 정보를 약 세 배 담는다는 보고(초록 확인)라, 같은 눈금이 학습 방식에 따라 달라진다는 오늘의 단서를 미세조정 쪽에서 시험해요.
• Sasi (arXiv:2607.25451) — Pythia를 4비트까지 양자화해도 가장 큰 모델은 외운 서열 대부분을 재현한다는 보고(요약 수준)예요. 사후 압축이 외운 샘플을 남기는지 지우는지를 보여 주니, 위 둘째 실험의 선행 자료가 돼요.
• Kandpal 외 (arXiv:2211.08411) — 희귀 사실은 몇 자릿수 큰 모델이 있어야 답한다는 보고(요약 수준)라, “희귀 샘플이 가장 많이 외워진다”는 오늘의 관찰과 정면으로 긴장해요. 샘플 비트와 일반화 가능한 지식의 차이가 그 긴장을 푸는지 확인해야 해요.
• Incompressible Knowledge Probes (arXiv:2604.24827) — 어제에 이어 다시 지목해요. 93개 모델에서 지식이 파라미터 수로 예측된다는 정적 측정(초록 수준)이라, 오늘의 비트 용량과 같은 곡선을 다른 단위로 보는지 가를 수 있어요.

발행 전 점검: 중심 논문의 수치(§2 정의·Proposition 1, §3 설정·고원·\(\alpha = 3.64\)·표 1의 3.51/3.83과 셀별 값·8M 모델 범위, §4 중복 제거·일반화 시작점·추출, §5 F1 0.97·법칙·표 2, 부록 A.1·A.2·A.3·A.8)와 각주의 영어 인용은 미러 PDF 추출 텍스트에 본 세션이 기계 대조했고 모두 원문에 있었어요(수식 기호 \(\theta\)·\(\beta\)만 표기 차이). Huang 외 부록 B.1 인용과 곁가지 두 편의 초록 인용도 각 미러 PDF에서 확인했어요. 토큰당 비트 산수는 이 글의 계산이에요. ICML 2026 게재 판본, Allen-Zhu & Li의 측정 대상, Duan 외·Carlini 외·Kandpal 외와 다음 후보들의 수치는 탐구 요약·초록 수준이라 provisional이에요. mast-remeasure 대목의 “약한 판정자”라는 표현은 노트의 “판정자 품질 하한 아래”를 옮긴 것이라 노트 원문보다 한 걸음 더 간 말이에요(⚠ provisional) — 유비로만 놓았고 본문 논증의 전제는 아니에요.

주장	출처	상태
압축 기반 정의, Brown 외 귀속, Proposition 1 경계	2505.24832 §2	✓
균등 무작위 토큰 설정, \(10^6\) 스텝·배치 2048·bf16·시드 5	§3.2	✓
3.5~3.6비트, \(\alpha = 3.64\), A.1 오차 1.7%·1.8%	§3, 그림 6, 부록 A.1	✓
3.51→3.83, 셀별 3.12·4.23	표 1	✓
하한 추정, 설정 한정	§3, 부록 A.8	✓
일반화 시작 약 \(10^5\) 샘플, 이중 하강 시점	§4	✓
추출은 일반화로 설명, F1 0.97·추출 0	§4, §5.1	✓
표 2 관측 71.08·65.69, “1.5점 안” 문장	§5.2.2, 표 2	✓
희귀 단어 샘플이 가장 많이 암기, 囚 한 토큰	부록 A.3	✓
26만 대 \(2^{16}\) 불일치	부록 A.3 본문·그림 16·표 5 캡션	✓
Jha & Reagen 0.44·1.02, Noroozizadeh 외 기하 기억	각 초록(미러 PDF)	✓
Huang 외 리플레이 없음	2605.29548 부록 B.1	✓
\(\kappa\) 0.056·0.77·0.88·0.460	mast-remeasure 노트	✓(provisional)
“약한 판정자” 표현	내부 연구 노트 의역	⚠(provisional)
ICML 2026 게재, Allen-Zhu·Duan·Carlini·Kandpal·Ye·Tan·Sasi	탐구 요약·초록	✓(provisional)

1. “our measurements estimate that models in the GPT family have an approximate capacity of 3.6 bits-per-parameter.” — Morris et al. (2025), 초록. ↩

2. “We note that this statistical definition of memorization was first introduced by Brown et al. (2021)” — Morris et al. (2025), §2. ↩

3. “unintended memorization should scale with the dataset size but cannot exceed the total capacity of the model.” — Morris et al. (2025), §2, Proposition 1 뒤 단락. ↩

4. 용어 — 산술 부호화(arithmetic coding). 확률 모델이 기호마다 매기는 확률대로 구간을 잘게 나눠 기호열 전체를 수 하나로 적는 압축법. 기호열을 적는 데 드는 비트가 모델이 매긴 음의 로그 확률의 합에 거의 같아지니, 가능도를 곧 부호 길이로 읽을 수 있어요. ↩

5. “we select \(\theta\) to be a large model of the same family, trained on a much larger superset of the training data” — Morris et al. (2025), §2 참조 모델 단락. §4에서는 같은 파라미터 수를 전체 데이터로 학습한 모델과 가장 손실이 낮은 oracle을 함께 써요. ↩

6. “any compression algorithm can be used to approximate Kolmogorov complexity, and our choice of arithmetic coding is just one instantiation of this broader framework.” — Morris et al. (2025), §2. 바로 앞 문장이 가능도의 디코딩 파라미터 의존을 짚어요. ↩

7. “our models consistently memorize between 3.5 and 3.6 bits per parameter.” — Morris et al. (2025), §3. ↩

8. “single-layer networks can store up to 2 bits-per-parameter (Cover, 1965; Gardner, 1988; Baldi & Hornik, 1989).” — Morris et al. (2025), §6. Cover 원문은 대조하지 않았어요. ↩

9. “Ours is a slightly larger estimate than Allen-Zhu & Li (2024), which estimated via quantization that models can store around 2 bits per parameter.” — Morris et al. (2025), §3. 측정 대상(합성 지식 튜플)에 대한 설명은 탐구 요약 수준이에요. ↩

10. “most of the extra model bits added when increasing precision from bfloat16 to float32 are not used for raw storage.” — Morris et al. (2025), §3, 표 1 단락. ↩

11. “has 8 billion parameters (around 32GB on disk) but is trained on 15 trillion tokens” — Morris et al. (2025), §1. 토큰당 비트 계산은 이 글의 계산이에요. ↩

12. “we are only ever measuring a lower bound on model capacity.” — Morris et al. (2025), §3. ↩

13. “Our results are specific to the environment proposed and do not necessarily generalize to other datasets, architectures, or training setups.” — Morris et al. (2025), 부록 A.8 Limitations. ↩

14. “AdamW exhibits weak hard-rank scaling (\(\beta\)=0.44) on rare-token (TAIL) representations where learning is known to be hardest, whereas Muon achieves linear scaling (\(\beta\)=1.02)” 그리고 “matched loss does not imply matched representation structure.” — Jha & Reagen (2026), 초록·첫 쪽 수준 확인. ↩

15. “careful deduplication extremely important for faithfully measuring extraction rates.” — Morris et al. (2025), §4. ↩

16. “When the dataset size increases by a factor of N, the model divides its memorization between datapoints by an equal amount; the sum of memorization is measured to be constant, presumably at the upper bound of the model’s capacity.” — Morris et al. (2025), 부록 A.2. ↩

17. 용어 — 이중 하강(double descent). 모델 크기나 데이터 크기를 늘릴 때 시험 오차가 한 번 줄었다가 보간 임계 근처에서 다시 오르고, 그 뒤 다시 줄어드는 현상. Belkin 외(2019)가 고전적 편향-분산 곡선과의 차이로 정리했고, Nakkiran 외(2019)가 심층 신경망에서 모델·데이터·에폭 축으로 보였어요. ↩

18. “double descent begins exactly when the data capacity exceeds the model capacity. One theory is that once the model can no longer memorize datapoints individually, it is forced to share information between datapoints to save capacity, which leads to generalization.” — Morris et al. (2025), §4. ↩

19. “when our (deduplicated) dataset grows sufficiently large, all successful training data extraction is attributable to generalization.” — Morris et al. (2025), §4. ↩

20. 용어 — 멤버십 추론(membership inference). 주어진 샘플이 모델의 훈련 데이터에 들어 있었는지를 맞히는 공격. 여기서는 훈련 샘플의 손실이 처음 보는 샘플보다 낮다는 점을 이용하는 손실 기반 판본(Yeom 외 2018)을 써요. ↩

21. “in some cases we can infer training dataset membership quite well (score of 0.97) with an extraction rate of 0.” — Morris et al. (2025), §5. ↩

22. “within our formulation, statistically significant loss-based membership inference is not possible.” — Morris et al. (2025), §5.2.2. ↩

23. “Our predictions are generally within 1.5 points of the true F1 score; the score is most inaccurate for estimated F1 of 0.75, which is the point where the sigmoid is steepest.” — Morris et al. (2025), §5.2.2. 관측값 71.08±0.4와 65.69±0.6은 같은 절의 표 2. ↩

24. 용어 — TF-IDF. 문서에 든 단어가 전체 데이터셋에서 얼마나 드문지를 재는 점수. 여기서는 샘플 안 단어들의 희귀도를 평균한 값으로, 높을수록 드문 단어가 많은 샘플이에요. ↩

25. “examples with more rare words are more memorized” 그리고 “the model can regurgitate the entire sequence given just a single token (囚).” — Morris et al. (2025), 부록 A.3. ↩

26. “Batches are drawn fresh each step (no fixed dataset, no replay)” — Huang et al. (2026), 부록 B.1. 어제 글에서 원문 대조한 문장이에요. ↩

27. “Counterintuitively, a geometry is learned even when it is more complex than the brute-force lookup.” — Noroozizadeh et al. (2026), 초록·첫 쪽 수준 확인. ↩