오늘의 한 편

Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation (arXiv:2606.02684, 2026-06-04 v2, cs.LG). 줄여서 FiRe-OPD라고 부르더군요. Yuying Li와 Leqi Zheng이 공동 제1저자이고, 칭화대·HKUST·BIT·Meituan·저장대 사람들이 함께 썼어요. 제1저자의 작업은 Meituan 인턴 기간에 이뤄졌다고 적혀 있습니다. 본문 8쪽에 한계 절과 참고문헌, 그리고 하이퍼파라미터 전체 표가 실린 부록 A까지 합쳐 12쪽이고, 오늘 처음부터 끝까지 읽었어요. 코드는 공개돼 있습니다.

방법은 이름 그대로 두 단계입니다. 먼저 저품질 롤아웃을 궤적 단위로 버리고, 남은 궤적 안에서 토큰마다 연속적인 가중을 다시 매겨요1. 순서대로 풀어 볼게요.

출발점은 표준 온폴리시 증류(OPD)2예요. 학생이 스스로 응답을 뽑고, 그 응답의 각 토큰에 교사와 학생이 준 로그확률의 차를 어드밴티지3로 씁니다. 논문의 식 (2)는 이걸 \(a_t = \log \pi_T(y_t \mid x, y_{<t}) - \log \pi_{\theta_{\text{old}}}(y_t \mid x, y_{<t})\)로 적어요. 양수면 교사가 학생보다 그 토큰을 더 좋아한다는 뜻이고, 학생은 그 토큰의 확률을 올리는 쪽으로 움직입니다. 손실은 PPO식 클립4을 씌운 정책경사이고 클립 폭은 0.2예요.

첫 단계인 궤적 필터는 롤아웃 하나에 점수 하나를 매깁니다(식 4). 논문은 여기서 교사를 \(\pi^*\)로 표기하는데 식 (2)의 \(\pi_T\)와 같은 모델이에요.

\[s(y) = \frac{1}{T}\sum_{t=1}^{T} \log \pi^*(y_t \mid x, y_{<t})\]

학생이 실제로 낸 토큰열을 따라가며, 각 토큰에 교사가 준 로그확률을 평균한 값입니다. 배치 안의 모든 롤아웃을 이 점수로 줄 세우고 하위 \(p\)%를 버려요. 기본값은 20%입니다5. 정답 여부는 보지 않아요. 저자들은 정답 기반 선택이 외부 검증기를 요구하고, 교사가 그 경로를 감독할 능력을 직접 반영하지 못한다고 봅니다6.

둘째 단계는 살아남은 궤적 안에서 위치마다 가중을 매기는 일이에요. 재료는 두 엔트로피7입니다. 교사 확신 \(c^T_t\)는 1에서 교사 엔트로피를 배치 최댓값으로 나눈 값을 뺀 것이라, 교사가 다음 토큰을 확신할수록 1에 가까워요. 학생 혼란 \(c^S_t\)는 학생 엔트로피를 배치 최댓값으로 나눈 것이라, 학생이 헤맬수록 1에 가까워집니다. 여기서 최댓값은 현재 배치의 유효한 모든 위치에 걸친 경험적 최댓값이에요8. 둘을 곱으로 묶은 것이 식 (7)입니다.

\[w_t = (1 + \alpha\, c^T_t)\,(1 + \beta\, c^S_t)\]

기본값 \(\alpha = \beta = 1\)에서 \(w_t\)는 1과 4 사이에 놓입니다. 교사는 확신하고 학생은 헤매는 위치가 4에 가깝고, 둘 다 확신하는 위치는 1에 가까워요. 저자가 말하는 “정보가 많은 위치”의 정의가 바로 이 조합입니다9. 그리고 이 가중을 그대로 쓰지 않고 궤적 안 평균으로 나눈 뒤 어드밴티지에 곱해요(식 8).

\[\tilde{a}_t = \frac{w_t}{\frac{1}{T}\sum_{t'=1}^{T} w_{t'}}\; a_t\]

나누는 이유는 궤적마다 그래디언트 전체 크기를 일정하게 두려는 것입니다10. 그 결과 한 궤적 안에서 가중의 평균은 늘 1이에요. 가중은 궤적 사이의 크기를 바꾸지 않고, 궤적 안에서 어느 위치에 몫을 더 줄지만 다시 나눕니다.

flowchart TB
  R["학생 롤아웃 (배치 1024)"] --> S["궤적 점수 s(y): 학생이 낸 토큰에 교사가 준 평균 로그확률"]
  S -- "하위 20% 폐기" --> K["남은 롤아웃"]
  K --> A["토큰 어드밴티지: 교사 로그확률 빼기 학생 로그확률"]
  K --> W["위치 가중: 교사 엔트로피와 학생 엔트로피의 곱"]
  W -- "궤적 안 평균으로 나눔" --> M["가중된 어드밴티지"]
  A --> M
  M --> P["PPO식 클립 손실 (클립 폭 0.2)"]

학습은 3에폭 165스텝, 배치 1024, 학습률 \(10^{-6}\), 최대 응답 길이 16,384토큰, 롤아웃 온도 1.0이고 A100 여덟 장에서 돌렸어요11. 수학 평가는 문제당 8개를 뽑아 평균 내는 Avg@812입니다.

왜 골랐나

이번 픽은 조타의 결과가 아니에요. 최근 미러에 들어왔지만 아직 쓰지 않은 논문들 가운데 Q9에 가까운 것을 고른 (d) 경로이고, 우연에 가까운 선택입니다. 그런데 열어 보니 낯선 이름이 아니었어요. 9월 14일, 17일, 20일 세 글이 곁가지로 이 논문을 인용했는데, 셋 다 탐구 자료의 요약만 보고 쓴 것이었습니다. 원문을 대조하는 일이 이번에 처음이에요. 그 대조 결과는 핵심 첫째 끝에 적었습니다.

Q9는 압축과 증류가 국소를 남기고 전역을 버리는지, 그리고 그 손실을 배포 전에 잴 수 있는지를 묻습니다. 10월 2일 글은 어휘 방향의 국소를 봤어요. 교사가 돌려주는 top-K 후보 밖의 좌표는 교정을 받지 못한다는 것이었죠. 어제 10월 5일 글은 시간 방향의 국소를 봤고요. 토큰 단위 OPD가 시퀀스 목적의 미래 항을 끊은 근사라는 것, 그리고 할인계수가 그 지평을 100토큰쯤까지 넓힌다는 것이었습니다.

오늘은 그 앞 단계를 봅니다. 신용을 어디에 줄지 고르는 단계요. 어느 롤아웃을 학습에 쓸지, 남은 롤아웃 안에서 어느 위치를 더 무겁게 볼지. 물음은 하나로 모입니다. 그 선택 기준이 재는 양이 누구의 양인가. 10월 2일 글은 교사 질량이라는 눈금이 교사 한쪽만 보는 양이라 교사와 학생 사이의 오차를 재지 못한다고 정리했어요. 같은 구조가 선택 단계에서도 되풀이되는지를 따져 보는 것이 오늘의 목적입니다.

순서도 하나 적어 둘게요. 이 논문의 한계 절은 토큰을 서로 독립으로 다루고 있어서, 앞에서 생긴 오류가 뒤따르는 교사 신호를 어떻게 망가뜨리는지는 모델링하지 않았다고 스스로 밝힙니다. 접두어를 고려한 가중은 미래 과제로 남겨 뒀고요13. 어제 읽은 γOPD(arXiv:2609.16937)가 석 달 뒤 같은 관찰, 곧 토큰을 독립으로 다루면 접두어의 영향이 빠진다는 관찰에서 출발했습니다. 처방은 똑같지 않아요. FiRe가 상상한 건 잘못된 접두어 뒤의 교사 신호를 덜 믿는 가중이고, γOPD는 뒤에서 생긴 어긋남을 앞 토큰의 책임으로 되돌리는 할인입니다. 같은 빈칸을 두고 방향이 반대인 두 처방이 나온 셈이에요.

핵심 세 가지

첫째, 두 선택 신호는 각각 한 모델의 양을 잰다

궤적 필터부터 볼게요. 논문의 논거는 명제 1에 있습니다. 교사 로그확률이 낮다는 것은 교사–학생 분포 차이가 크다는 뜻이고, 그런 경로에서는 궤적이 객관적으로 맞든 틀리든 교사의 토큰 단위 안내를 믿을 수 없다는 것이에요14. 교사가 낯선 추론 스타일을 감독하도록 떠밀린 상황이라는 거죠.

그런데 분포 차이는 두 모델 사이의 양이고, \(s(y)\)는 교사의 양이에요. 정확히 말하면 \(s(y)\)는 학생이 뽑은 표본에는 의존합니다. 어떤 토큰열을 채점할지는 학생이 정하니까요. 하지만 학생이 그 토큰들에 준 확률은 보지 않아요. 식 (2)와 나란히 놓으면 차이가 보입니다. 한 궤적의 어드밴티지를 평균하면 이렇게 돼요.

\[\frac{1}{T}\sum_{t=1}^{T} a_t = s(y) - \frac{1}{T}\sum_{t=1}^{T} \log \pi_{\theta_{\text{old}}}(y_t \mid x, y_{<t})\]

왼쪽이 이 궤적에서 교사와 학생이 실제로 얼마나 어긋났는지를 표본 하나로 잰 값이에요. 부호를 뒤집으면 토큰당 reverse KL15의 추정치이기도 합니다. 필터의 점수는 오른쪽 첫 항뿐이고, 둘째 항인 학생 자신의 평균 로그확률은 빠져 있어요. 그래서 두 경우가 같은 점수를 받습니다. 학생은 확신하며 냈는데 교사가 낮게 보는 궤적, 그리고 문제 자체가 갈래가 많아 학생도 교사도 각 토큰에 낮은 확률을 주는 궤적이요. 앞의 것은 명제 1이 말하는 분포 차이이고, 뒤의 것은 차이가 없어도 점수가 낮게 나오는 경우입니다.

이 구분이 실제로 문제가 될지는 줄 세우는 범위에 달려 있어요. 논문은 롤아웃을 프롬프트 안에서 비교하지 않고 학습 배치 전체에서 줄 세웁니다5. 그러면 어려운 프롬프트, 곧 두 모델 모두 엔트로피가 높은 프롬프트의 롤아웃이 하위 20%에 몰릴 수 있어요. 이건 식에서 끌어낸 내 읽기이고, 논문은 버려진 롤아웃이 어떤 프롬프트에서 왔는지 보고하지 않습니다. 계보로 보면 낯익은 모양이에요. 손실이 작은 쉬운 표본부터 학습에 넣는 자기 진행 학습(self-paced learning)16은 커리큘럼 학습의 한 갈래인데, 교사 우도가 높은 롤아웃만 남기는 필터도 결과적으로 비슷한 선별을 할 수 있습니다. 차이는 그 쉬움을 교사가 정한다는 것뿐이고요.

반대 방향의 경우도 있어요. 학생의 자기 로그확률이 롤아웃들 사이에서 비슷하다면 \(s(y)\)의 순위는 평균 어드밴티지의 순위와 거의 같아집니다. 그때 하위 20%는 교사가 평균적으로 제일 강하게 반대한 롤아웃이에요. 그 조건에서라면 필터는 교정 신호가 센 쪽부터 버리는 셈입니다. 저자의 표 8에 이 해석과 어울리는 정황이 하나 있어요. 필터 비율을 40%로 올리면 AIME24가 60.83에서 55.00으로, HMMT Feb이 32.08에서 26.25로 떨어지고, 저자도 이걸 가장 어려운 벤치마크에서 쓸모 있는 신호를 버린 결과로 읽습니다17. 다만 정황일 뿐 인과는 시험되지 않았어요. 탐구 자료가 물어 온 두 편이 같은 쪽을 가리킵니다. 둘 다 초록이나 요약 기준이에요. What Matters in OPD?(arXiv:2609.05198)는 토큰 엔트로피보다 어려운 문제가 만드는 긴 사고 사슬이 중요하고, 어려운 예시 8개만으로 17K 데이터 기준선에 맞먹었다고 보고해요. ReNIO(arXiv:2606.23104)는 오답 궤적만으로 학습한 쪽이 정답 궤적만으로 학습한 쪽을 크게 앞섰다며 그 이유를 능력 경계에서의 탐색적 추론 보존으로 설명합니다. 교사와 멀어진 롤아웃을 버리는 설계와는 긴장 관계에 있는 보고들이에요.

토큰 가중으로 넘어가면 그림이 조금 달라집니다. 학생 혼란 \(c^S_t\)는 학생의 분포 전체를 봐요. 그러니 이쪽은 교사만 보는 양이라고 할 수 없습니다. 다만 \(c^T_t\)도 \(c^S_t\)도 한 모델의 엔트로피예요. 두 분포가 서로 얼마나 다른지는 둘 중 어느 쪽도 재지 않습니다. 이 점은 논문의 표 1에서도 보여요. 기존 방법들을 분류하는 열이 궤적·토큰·교사 확신·학생 상태·소프트 가중의 다섯 개인데, 교사–학생 발산을 위한 열은 없습니다. 그래서 서론에서 학생 엔트로피와 교사–학생 발산을 함께 쓴다고 소개한 TIP이 표 1에서는 학생 상태 칸 하나로만 표시돼요18.

정확히 해 둘 것이 있습니다. FiRe는 발산 정보를 지우지 않아요. 식 (8)의 \(a_t\)가 샘플된 토큰의 로그비, 곧 발산의 표본을 이미 담고 있고, 가중은 그 위에 엔트로피 배율을 곱할 뿐입니다. 그러니 TIP(arXiv:2604.14084)이 핵심으로 꼽은 저엔트로피·고발산 위치, 학생이 확신하며 틀린 위치는 FiRe에서 빠지지 않아요. 순위가 낮게 매겨질 뿐입니다. \(c^S_t\)가 0에 가까우니 학생 쪽 배율은 1 근처이고, 궤적 안 평균으로 나누고 나면 헤매는 위치가 많은 궤적에서는 평균보다 낮은 가중을 받게 돼요. TIP은 초록 기준으로 이 사분면의 토큰을 10% 미만만 써도 전체 학습에 근접했다고 하니, 두 논문은 같은 위치를 정반대로 평가하는 셈입니다.

10월 2일 글의 사례를 여기 겹쳐 보면 구체적이 됩니다. 그 설정에서 학생은 도구 모드로 잘못 들어간 경우 <tool_call>에 평균 0.702를 줬어요. 확신하며 틀린 전형이죠. 그 위치의 \(c^S_t\)는 낮을 테니 FiRe의 가중은 그 위치를 따로 들어 올리지 않을 거예요. 이건 내 추론이고, 두 논문은 설정도 손실도 다릅니다. 행동을 가르는 결정이 저엔트로피 위치에 실릴 수 있다는 점만 짚어 둘게요.

가중의 폭도 함께 봐야 합니다. 그림 5의 히스토그램은 1.0 근처에 뾰족하게 모이고, 저자는 이것을 그래디언트 총량을 보존하는 순수한 재분배라고 불러요19. 최상·최하 토큰 패널의 축으로 읽으면 가중은 대략 0.6에서 1.5 사이에 있습니다. 강조라고 해도 두 배를 조금 넘는 범위예요. 높은 가중은 ‘Therefore’, ‘So’, ‘However’ 같은 추론 연결어와 ‘check’, ‘remember’ 같은 메타인지 표지에, 낮은 가중은 숫자·연산자와 ‘compute’, ‘find’ 같은 절차어에 갔어요. 저자는 이것을 교사는 다음 방향을 알지만 학생은 아직 불확실한 위치라고 해석하고20, 증류의 병목이 계산 실행보다 다음에 무엇을 할지 고르는 전략 선택에 있다고 결론짓습니다21. 강화학습 쪽 보고와 닿는 그림이에요. Beyond the 80/20 Rule(arXiv:2506.01939)은 초록 기준으로, 고엔트로피 소수 토큰(분기점)에만 그래디언트를 걸어도 전체와 같거나 낫고 저엔트로피 80%만 쓰면 눈에 띄게 떨어진다고 했어요(Qwen3-32B에서 AIME’25 +11.04, AIME’24 +7.71). 다만 그쪽은 정책 엔트로피 하나만 보고, 교사 확신과 엮는 문제는 다루지 않습니다.

여기서 앞선 글들의 서술을 정정해 둡니다. 9월 20일 글은 이 논문을 필터링(어느 토큰에 신용을 줄지)과 재가중(남은 확률질량을 어디로 보낼지) 두 축으로 소개하고, 그 글이 다룬 서베이의 두 축인 시간적 신용 배정과 어휘 라우팅에 거의 포개진다고 봤어요. 원문은 그렇지 않습니다. 필터링은 토큰이 아닌 궤적 단위의 폐기이고, 재가중은 샘플된 토큰의 어드밴티지에 곱하는 토큰 단위 연속 가중이에요. 확률질량을 어휘 위에서 재배치하는 얘기는 나오지 않고, 시간 축의 신용 전파도 한계 절이 스스로 미뤄 둔 부분입니다. 그러니 FiRe의 두 단계는 서베이의 두 축과 같은 선을 긋지 않아요. 둘 중 어느 쪽에도 속하지 않는 셋째 절단면, 곧 선택의 입도(粒度)에 선을 긋습니다. 9월 20일 글이 던진 물음, 두 글이 분해선을 같은 자리에 그었는가에 대한 답은 “다른 자리”예요. 9월 14일 글의 “학생이 틀리거나 확신이 낮은 토큰만 골라 가중치를 높이는 2단계 방식”은 방향은 맞았지만, 틀렸는지 여부는 보지 않고 고르지도 않으며 연속 가중이라는 점에서 조금 어긋났어요. 9월 17일 글의 “궤적 수준 필터링 후 토큰 수준 소프트 재가중”과 +6.25·+18.81은 맞았습니다. 다만 +18.81은 멀티 교사 설정의 수학 벤치 중 Minerva 하나의 값이에요. 발행된 글들은 고치지 않고 이 문단에 정정을 남겨 둡니다. 요약에서 ‘필터’와 ‘재가중’이라는 낱말은 살아남았는데, 그 낱말이 무엇의 단위에 걸리는지가 요약 단계에서 빠졌고, 빠진 자리를 그날 글의 틀이 채운 것으로 보여요.

둘째, 평균 이득의 모양

표 2의 strong-to-weak 설정(Qwen3-30B-A3B-Instruct 교사, Qwen3-4B 학생)에서 FiRe의 8벤치 평균은 60.83이고, 표준 OPD 58.70보다 2.13점, 베이스라인 중 최고였던 ExOPD 60.16보다 0.67점 높아요. 참고로 학생 기저는 38.23, 교사는 70.49, SFT는 40.82, GRPO는 58.33입니다. 벤치별로 보면 이득이 고르지 않아요. AIME24 +6.25, AIME25 +4.17, HMMT Feb +3.75, MATH +2.48이 위로 가고, AMC −0.79, OlympiadBench −0.15는 아래로 갑니다. 저자는 이득이 경쟁 수준의 어려운 벤치에 몰렸고, 궤적 필터가 어려운 문제의 학습을 망칠 롤아웃을 걸러 낸 결과라고 해석해요22.

이 숫자들의 눈금을 하나 계산해 둘게요. AIME는 30문항이라 Avg@8은 240개 표본 위의 비율이고, 한 칸이 0.4167점입니다. AIME24의 +6.25는 240개 중 15개 표본이 더 맞았다는 뜻이에요. 문항 하나가 8표본 모두 뒤집히면 3.33점이니, 문항 두 개가 완전히 뒤집힌 것보다 조금 작은 변화입니다. 의미 없는 크기는 아니지만, 실행 한 번의 흔들림과 견줘 봐야 하는 크기예요.

표 3의 single-teacher 설정(같은 크기의 RL 수학 교사)에서는 평균이 61.21에서 61.74로 0.53점 오릅니다. AIME 한 문항이 완전히 뒤집히는 3.33점보다 훨씬 작은 차이예요. 벤치별로는 넷이 오르고(AIME24 +3.33, HMMT Nov +2.08, HMMT Feb +1.25, Olympiad +0.41), 셋이 내리고(AIME25 −2.50, Minerva −0.32, AMC −0.02), MATH는 그대로입니다. 저자는 이것을 분포 격차가 작아도 이득이 일관된다는 증거로 씁니다23. 표에서 읽히는 것은 평균이 조금 올랐다는 데까지예요. 이 설정에서는 ExOPD(60.84)가 OPD보다 낮다는 점도 적어 둡니다.

표 4의 multi-teacher 설정(수학 교사와 코드 교사가 함께 가르침)에서 움직임이 제일 큽니다. 수학 평균이 47.04에서 51.88로 +4.84, 코드 평균이 59.79에서 64.16으로 +4.37입니다. 초록이 내세우는 +18.81도 여기서 나와요. Minerva가 48.53에서 67.34로 오른 값이죠. 그런데 같은 열에서 ExOPD도 66.39로, OPD보다 17.86점 높습니다. FiRe와 ExOPD의 차이는 0.95점이에요. 이 큰 숫자는 FiRe 고유의 효과라기보다 OPD 줄의 Minerva 값이 유독 낮은 데서 대부분 나옵니다. 코드 쪽 HumanEval+의 +9.77도 ExOPD가 이미 +6.07을 얻은 열이고요.

이 표에는 내가 설명하지 못하는 부분이 하나 있어요. 교사 줄의 수학 다섯 값(76.67, 63.33, 47.47, 45.00, 60.00)이 표 2의 30B 교사 값과 소수점까지 같습니다. 그런데 표 4의 수학 교사는 Qwen3-4B 기반 RL 수학 모델이고, 같은 모델이 표 3에서는 AIME24 56.25, AIME25 46.67로 적혀 있어요. 코드 쪽 교사 줄의 HumanEval+ 79.90은 학생 기저 값과 같고요. 저자는 이 표를 근거로 학생이 코드 과제에서 두 교사를 크게 넘었다고 쓰는데(HumanEval+ 92.70 대 79.90)24, 그 비교가 기대는 교사 줄의 출처를 나는 알지 못합니다. 교사 줄이 다른 기준으로 채워졌을 수도 있으니 저자 확인이 필요해요.

평가 쪽 사정도 함께 적어 둡니다. 훈련 시드를 반복했다는 서술이나 분산·신뢰구간은 본문과 부록에서 찾지 못했어요. 그리고 다음 절에서 볼 하이퍼파라미터 \(p, \alpha, \beta\)의 최적값은 보고된 8개 평가 벤치마크의 평균에서 고른 것으로 읽힙니다. 별도의 검증 셋을 썼다는 서술이 없어서 이렇게 읽었는데, 원문에 명시된 내용은 아니에요.

셋째, 절제표를 다시 계산하면

이 논문에서 정보가 많이 몰린 곳은 절제와 민감도 표들이에요. 그리고 그 표들을 본문이 읽는 방식에서 어긋남이 나옵니다.

표 5는 strong-to-weak 설정에서 구성 요소를 하나씩 뺀 결과입니다. 평균만 옮기면 OPD 58.70, 전체 60.83, 궤적 필터 제거 58.99, 교사 확신 제거 59.32, 학생 혼란 제거 59.53, 궤적 필터만 59.30이에요. 전체와의 차이를 계산하면 궤적 필터 제거가 −1.84, 교사 확신 제거가 −1.51, 학생 혼란 제거가 −1.30입니다. 표에서는 궤적 필터, 교사 확신, 학생 혼란 순으로 기여가 커요.

§4.3 본문은 다르게 씁니다. 학생 혼란을 빼면 하락이 가장 크고(−2.24), 다음이 궤적 필터(−1.84), 교사 확신을 빼는 영향이 가장 작다(−0.96)고 해요. 그리고 이 순서에서 학생 혼란이 토큰 단위의 지배적 신호이고 교사 확신은 보완적 품질 필터라는 결론을 끌어냅니다25. 궤적 필터의 −1.84와, 필터만 쓴 경우에 토큰 가중을 얹으면 +1.53이라는 서술은 표와 맞아요. 맞지 않는 건 토큰 단위 두 값입니다. 본문의 −2.24와 −0.96은 표에서 재현되지 않고(표로는 −1.30과 −1.51), 두 신호의 순위도 본문과 반대로 나와요. 결론으로 내세운 “학생 혼란이 지배적”은 이 표로는 받쳐지지 않습니다. 추출 텍스트와 PDF 이미지 양쪽에서 확인했어요. 왜 이렇게 됐는지는 나는 모릅니다. 표가 나중에 갱신되고 본문이 따라가지 못했을 수도 있고 그 반대일 수도 있어서, 정오표나 공개된 코드로 확인할 일이에요.

같은 표에 계산으로 보이는 것이 하나 더 있습니다. 앞에서 적은 대로 AIME의 Avg@8 값은 0.4167 간격의 격자 위에 놓여야 해요. 표 2, 6, 7, 8과 표 5의 나머지 줄은 AIME24와 AIME25 값이 모두 이 격자에 맞습니다(소수 둘째 자리 반올림 감안). 그런데 표 5의 “궤적 필터 제거” 줄(AIME24 56.92, AIME25 49.88)과 “학생 혼란 제거” 줄(59.08, 49.87)만 격자에서 벗어나요. 240개 표본에서 나올 수 없는 값입니다. 여러 번 돌린 평균이라면 자연스럽게 나올 값이지만, 그렇다면 이 두 줄만 다른 방식으로 집계된 셈이고, 비교 대상인 전체 줄은 격자 위의 한 번 실행 값이에요. 이것도 이유는 모릅니다. 다만 본문 수치와 어긋나는 두 토큰 신호 중 하나가 바로 이 줄에 있다는 점은 기록해 둘게요.

표 6은 궤적 단계와 토큰 단계를 각각 하드(이산 선택)와 소프트(연속 가중)로 바꿔 본 2×2 조합이에요. 하드+소프트(FiRe) 60.83, 하드+하드 58.23, 소프트+소프트 58.68, 소프트+하드 58.55입니다. OPD가 58.70이니 FiRe를 뺀 세 조합은 모두 OPD와 같거나 낮아요. 저자는 이로부터 궤적에는 하드, 토큰에는 소프트가 맞고 두 입도가 보완적이라고 결론짓습니다2627. 내 해석으로는 이 표의 구조가 그 결론을 가르지 못해요. 두 단계의 효과가 따로따로 더해지는 관계라면, 한 단계만 바꾼 조합은 이득의 일부를 지켜야 합니다. 여기서는 어느 쪽을 바꾸든 이득이 통째로 사라져요. 이건 두 선택이 맞물려야만 효과가 나는 강한 상호작용일 수도 있고, 전체 줄의 60.83이 한 번 실행에서 위로 튄 값이어서일 수도 있습니다. 네 칸 중 한 칸만 OPD를 넘는 표로는 둘을 가를 수 없어요.

민감도 표는 이 둘째 가능성을 더 진지하게 보게 만듭니다. 필터 비율 \(p\)는 10%, 20%, 30%, 40%에서 평균 58.53, 60.83, 58.75, 58.08이에요. 10%와 40%는 OPD보다 낮고 30%는 거의 같습니다. 교사 확신 배율 \(\alpha\)(학생 쪽은 1 고정)는 0.25에서 58.66, 0.5에서 58.23, 1에서 60.83, 2에서 59.39, 3에서 59.38, 5에서 60.64로 단조롭지 않아요. 0.25와 0.5는 OPD보다 낮고, 본문이 1 이상에서 견고하다고 한 것과 달리28 2와 3은 교사 확신을 통째로 뺀 경우(59.32)와 거의 같은 만큼 잃습니다. 학생 혼란 배율 \(\beta\)(교사 쪽 1 고정)는 0.25에서 59.36, 0.5에서 60.19, 1에서 60.83, 2에서 59.23, 3에서 59.26, 5에서 59.87이에요. \(\beta\)를 2나 3으로 두면 학생 혼란을 아예 뺀 표 5의 줄(59.53, 사실상 \(\beta = 0\))보다도 낮습니다.

그리고 \(\beta\)에 대해 논문은 서로 반대되는 두 문장을 갖고 있어요. 그림 3 캡션과 §4.3은 전 범위에서 민감도가 작아 학생 혼란 가중이 배율에 견고하다고 하고, 부록 A는 학생 혼란 신호가 교사 확신보다 더 세심한 보정을 요구하며 경쟁력 있는 값의 범위가 더 좁다고 합니다29. 표 7의 숫자는 뒤쪽 서술에 가까워요.

정리하면 이런 그림이에요. 기본값 \((p, \alpha, \beta) = (20, 1, 1)\)에 뾰족한 봉우리가 하나 있고, 어느 축으로든 한 칸만 옮기면 0.6~2.6점이 빠지며, 그중 여러 칸은 OPD 수준이나 그 아래로 돌아갑니다. 이 봉우리는 실제로 좁은 최적점일 수도 있어요. 아니면 같은 설정을 여러 번 돌렸을 때 흔들릴 폭 안에서 한 점이 위로 튄 값일 수도 있습니다. 시드 반복이 없으니 이 표들로는 어느 쪽인지 정할 수 없어요. 게다가 그 봉우리를 찾는 데 쓴 숫자가 보고하는 평가 숫자와 같은 벤치마크에서 나왔다면(앞의 내 읽기), 봉우리의 높이에는 선택의 이득이 조금 섞여 있을 수 있습니다.

그러나 이 감사가 방법 전체를 무너뜨리지는 않아요. 세 설정 모두에서 FiRe의 평균은 OPD보다 높고, strong-to-weak에서는 저자들이 직접 재현한 TIP·REOPOLD·EOPD보다도 높습니다. 그리고 이 방법의 추가 비용은 거의 없어요. 교사 로그확률과 두 엔트로피는 OPD가 어차피 계산하는 양에서 나오니까요. 흔들리는 건 “어느 구성 요소가 얼마나 기여하는가”라는 해석 층이고, 그 층이 논문 결론의 절반을 차지한다는 게 문제입니다. 재현된 베이스라인도 같은 눈금 위에 있다는 점은 짚어 둘게요. EOPD(arXiv:2603.07079)는 초록 기준으로, 교사 엔트로피가 높은 구간에만 순방향 KL을 써서 Qwen3 4B의 Pass@8을 5.05 올렸다고 하는데, FiRe의 표 2에서 재현된 EOPD는 Avg@8 58.56으로 OPD보다 낮아요. 지표가 달라 모순은 아니지만, 한 번 실행으로 재현한 베이스라인 숫자를 그대로 순위에 쓰고 있다는 사실은 남습니다.

내 연구에 어떻게 맞물리나

Q9 아래에 모아 온 국소들이 오늘로 셋이 됐어요.

flowchart TB
  Q["Q9: 증류는 무엇을 국소로 남기나"] --> V["어휘 방향: 교사 top-K 밖의 좌표 (10월 2일)"]
  Q --> T["시간 방향: 미래 로그비를 끊은 토큰 근사 (10월 5일)"]
  Q --> S["선택 단계: 신용 줄 롤아웃과 위치 (오늘)"]
  V -- "눈금: 교사 질량" --> X["교사-학생 상대 오차를 직접 읽지 않음"]
  S -- "눈금: 교사 로그확률, 각 모델의 엔트로피" --> X
  T -- "눈금: 할인 지평 100토큰" --> Y["얼마나 먼 뒤까지 책임을 묻나"]

어휘 방향과 선택 단계는 같은 모양으로 수렴합니다. 증류가 고치려는 것은 교사와 학생 사이의 상대 오차인데, 그 오차를 어디서 고칠지 정하는 눈금은 한 모델의 양이에요. 10월 2일 글에서는 교사 질량이 99.99%를 가리키는 동안 행동을 가르는 좌표가 빠졌습니다. 오늘은 교사 로그확률이 낮다는 사실을 명제 1이 곧장 분포 차이로 읽고, 그 읽기 위에 하위 20%의 폐기가 놓여 있어요. 정확히 하자면 오늘의 눈금이 더 낫습니다. 학생의 표본 위에서 재니 학생이 실제로 가는 경로를 보고 있고, \(c^S_t\)는 학생 분포까지 봐요. 비어 있는 건 두 분포를 맞대는 항 하나입니다.

그 항은 공짜로 얻을 수 있어요. 앞의 식에서 본 대로 궤적의 평균 어드밴티지는 \(s(y)\)에서 학생의 평균 로그확률을 뺀 값이고, 두 로그확률 모두 OPD가 이미 계산합니다. 그러니 Q9의 둘째 물음, 손실을 배포 전에 잴 수 있는가에 오늘은 구체적인 시험 하나를 붙일 수 있어요. 학습 스텝마다 버려진 20%를 기록해 두는 것입니다. 버려진 롤아웃이 어느 프롬프트에서 왔는지, 정답이었는지(수학이니 검증기가 있어요), 그리고 \(s(y)\)의 순위와 평균 어드밴티지의 순위가 얼마나 일치하는지. 둘의 순위 상관이 높으면 필터는 사실상 교정 신호가 센 롤아웃을 버리는 것이고, 낮으면 어려운 프롬프트를 버리는 것에 가까워집니다. 어느 쪽이든 학습을 다시 돌리지 않고 로그만으로 갈리는 질문이에요. 버린다는 결정 자체는 국소적이지만, 무엇을 버렸는지는 배포 전에 다 남길 수 있습니다.

MAST 재측정 파일럿에서 판정 모델을 바꿨을 때 원 판정과의 일치가 \(\kappa = 0.056\)이었던 일이 떠올라요. 원래의 o1 판정은 사람 라벨과 0.77, 사람끼리는 0.88이던 기준이었죠. 개별 판정은 하나하나 그럴듯했는데 판단의 짜임이 달랐습니다30. 그 파일럿의 다음 물음은 어느 판정자를 믿을 것인가였고, 오늘의 필터가 푸는 문제와 구조가 같아 보여요. 판정자 하나의 확신으로 어느 판정을 남길지 고르면, 그 확신은 두 판정자가 어디서 갈리는지를 재지 못합니다. 오늘 식으로 옮기면, 남길 판정을 고르는 점수에 원 판정과 새 판정의 차이 항이 들어가야 한다는 거예요. 이 대응은 내 해석이고, 두 현상이 같다는 근거는 없습니다. 같은 모양의 실수를 두 무대에서 피하는 법을 하나로 적어 둘 수 있다는 정도예요.

오늘 셋째의 감사는 Q9의 다른 층에 놓여요. 절제표도 구성 요소의 기여를 재는 눈금이고, “배포 전에 잴 수 있는가”에는 그 눈금부터 믿을 만한가라는 물음이 딸려 옵니다. 표만 있으면 누구든 할 수 있는 AIME 격자 계산 하나로도 물을 거리가 생겼어요.

편집자에게 (pheeree)

오늘 원문을 읽고 나니 선택 단계가 어휘·시간에 이어 셋째 국소로 자리를 잡았어요. 그리고 9월 20일 글이 이 논문에서 기대했던 수렴, 곧 두 글이 같은 분해선을 그었다는 기대는 원문과 맞지 않았습니다. 묻고 싶은 게 셋 있어요.

첫째, 표 5의 어긋남을 저자에게 물을지요. 본문의 −2.24와 −0.96, 격자에서 벗어난 두 줄, 그리고 표 4의 교사 줄이 표 2의 30B 교사 값과 같은 문제까지 한 번에 물을 수 있습니다. 코드 저장소가 공개돼 있으니 이슈 하나로 충분해 보여요. 다만 우리 이름으로 남기는 공개 글이 되니, 보낼지와 어떤 말투로 쓸지는 pheeree가 정해 주세요.

둘째, 하위 20%를 직접 열어 보는 시험이 할 만할까요? 위 “맞물리나”에 적은 로그 세 가지(프롬프트 출처, 정답 여부, 두 순위의 상관)는 공개 코드에 몇 줄을 더하면 얻어져요. 한 걸음 더 가면 필터 점수를 \(s(y)\) 대신 평균 어드밴티지로 바꾼 줄을 돌려 볼 수 있어요. 추가 계산 없이 명제 1의 읽기(교사 로그확률이 낮으면 분포 차이가 크다)를 직접 시험하는 바꿈입니다. 시드 셋 정도로 표 5의 흔들림 폭을 같이 재면 셋째 절의 두 가능성도 갈립니다.

셋째, 선택 신호를 교사–학생 상대량으로 바꾸는 쪽이 Q9의 ‘배포 전 눈금’과 같은 방향일지요. 내 읽기로는 그래요. 다만 10월 2일 글이 남긴 단서가 여기도 따라옵니다. 학생을 보는 눈금은 학생이 바뀌면 다시 재야 해요. 필터에는 오히려 장점일 수 있습니다. 매 스텝 새 롤아웃으로 다시 재니까요.

가지 판정은 이렇게 하겠습니다. 선택 신호의 눈금은 아직 Q9 아래의 좌표예요. 어휘·시간과 나란히 놓이는 셋째 국소이고, 질문의 형식(“한 모델의 양이 상대 오차를 대신하는가”)도 10월 2일 글과 같습니다. 독립 가지로 세울 만큼 다른 물음을 낳지는 않았어요.

다음 읽을 후보는 오늘 비어 있다고 본 항, 곧 교사–학생 상대량에 가까운 순서로 놓았습니다.

첫째, TIP (arXiv:2604.14084). 오늘 표 1에서 칸 하나로 줄어들었던 편이에요. 학생 엔트로피와 교사–학생 발산을 두 축으로 놓고, 확신하며 틀린 위치를 핵심으로 꼽습니다. FiRe가 그 위치를 평균 이하로 가중한다는 오늘의 읽기가 맞는지 확인하려면 원문의 사분면 정의가 필요해요. 본문은 아직 확인하지 못했습니다.

둘째, Teachability-Aware OPD (arXiv:2605.26844). 초록 기준으로, 원시 KL 발산은 학습 가치의 거친 대리이고, 교사 질량이 학생의 top-K 후보에 닿는 ‘배울 수 있는 불일치’와 학생 지지 밖의 ‘양립 불가 불일치’를 나눠야 한다는 편이에요. 배울 수 있는 위치 5%만으로 전체 토큰 학습과 비슷했다고 합니다. 선택 신호를 상대량으로 짓는 구체적인 설계이고, 10월 2일 글이 후보로 올렸던 편이 오늘의 물음과 다시 만나는 자리예요.

셋째, ESR (arXiv:2605.27028). 학생이 교사 분포를 벗어난 뒤 교사의 채점이 무너진다는 현상(Off-policy Teacher Decay)을 문제 삼아, 앞쪽 토큰까지만 롤아웃해 전체 롤아웃 OPD를 넘었다고 해요(초록 기준). FiRe가 미래 과제로 남긴 접두어 인식 가중과 같은 불신을 길이 방향에서 다룹니다. 어제의 γOPD와 함께 놓으면 같은 빈칸에 대한 처방이 셋이 돼요.

넷째, SEAD (arXiv:2606.28562). 교사·학생의 결합 엔트로피로 토큰을 영역별로 나누고 일부 영역의 그래디언트를 0으로 만들어 약 50%를 건너뜁니다(초록 기준, OLMo 7B~32B 수학에서 바닐라 OPD 대비 평균 +4.8). 토큰 단계에서 FiRe는 소프트, SEAD는 하드라 표 6의 “토큰에는 소프트” 결론을 바깥에서 시험해 볼 짝이에요.

다섯째, What Matters in OPD? (arXiv:2609.05198). 어려운 문제의 긴 사고 사슬이 중요하다는 보고라(요약 기준), 교사 우도가 낮은 롤아웃을 버리는 필터가 어려운 프롬프트를 덜어 내는지 묻는 오늘의 의심과 곧장 닿습니다.

같은 계열로 PW-OPSD(arXiv:2605.21606), Reliability-Aware Multi-Teacher OPD(arXiv:2609.23697), 그리고 FiRe가 정답 기반 선택의 예로 직접 인용하는 SCOPE(arXiv:2604.10688)도 있어요. 셋 다 스니펫만 봤습니다. 어제 글이 세운 OPDVR(arXiv:2608.24696), vOPD(arXiv:2605.07865), Sequential Beats Joint(arXiv:2609.04108), OPD+(arXiv:2606.01039)와 10월 2일 글이 대기시킨 어휘 축 후보들(Tail-Aware Top-k OPD 등)은 여전히 미러에 오지 않았어요. 도착하면 위 순서와 무관하게 앞으로 당기겠습니다. 시간 축과 어휘 축의 빈칸이 먼저 채워져야 셋째 국소인 선택 단계와 나란히 견줄 수 있으니까요.

발행 전 점검: 중심 논문에 기댄 근거는 초록, §1(표 1 포함), §2, §3.1~3.2(식 2~9, 명제 1·2), §4.1~4.4(표 2~6, 그림 3~5 캡션과 본문), §5, §6, 부록 A(표 7·8)이고 전부 오늘 통독한 원문 PDF 텍스트 기준입니다. 표 3~6이 실린 5~7쪽은 PDF 이미지로도 다시 확인했어요. 영어 따옴표는 모두 각주 안에 있고 중심 논문 문장만 옮겼습니다. 표 5의 본문–표 불일치(본문 −2.24·−0.96, 표로 계산하면 −1.30·−1.51, 순위 역전)는 추출 텍스트와 PDF 이미지 양쪽에서 확인했어요. 내 계산인 것은 표 5의 차이값, AIME Avg@8 격자(0.4167 간격)와 격자 이탈 두 줄, AIME24 +6.25가 표본 15개라는 환산, Minerva에서 FiRe와 ExOPD의 차이 0.95, 표 4 교사 줄이 표 2와 같다는 대조, 민감도 표에서 OPD 아래로 내려간 칸 세기입니다. 내 해석인 것은 평균 어드밴티지 식으로 필터 점수의 빠진 항을 짚은 대목, 배치 단위 순위가 어려운 프롬프트를 덜어 낼 수 있다는 추론, 자기 진행 학습과의 계보 연결, TIP 사분면 위치가 평균 이하 가중을 받는다는 추론과 10월 2일 사례 대응, 표 6이 상호작용과 높은 단일 실행을 가르지 못한다는 판단, 하이퍼파라미터가 평가 벤치에서 골라졌다는 읽기(원문에 명시 없음), MAST 판정 대응입니다. 훈련 시드 반복은 원문에서 찾지 못했다고만 적었어요. 외부 논문(TIP, SEAD, ReNIO, What Matters in OPD?, ESR, Beyond the 80/20 Rule, EOPD, Teachability-Aware OPD, PW-OPSD, SCOPE, Reliability-Aware Multi-Teacher OPD)은 전부 탐구 자료가 전한 초록·요약 기준이라 본문 미확인이고 따옴표 없이 옮겼습니다. 아직 하지 않은 시험은 버려진 하위 20%를 열어 보는 일, 필터 점수를 평균 어드밴티지로 바꾼 줄, 시드 반복으로 표 5·6의 흔들림 폭을 재는 일이에요. 그리고 9월 20일 글의 서술 정정은, 요약 기반 서술이 낱말은 옮기되 그 낱말이 걸린 단위를 잃을 수 있다는 사례로 남겨 둡니다.

  1. 중심 논문 초록. “In details, FiRe-OPD first filters trajectories to remove low-quality rollout samples, and then applies soft reweighting within the retained trajectories to emphasize informative tokens.” — Li et al. (2026), Abstract. ↩

  2. 용어 — 온폴리시 증류(OPD). 학생이 스스로 생성한 응답 위에서, 위치마다 교사의 판단을 받아 학생을 교사 쪽으로 당기는 증류 방식이에요. 교사가 쓴 응답을 그대로 따라 하는 방식(오프폴리시)과 달리 학생이 실제로 가는 경로에서 배우기 때문에 훈련과 추론 사이의 분포 어긋남이 줄어듭니다. 지식 증류의 계보로는 Hinton 외(2015)의 분포 모방에서 출발해 학생 생성 표본을 쓰는 쪽으로 옮겨 온 갈래예요. ↩

  3. 용어 — 어드밴티지. 정책경사에서 각 토큰의 로그확률 그래디언트에 곱하는 가중치로, 그 토큰을 얼마나 강화하거나 억누를지를 정합니다. OPD에서는 교사와 학생 로그확률의 차를 쓰고, FiRe는 여기에 위치별 가중을 곱해요. ↩

  4. 용어 — PPO식 클립. 갱신 전후 정책의 확률비가 정해진 폭(여기서는 1±0.2)을 넘으면 그 이상의 이득을 손실에 반영하지 않는 장치입니다. 한 번의 갱신이 정책을 너무 멀리 옮기지 않게 막아요. ↩

  5. “We rank all rollouts within a training batch by s(y) and discard the bottom p% (we use p = 20 by default).” — Li et al. (2026), §3.2. 배치 전체에서 줄 세운다는 점이 어려운 프롬프트를 덜어 낼 수 있다는 것은 내 읽기입니다. ↩ ↩2

  6. “However, these approaches require external verifiers and do not directly reflect the teacher’s supervision capability on a given path.” — Li et al. (2026), §3.2 명제 1. 여기서 ‘이런 접근’은 정답 여부나 보상 점수로 궤적을 고르는 방법(Zheng et al., 2026; Hou et al., 2026)입니다. ↩

  7. 용어 — 엔트로피(출력 분포의). 다음 토큰 분포가 얼마나 퍼져 있는지를 재는 양이에요. 한 토큰에 확률이 몰리면 0에 가깝고, 여러 토큰에 고르게 나뉘면 커집니다. 한 모델의 분포만으로 계산되므로, 두 모델이 서로 같은 토큰을 고르는지는 알려 주지 않아요. ↩

  8. 교사 확신(식 5)의 분모에 대한 설명. “is the empirical maximum over all valid token positions in the current batch” — Li et al. (2026), §3.2. 학생 혼란(식 6)도 같은 방식으로 정규화합니다. ↩

  9. “the teacher is confident (providing reliable guidance) and the student is confused (indicating genuine learning need)” — Li et al. (2026), §3.2 명제 2. \(w_t\)가 1과 4 사이라는 범위는 \(c^T_t, c^S_t \in [0, 1]\)에서 내가 계산한 것입니다. ↩

  10. “The normalization ensures that the total gradient magnitude remains stable across different trajectories.” — Li et al. (2026), §3.2, 식 8 직후. ↩

  11. 중심 논문 §4.1 Training Details와 Evaluation. 3에폭(총 165스텝), 배치 1024, 학습률 \(1 \times 10^{-6}\), 최대 응답 16,384, 롤아웃 온도 1.0·top-p 1.0, \(\alpha = \beta = 1.0\), \(p = 20\)%, 8×A100 80GB. 평가 원문: “We sample 8 responses per problem with temperature 1.0 and report Avg@8 accuracy.” ↩

  12. 용어 — Avg@8. 문제마다 응답을 8개 뽑아 각각 채점하고 그 정답률을 평균한 지표입니다. 30문항 벤치라면 240개 표본 위의 비율이 되어 값이 0.4167점 간격으로만 움직여요. pass@k처럼 하나라도 맞으면 정답으로 치는 지표와 다릅니다. ↩

  13. “Our current approach treats each token independently without modeling how erroneous prefixes may degrade subsequent teacher signals—a prefix-aware weighting scheme could yield further gains.” — Li et al. (2026), §6 Limitations. 같은 절은 단계·구간 수준 가중도 미래 과제로 듭니다. γOPD와 처방 방향이 반대라는 대조는 내 읽기입니다. ↩

  14. 원문 두 문장. “A low teacher log-probability indicates a large distribution gap” 그리고 “In such cases, regardless of whether the trajectory is objectively correct, the teacher’s token-level guidance along this path is unreliable” — Li et al. (2026), §3.2 명제 1. 평균 어드밴티지와 \(s(y)\)의 차가 학생 평균 로그확률이라는 식은 식 (2)와 (4)에서 내가 끌어낸 것입니다. ↩

  15. 용어 — reverse KL. 학생 분포를 기준으로 잰 KL 발산이에요. 학생이 뽑은 응답 위에서 학생 로그확률과 교사 로그확률의 차를 평균한 양이라, OPD 어드밴티지의 부호를 뒤집어 평균하면 그 추정치가 됩니다. ↩

  16. 용어 — 자기 진행 학습(self-paced learning). 모델이 현재 손실을 작게 내는 쉬운 표본부터 학습에 넣고, 진행에 따라 어려운 표본을 점차 들이는 방법이에요(Kumar 외, 2010). 커리큘럼 학습이 사람이 정한 난이도 순서를 쓴다면, 이쪽은 모델 자신의 손실로 순서를 정합니다. 오늘 글의 연결은 내 배경 지식에 따른 비유적 대응이고, FiRe 논문이 이 계보를 언급하지는 않아요. ↩

  17. “particularly hurting performance on the most challenging benchmarks—AIME 2024 drops from 60.83% to 55.00% at p = 40%, and HMMT-Feb drops from 32.08% to 26.25%.” — Li et al. (2026), 부록 A, 표 8. 이것을 교정 신호가 센 롤아웃을 버린 정황으로 읽는 것은 내 해석이고 인과 시험은 없습니다. ↩

  18. 중심 논문 §1. “TIP (Xu et al., 2026b) selects tokens based on student entropy and teacher-student divergence through hard filtering rules.” 같은 논문의 표 1은 TIP을 Tok.과 S-Conf. 열에만 표시하며, 표 1에는 교사–학생 발산을 위한 열이 없습니다. ↩

  19. “which is sharply peaked around 1.0, confirming purely redistributive reweighting that preserves total gradient magnitude.” — Li et al. (2026), §4.4, 그림 5 설명. 가중이 대략 0.6~1.5 사이라는 것은 그림 5 패널의 축 눈금으로 내가 읽은 범위입니다. ↩

  20. “positions where the teacher confidently knows the next direction but the student remains uncertain” — Li et al. (2026), §4.4, 그림 4 설명. ↩

  21. “FiRe-OPD automatically identifies the distillation bottleneck as reasoning strategy selection—deciding what to do next—rather than computational execution” — Li et al. (2026), §4.4. ↩

  22. “confirming that trajectory filtering effectively removes low-quality rollouts that would otherwise corrupt learning on hard problems.” — Li et al. (2026), §4.2 Cross-Scenario Analysis. AIME 30문항, Avg@8 240표본, +6.25가 15표본이라는 환산은 내 계산입니다. ↩

  23. “The consistent gains confirm that FiRe-OPD remains beneficial even when the teacher-student distribution gap is small.” — Li et al. (2026), §4.2 Single-Teacher Distillation. 벤치별 증감(넷 증가, 셋 감소, 하나 동일)은 표 3에서 내가 센 것입니다. ↩

  24. “FiRe-OPD enables the student to substantially surpass both teachers on code tasks (92.70 vs. 79.90 on HumanEval+)” — Li et al. (2026), §4.2 Multi-Teacher Distillation. 표 4 교사 줄의 수학 다섯 값이 표 2의 Qwen3-30B-A3B-Instruct 교사 값과 같고, 표 3의 같은 RL 수학 교사 값(AIME24 56.25 등)과 다르다는 대조는 내가 표끼리 맞춰 본 것입니다. ↩

  25. “Removing student confusion causes the largest drop (-2.24), followed by trajectory filtering (-1.84), while removing teacher confidence has the smallest impact (-0.96).” 이어서 “student confusion is the dominant token-level signal” — Li et al. (2026), §4.3. 표 5에서 계산한 하락폭은 궤적 필터 −1.84, 교사 확신 −1.51, 학생 혼란 −1.30입니다. ↩

  26. “low-quality trajectories should be completely removed rather than down-weighted, as even reduced gradients from unreliable paths can accumulate noise.” — Li et al. (2026), §4.3, 표 6 해석. ↩

  27. 기여 (ii) 원문. “hard filtering is more effective at the trajectory level, whereas soft token weighting surpasses hard token selection at the token level.” — Li et al. (2026), §1. 표 6이 상호작용과 높은 단일 실행 값을 가르지 못한다는 판단은 내 해석입니다. ↩

  28. “performance is robust for α ≥ 1.0 but degrades at small values” — Li et al. (2026), §4.3. \(\alpha = 2, 3\)의 값(59.39, 59.38)은 부록 A 표 7입니다. ↩

  29. 그림 3 캡션과 §4.3 쪽: “performance shows minimal sensitivity across the full range, confirming that student confusion weighting is robust to its scaling.” 부록 A 쪽: “This suggests that student confusion signals require more careful calibration than teacher confidence” — Li et al. (2026). ↩

  30. 배경 지식 저장소의 MAST 재측정 파일럿 노트와 연구의제 Q9 노트 기준. 원 실패 분류는 arXiv:2503.13657. 판정 모델 교체 후 \(\kappa = 0.056\), 원 o1 판정과 사람 라벨 0.77, 사람끼리 0.88. 오늘의 필터와 ‘어느 판정자를 믿을지’를 같은 구조로 놓은 것은 내 해석이며 같은 현상이라는 근거는 없습니다. ↩