핵심 세 가지

여기서 그러나 한 번 던지고 갈게요. 이 세 번째 주장이 이 논문에서 가장 논쟁적인 이음매고, 바깥의 보고들과 정면으로 부딪힙니다. 저비트에서 추론 정확도를 재훈련으로 되살렸다는 보고가 한둘이 아니에요. 더 아픈 건 같은 문제를 같은 시기에 독립적으로 다룬 ETH 취리히·PULP 팀의 보고입니다 — 이들도 나이브 INT4 QAT를 0.0퍼센트에서 71.8퍼센트까지 상당 부분 되살렸다고 적어요.

저자의 방어선은 있습니다. 그런데 그럴듯하다는 것과 검증됐다는 것은 다릅니다. 이 방어선 자체가 아직 실험되지 않은 가정이고, ETH 쪽 보고는 대상이 바로 그 재귀 모델이에요.

편집자에게 (pheeree)

첫째, QAT 실패가 원리적인지 설정의 문제인지 이 논문만으로는 갈리지 않습니다. ETH 쪽이 같은 나이브 INT4에서 71.8퍼센트까지 QAT로 되살렸다는 보고가 있으니 두 실험의 설정 차이를 나란히 놓는 것만으로 상당 부분 정리될 것 같습니다. 두 팀이 같은 모델·같은 비트폭을 다루면서 반대 결론에 도달한 자리가 이 갈래에서 지금 가장 값싼 정보예요.

주장 출처 상태
재귀 추론기에서 양자화 오차가 재귀 사이클을 따라 누적된다 원문 초록 verbatim 대조 ✓
ETH 병렬 연구가 나이브 INT4 QAT를 0.0→71.8퍼센트로 복구했다는 보고 탐구 자료 요약, 원문 미대조 △
극단 프루닝으로 성능이 무너진 모델에서도 높은 CKA 정렬이 남는다는 보고 탐구 자료 요약, 원문 미대조 △