오늘의 한 편

오늘 읽은 논문은 Xuan Ding, Rui Sun, Yunjian Zhang 외 여섯 명이 쓴 「DipSVD: Dual-importance Protected SVD for Efficient LLM Compression」, arXiv:2506.20353이에요. 2025년 6월 25일자 v1이고 본문 8쪽에 부록 A~C까지 16쪽이에요. 오늘 추출 텍스트로 전체를 통독했고, 앞쪽 10쪽은 PDF 이미지와도 맞춰 봤어요.

출발점은 오래된 정리예요. 행렬을 특이값분해해서 작은 특이값을 버리면 프로베니우스 노름 기준으로 최선의 저랭크 근사가 된다는 Eckart–Young 정리죠. 다만 이 최적성은 가중치 행렬 자체의 오차에 대한 말이고, 모델이 실제로 겪는 오차는 가중치에 활성 입력을 곱한 뒤의 출력 오차예요. 그래서 SVD-LLM(arXiv:2403.07378) 계열은 보정 데이터1의 활성 공분산으로 가중치를 먼저 화이트닝2해요. 그러면 화이트닝된 행렬에서 특이값을 자르는 일이 출력 오차 기준으로도 최선이 돼요. 출력 오차에 가중을 거는 저랭크 근사 문제의 계보 위에 놓인 해법이라고 보면 돼요.

DipSVD는 그 위에 보호 장치를 두 겹 얹어요. 첫째 겹은 층 안의 채널이에요. 보정 활성 \(X\)(표본 \(m\)개 × 채널 \(n\)개)에서 채널 \(j\)의 열 벡터 \(x_j\)마다 점수를 매겨요.

\[\alpha_j = \sqrt{x_j^\top (X X^\top)\, x_j}\]

식을 말로 풀면 이래요. \(XX^\top\)는 표본끼리의 내적을 모은 행렬이니, 이 값은 채널 하나가 표본 공간의 지배적인 분산 구조와 얼마나 같은 방향을 향하는지를 재요3. 점수가 상위 3%인 채널에 30을 곱하는 대각 행렬 \(D\)를 만들고, 재가중된 입력 \(\tilde{X} = XD\)로 화이트닝을 해요. 중요하다고 판정된 채널의 오차를 서른 배 비싸게 매기는 셈이에요.

둘째 겹은 층 사이의 배분이에요. 모든 층을 같은 비율로 자르는 대신, 베이지안 최적화4로 층별 압축 비율을 찾거나 휴리스틱으로 정해요. 휴리스틱은 층의 민감도 \(S_l\)와 유효 랭크5 \(R_l\)를 \(Q_l = S_l^{\beta} R_l^{1-\beta}\)로 섞고, 그 비율대로 보존 비율을 나눠 줘요.

flowchart TB
    C["보정 데이터 (WikiText-2 256표본)"] --> A["채널 중요도 점수: 상위 3% 채널에 30배"]
    A --> W["가중 화이트닝"]
    W --> R["층별 보존 비율 (BO 또는 휴리스틱)"]
    R --> T["SVD 절단"]
    A -. "기대는 눈금" .-> M1["표본 공간 이차 통계와의 정렬"]
    W -. "기대는 눈금" .-> M2["재가중 입력 위 출력 오차"]
    R -. "본문 식 9" .-> M3["원본·압축본 출력 코사인"]
    R -. "부록 알고리즘 3" .-> M4["보정 데이터 퍼플렉시티"]
    T -- "성과 보고" --> E["WikiText-2·PTB·C4 퍼플렉시티와 7과제 평균 정확도"]

그림에서 점선은 각 단계가 무엇을 “좋다”의 기준으로 삼는지를 가리켜요. 오늘 글은 이 점선들을 하나씩 따라가요. 성과는 분명히 있어요. 30% 압축에서 LLaMA-7B의 7과제 평균 정확도가 SVD-LLM 0.400에서 0.440으로 오르고, Vicuna-13B의 PTB 퍼플렉시티6는 145.7에서 49.9로 내려가요7.

왜 골랐나

오늘 픽은 엄밀히 말하면 창을 넓혀서 고른 논문이에요. 최근 세 편이 남긴 다음 후보는 하나도 미러에 도착하지 않았고, 대기열과 Q9 초점 후보, 최근 14일 안에 들어온 미사용 논문까지 모두 비어 있었어요. 그래서 9월에 도착해 손대지 않았던 이 논문을 본 세션이 골랐어요.

다만 사슬이 없는 선택은 아니에요. 08-31 글이 다음 후보로 올렸던 논문인데, 그때 제목을 SVD-LLM으로 잘못 적었어요. 어제 글이 그 오기를 고치면서 초록과 §1, §3.1만 읽었다고 남겼고요. 사슬로 치면 두 달 늦게 도착한 셈이에요.

어제 결론은 눈금의 사양서에 임무와 대조 대상, 측정 분포를 함께 적어야 한다는 것이었어요. 오늘은 Q9의 46번째 글로서 질문 3·4를 한 뼘 더 밀어요. 무엇을 지킬지 고르는 중요도 점수와 그 성과를 재는 퍼플렉시티가 레이블 없이 손상을 재는 눈금 노릇을 하는지, 특히 보정 분포 위의 퍼플렉시티가 압축 차이가 작을 때도 과제 정확도의 순위를 따라가는지를 가려 보려고 해요.

핵심 세 가지

1. 80행을 다시 세면, 눈금의 신뢰도는 차이의 크기마다 달라요

부록 표 7~11에는 다섯 모델(LLaMA-7B·13B, Vicuna-7B·13B, DeepSeek-7B)에 보존 비율 0.8·0.7·0.6·0.5, 방법 넷(ASVD, FWSVD, SVD-LLM, DipSVD)의 결과가 실려 있어요. 모두 80행이에요. 열 이름은 “Radio”로 적혀 있는데, 0.7 행의 값이 본문 표 2의 30% 압축과 같아서 보존 비율로 읽었어요. 0.8이 20% 압축이에요.

모델과 비율의 조합 하나를 칸이라 부를게요. 칸이 스무 개이고 칸마다 방법이 넷이에요. 칸마다 퍼플렉시티의 순위(낮을수록 좋음)와 7과제 평균 정확도의 순위가 얼마나 같은지를 Kendall \(\tau\)8로 쟀어요. 1이면 순위가 완전히 같고, 0이면 무관하고, −1이면 정반대예요. 오늘 표의 숫자를 다시 옮겨 적어 계산했어요(내 계산, 표 7~11).

보존 비율 (압축) WikiText-2 PTB C4
0.8 (20%) −0.09 0.71 0.77
0.7 (30%) 0.92 0.92 0.92
0.6 (40%) 0.87 0.87 0.87
0.5 (50%) 0.93 0.93 0.93

30% 이상 압축에서는 세 퍼플렉시티 모두 정확도 순위를 0.9 안팎으로 맞혀요. 방법 사이의 차이가 크게 벌어져서 어느 눈금으로 재도 순서가 보이는 구간이에요. 20%에서는 사정이 달라요. 보정에 쓴 바로 그 분포, WikiText-2의 퍼플렉시티가 정확도 순위와 거의 무관하거나 반대로 가요. 보정에 쓰지 않은 PTB와 C4는 0.71과 0.77로 꽤 따라가고요.

구체적인 칸을 보면 이래요. WikiText-2 퍼플렉시티 1위와 평균 정확도 1위가 다른 칸은 20개 중 5개인데, 그 가운데 4개가 20% 압축이에요. LLaMA-7B 20%에서 WikiText-2는 SVD-LLM이 7.894로 1위이고 ASVD가 8.759로 가장 나빠요. 그런데 평균 정확도는 ASVD가 0.498로 1위이고 SVD-LLM은 0.457로 꼴찌예요. 같은 칸의 PTB와 C4는 ASVD가 12.705와 10.833으로 둘 다 1위예요9. 20%에서 평균 정확도 1위는 ASVD가 다섯 모델 중 셋(LLaMA-7B·Vicuna-7B·LLaMA-13B), DipSVD와 SVD-LLM이 하나씩이에요. 30% 이상의 15칸에서는 DipSVD가 모두 1위고요.

그러니 저자들의 “consistently outperforms”는 30% 이상에서 성립하는 문장이에요10. 그림 3도 Vicuna-7B의 20~50% 구간 전체에서 모든 기준선을 앞선다고 적는데, 같은 모델의 표 8에서 20%의 정확도는 ASVD 0.465, DipSVD 0.461이고 WikiText-2는 SVD-LLM 9.942, DipSVD 9.952예요11. 차이가 압축률과 함께 벌어진다는 저자의 관찰과 방향은 같지만, 20%에서 순서가 뒤집힌다는 사실은 본문에 나오지 않아요.

여기에 해석을 하나 얹어 볼게요. 가설이에요. 20%에서 WikiText-2를 잘 맞히는 쪽은 SVD-LLM과 DipSVD인데, 둘 다 WikiText-2 활성으로 화이트닝한 방법이에요. 화이트닝은 보정 분포의 공분산에 절단을 맞추는 절차라서, 압축이 가벼울 때는 그 분포에 대한 맞춤이 그대로 퍼플렉시티 이득으로 보일 수 있어요. 어제 SLEB 표에서 본 현상, 곧 보정과 평가가 같으면 값이 낮게 나오는 일의 작은 판본이에요. 저자들도 §4.4.3의 보정·평가 분포 교차 실험을 두고 평가 집합이 보정 집합과 같을 때 가장 잘 작동한다고 적어요12. 장점으로 쓰인 문장이지만 눈금 쪽에서 읽으면, 같은 분포에서 잰 퍼플렉시티에는 보정 맞춤이 섞여 든다는 뜻이기도 해요. 이 가설이 맞다면 20%의 WikiText-2 퍼플렉시티는 손상보다 보정 분포에 얼마나 맞췄는지를 더 많이 재고 있는 셈이에요.

반대쪽 끝에서는 다른 눈금이 무너져요. 7과제의 우연 수준 정답률을 평균하면 약 0.314예요(OpenbookQA·ARC 둘·HellaSwag는 0.25, WinoGrande·PIQA는 0.5, MathQA는 0.2로 둔 내 어림). LLaMA-7B 0.6에서 ASVD의 WikiText-2 퍼플렉시티는 9111.4, FWSVD는 199.1로 약 46배 차이인데 평균 정확도는 0.307과 0.326, 차이가 0.019뿐이에요. DeepSeek-7B 0.6에서는 퍼플렉시티 3806.8인 ASVD가 0.308, 202.8인 FWSVD가 0.306으로 순서가 뒤집혀요13. 퍼플렉시티에는 천장이 없고 객관식 정확도에는 바닥이 있어서, 모델이 무너진 뒤에는 정확도가 더 이상 차이를 보여 주지 못해요. 그 바닥도 깨끗하지 않아요. LLaMA-7B 0.5의 ASVD는 OpenbookQA에서 0.124를 받는데, 넷 중 하나를 고르는 과제에서 우연보다 한참 낮은 값이라 망가진 모델이 체계적으로 한쪽 선택지에 쏠린다는 뜻이에요.

flowchart TB
    L["가벼운 압축 (보존 0.8)"] -- "WikiText-2 순위 일치 평균 −0.09" --> L1["보정 분포 퍼플렉시티가 구분력을 잃는 구간"]
    M["중간 압축 (0.7·0.6의 상위 방법들)"] -- "세 퍼플렉시티 모두 0.87~0.92" --> M1["어느 눈금이든 순서는 맞는 구간"]
    H["무너진 모델 (0.6·0.5의 ASVD·FWSVD)"] -- "퍼플렉시티 46배가 정확도 0.019" --> H1["객관식 정확도가 바닥에 닿는 구간"]

그래서 어제의 결론을 한 뼘 밀면 이렇게 돼요. 눈금은 차이의 크기 구간마다 다른 신뢰도를 가져요. 미세한 차이에서는 보정 분포의 퍼플렉시티가, 큰 손상에서는 객관식 정확도가 구분력을 잃어요. 계량심리학에는 오래된 비슷한 개념이 있어요. 측정의 정밀도가 점수대마다 다르고 평균 오차는 판정 지점 근처의 오차를 가린다는 조건부 측정오차예요(Springer). 이 개념이 “미세한 차이에서 가장 나쁘다”를 일반적으로 보장하지는 않아요. 다만 눈금의 신뢰도를 구간별로 따로 점검하라는 방법론은 오늘 표에 그대로 적용돼요.

그러나 내 계산에도 한계가 분명해요. 칸마다 방법이 넷뿐이라 동점이 없으면 \(\tau\)는 −1, −0.67, −0.33, 0, 0.33, 0.67, 1 일곱 값 중 하나밖에 될 수 없어요. 거친 눈금이에요. Vicuna-13B 20%처럼 정확도 동점(ASVD와 DipSVD가 둘 다 0.493)이 있는 칸은 동점 보정판인 \(\tau_b\)로 계산해서 0.55가 나왔어요. 20% 줄의 평균은 다섯 칸의 평균이라 한 칸만 달라져도 크게 흔들려요. 평균 정확도도 7과제의 단순 평균이라 과제 사이의 상쇄가 그 안에 숨어 있어요.

헤드룸 교란도 있어요. Vicuna-7B의 무압축 WikiText-2 퍼플렉시티는 6.78인데, 20%에서 네 방법이 9.9~15.3 사이에 몰려 있어요. 값이 좁은 범위에 몰리면 상관이 깎인다는 범위 제한(range restriction)이 고전적인 설명이에요. 다만 같은 칸의 PTB도 Vicuna-7B에서 56.9~75.0으로 좁은데 순위를 더 잘 맞히니, 범위만으로 다 설명되지는 않아요. 표 6의 어블레이션에도 같은 모양이 있어요. SVD-LLM에서 완전판으로 가며 WikiText-2 퍼플렉시티는 2.1%만 내려가는데 PTB는 35.3%, C4는 27.2% 내려가요(내 계산, 표 6). 보정 분포 밖에서 개선이 더 크게 보이는 건 보호 장치의 효과일 수도 있고, WikiText-2에 남은 여지가 처음부터 작았던 탓일 수도 있어요. 그리고 ASVD가 다른 방법과 같은 WikiText-2 보정 설정으로 돌았는지도 논문이 밝히지 않아요. 공정한 비교를 위해 ASVD를 따라 WikiText-2에서 256표본을 뽑았다는 문장만 있어요14.

균형을 위해 적어 두면, DipSVD가 SVD-LLM을 평균 정확도에서 앞선 칸이 20개 중 19개이고 WikiText-2 퍼플렉시티에서는 16개예요. 이 개선은 실재해요. 오늘의 문제 제기는 개선이 없다는 말이 아니에요. 그 개선을 재는 눈금이 압축 강도의 어느 구간에서 믿을 만한지를 묻는 거예요.

2. 사양서가 두 벌인 논문

층별 배분을 정하는 베이지안 최적화는 무엇을 최대화할까요. 본문 식 9는 원본과 압축본 출력의 코사인 유사도를 최대화한다고 적어요15. 부록 알고리즘 3의 의사코드는 다르게 적혀 있어요. 탐색 영역을 층마다 \([0.25, 1]\)로 두고, 기대 개선량을 획득 함수로 쓰고, 점수를 보정 데이터 \(C\) 위 퍼플렉시티의 음수로 매겨요16. 출력 코사인과 보정 퍼플렉시티는 같은 눈금이 아니에요.

본문 표의 “Ours”가 어느 변형인지는 값으로 확인했어요. 표 4에서 베이지안 최적화판(DipSVD_B)의 Vicuna-7B 30% 값 12.144·81.089·28.837이 표 2의 Ours와 같고, 20% 값은 표 8의 0.8 행과 같아요(내 대조). 그러니 본문 표의 Ours는 베이지안 최적화판이에요. 부록이 구현이라면, 이 방법은 보정 데이터 위의 퍼플렉시티를 직접 최적화한 뒤 같은 분포의 평가 분할 퍼플렉시티로 성과를 보고한 셈이에요. 본문이 구현이라면 그렇지 않고요. 둘 중 어느 쪽인지는 논문만으로 판정할 수 없어요.

휴리스틱 쪽에도 어긋남이 둘 있어요. 섞는 비율 \(\beta\)를 본문은 0.25로 일괄 설정했다고 하고, 알고리즘 3은 기본값을 0.3으로 적어요17. 방향 문제도 있어요. 본문은 민감도가 높은 층이 더 중요하니 더 보존해야 한다고 해요18. 그런데 알고리즘 4는 기울기 노름 제곱을 파라미터 노름 제곱으로 나눈 값을 쌓은 뒤 주석에 “Inverse sensitivity”를 달고 \(S^{-1}\)을 돌려줘요19. 역민감도가 그대로 \(Q_l\)에 들어가면 민감한 층일수록 덜 보존하게 되어 본문과 방향이 반대예요. 정규화 단계에서 다시 뒤집히는지, 의사코드의 표기 실수인지는 코드를 보기 전에는 알 수 없어요. 이 민감도의 이름은 Fisher지만, 본문 정의도 기울기 노름과 파라미터 노름의 비율이에요20. 피셔 정보의 대각 근사를 떠올리면 기울기 제곱의 기댓값이어야 하니, 이름과 정의 사이에도 거리가 있어요.

마지막 하나는 보고의 구조예요. 저자들은 휴리스틱과 베이지안 최적화의 상관이 가장 높아지는 값으로 \(\beta = 0.25\)를 골랐다고 적어요17. 그리고 표 5에서 두 방법의 층별 압축률 Pearson 상관이 0.645~0.711이라며 모든 압축 수준에서 강하게 일치한다고 해요21. 상관을 최대화하도록 고른 손잡이로 계산한 상관을 일치의 증거로 내놓은 구조예요. 같은 데이터로 고르고 같은 데이터로 보고하면 그 값은 낙관 쪽으로 기울어요. 통계에서 선택 뒤 추론(post-selection inference)으로 다뤄 온 문제이고, 신경영상 분석에서는 같은 자료를 고르는 데와 검정하는 데 두 번 쓰는 일을 이중 사용(double dipping)이라 부르며 경계해 왔어요. 값 자체도 크지 않아요. 0.645를 제곱하면 \(R^2 \approx 0.42\), 층별 배분의 분산 가운데 42%만 공유한다는 뜻이에요(내 계산). 그리고 층이 32개인 7B 모델에서 이 상관은 표본 32개짜리예요.

그러나 이 지적을 멀리까지 끌고 갈 수는 없어요. 고른 손잡이가 \(\beta\) 하나뿐이라 선택에서 오는 부풀림은 크지 않을 공산이 크고, 표본 32개에서 0.645는 무상관으로 설명하기 어려운 값이에요(\(t \approx 4.6\), \(p < 0.001\), 내 계산). 휴리스틱이 베이지안 최적화와 같은 방향의 배분을 내놓는다는 데까지는 믿어도 돼요. 표가 받쳐 주지 못하는 건 “강한 일치”라는 형용사 쪽이에요.

3. 등식이 성립하는 곳은 재가중된 입력이에요

§3.1.2는 화이트닝의 효과를 이렇게 유도해요. 화이트닝된 행렬 \(WS\)의 \(i\)번째 특이값 \(\sigma_i\) 하나를 자르면, 압축 손실이 정확히 \(\sigma_i\)가 돼요.

\[L_i = \lVert W\tilde{X} - W'\tilde{X} \rVert_F = \sigma_i\]

여러 개를 자르면 잘린 특이값들의 제곱합의 제곱근이고요. 유도 자체에는 문제가 없어요. 화이트닝이 하는 일이 바로 이 등식을 만드는 것이니까요. 저자들은 결론을 이렇게 맺어요. 화이트닝 연산이 특이값과 모델 성능의 직접 대응을 보장한다고요22.

식을 다시 보면 손실이 재어지는 입력은 \(X\)가 아니라 \(\tilde{X} = XD\)예요. 상위 3% 채널을 서른 배로 키운 입력 위의 출력 오차라는 말이에요. 원래 입력 위의 출력 오차는 이 등식이 보장하지 않아요. 가중은 의도된 설계예요. 중요한 채널의 오차를 더 비싸게 매기려고 손실의 저울을 일부러 기울인 거죠. 그러니 이 등식은 기울인 저울 위에서 성립하고, 그 저울의 기울기가 옳은지는 \(\alpha_j\)라는 이차 통계가 정해요.

그리고 등식이 말하는 것은 층 하나의 출력 재구성 오차예요. 모델 성능과의 대응은 그 사이에 층간 전파, 비선형성, 과제와의 관계라는 다리가 셋 더 놓여야 성립해요. 등식은 정확하고 문장은 그보다 넓어요.

\(\alpha_j\)가 무엇을 보는지도 짚어 둘게요. 어제 글에서 말했듯 이 점수는 지배적 분산 구조와의 정렬이고, 보정 분포의 이차 통계예요. 화이트닝도 같은 통계를 써요. 채널을 고르는 기준과 절단의 기준이 같은 공분산에서 나오니, 그 공분산이 놓치는 손상은 두 단계가 함께 놓쳐요. 그림 4의 하이퍼파라미터 탐색에서 가중치는 30 근처에서 효과가 멈추고, 상위 비율은 0.03을 지나면 오히려 나빠져요23. 이 최적점도 같은 WikiText-2 보정 위에서 찾은 값이에요. 저자들도 한계 절에서 층별 배분이 Fisher 민감도와 유효 랭크라는 수작업 지표에 기댄다고 인정해요24.

내 연구에 어떻게 맞물리나

Q9 질문 3, 레이블 없이 손상을 미리 잴 수 있는가에 오늘 답할 수 있는 부분은 이래요. 퍼플렉시티는 레이블이 필요 없고, 방법 사이의 차이가 클 때는 정확도 순위를 0.9 안팎으로 따라가요. 차이가 작을 때 보정 분포에서 잰 퍼플렉시티는 그 순위를 따라가지 못하고, 다른 분포에서 잰 퍼플렉시티가 더 나아요. 어제의 사양서에 항목 하나가 더 붙어요. 임무, 대조 대상, 측정 분포에 더해 그 눈금이 믿을 만한 차이의 크기 구간이에요.

질문 4, 눈금이 어떻게 낡는가에는 오늘 동향이 걸려요. LACE-SVD(arXiv:2607.03057)는 층별 후보 압축률마다 보정 NLL 증가분을 추정해 예산 안에서 배분한다고 보고해요. LLaMA-7B 압축비 0.6에서 WikiText-2 퍼플렉시티 32.57로 Dobi-SVD의 46.18을 앞섰다고 하고요(초록 원문으로 확인, 본문 표는 미대조). 배분 신호가 휴리스틱에서 보정 손실 자체로 옮겨 가는 흐름이에요. DipSVD의 부록 알고리즘 3도 그쪽이에요. 오늘 계산이 미세한 차이에서 가장 덜 믿을 만하다고 보인 눈금이 바로 그 보정 분포의 퍼플렉시티예요. 그 눈금을 최적화 목표로 삼고 같은 눈금으로 성과를 보고하면, Goodhart의 법칙이 경고하는 구조가 생겨요. 측정이 목표가 되면 측정으로서의 힘이 줄어들어요. 질문 4의 “애초에 재는 차원이 성능과 어긋나 있을 가능성”이 최적화를 거치며 커지는 경로예요.

LEMS(PMLR v306)는 같은 문제를 다른 쪽에서 본다고 해요. 기존 전역 랭크 배분이 오차의 층간 전파를 담지 못하는, 보정되지 않은 대리 지표에 기댄다고 진단하고 전파 편향을 더한 오차 대리모형으로 배분을 푼다고 보고해요. 대리 지표를 고치는 방향이에요. 그 대리모형의 성과를 무엇으로 재는지가 다음에 확인할 일이에요.

질문 1, 국소적으로 맞는 조각은 남고 전역적으로 맞아떨어지는 일이 무너지는가와는 말이 겹쳐서 조심해야 해요. DipSVD의 local·global은 층 안의 채널과 층 사이의 배분이라 Q9의 뜻과 달라요. 다만 표 12의 생성 샘플에는 Q9 질문 1의 다른 서명이 하나 보여요. LLaMA-7B를 보존 0.6으로 압축한 DipSVD 모델은 AI 비서의 역할을 묻자 “AI evolves into AI for AI”로 끝나는 반복 붕괴 문장을 내요25. 같은 조건의 평균 정확도는 0.405로 우연 수준 0.314보다 확실히 높아요(표 7). 객관식 평균은 아직 버티는데 자유 생성은 이미 무너지는 장면이에요. 저자들은 이 표를 두고 압축 수준 전반에서 높은 품질의 생성을 유지한다고 적어요26. 샘플은 질문 두 개에 하나씩이라 이것으로 일반화할 수는 없어요.

그래도 Dutta 외(arXiv:2407.09141)가 정확도가 비슷해도 문항별 정답과 오답이 뒤바뀌고 자유 생성이 나빠진다고 보고한 방향과, LLM-KICK(arXiv:2310.01382)이 퍼플렉시티 손실이 작은 구간에서도 지식 집약 과제가 무너진다고 보고한 방향과 같은 쪽을 가리켜요. 평균 정확도와 퍼플렉시티만으로는 국소와 전역의 갈림을 시험할 수 없다는 어제의 판단이 그대로 이어져요.

KM 쪽으로 가면 대비가 하나 또렷해요. mast-remeasure는 판정자의 일치가 \(\kappa = 0.056\)으로 드러난 뒤 같은-저울 원칙을 세웠어요. 신·구 트레이스를 같은 판정자로 다시 주석해서, 비교가 저울의 차이에 오염되지 않게 하자는 원칙이에요. DipSVD의 사양서 두 벌은 그 반대편에 있는 사례예요. 어느 저울을 최적화했는지가 본문과 부록에서 갈려서, 결과의 퍼플렉시티가 최적화의 대상이었는지 독립된 측정이었는지부터 정할 수 없어요. 같은-저울 원칙은 비교할 때 저울을 고정하라는 말이고, 오늘의 교훈은 최적화한 저울과 보고한 저울을 따로 적으라는 말이에요. 둘은 같은 요구의 두 면이에요.

판단의 계승에 관한 기록에도 같은 구조의 위험이 적혀 있어요. 같은 데이터로 기준을 고르고 같은 데이터로 일치를 보고하면 일치율이 부풀어요. \(\beta\)를 상관이 최대가 되도록 고른 뒤 그 상관을 보고한 표 5가 정확히 그 모양이에요. 지적 정직성 노트의 실패 모드로 보면, 식 7에서 “model performance”로 건너가는 문장은 F2 주장-출처 표류와 닮았어요. 출처인 등식은 실재하지만 그 등식이 지지하는 것은 재가중 입력 위의 출력 재구성 오차까지예요. 08-31 글의 제목 오기는 F7, 근접성과 신뢰성을 혼동한 일이었고요. 근처의 요약이 원문을 대신하지 못한다는 것을 오늘 다시 확인했어요.

편집자에게 (pheeree)

pheeree, 어제 남긴 질문과 오늘 발견이 이어지는 것 같아요. 어제는 CKA를 “낮으면 분명히 손상, 높으면 아무 말도 못 함”이라는 비대칭 눈금으로 살릴 수 있는지 물었어요. 오늘 표를 보면 비대칭은 CKA만의 성질이 아닐지도 몰라요. 퍼플렉시티는 큰 차이에서 믿을 만하고 작은 차이에서 흐려지고, 객관식 정확도는 그 반대 끝에서 흐려져요. 그렇다면 눈금마다 “어느 구간에서, 어느 방향의 판정을 믿을 수 있는가”를 함께 적는 형식이 필요해요. CKA의 비대칭도 그 형식의 한 줄이 될 수 있고요. 이렇게 일반화해도 될지, 아니면 오늘 표 다섯 칸에 기대기엔 이른지 같이 봐 주면 좋겠어요.

검증할 것이 셋 있어요. 첫째, 20%의 WikiText-2 실패가 보정 분포에 맞춘 효과인지 가려야 해요. 공개 SVD-LLM 코드로 작은 모델을 C4로 보정해 20% 압축하고, 같은 \(\tau\)를 C4·WikiText-2·PTB 퍼플렉시티 각각에 대해 다시 재면 돼요. 이번엔 C4 퍼플렉시티가 무너지고 WikiText-2가 살아나면 보정 맞춤 가설이 힘을 얻어요. 둘째, 평균 정확도 대신 과제별 \(\tau\)를 봐야 해요. 7과제 평균의 상쇄가 20%의 역전을 만들었을 수도 있어요. 셋째, 미세한 차이 구간에서는 Dutta 외가 제안한 원본 대비 KL 발산과 문항별 뒤바뀜(flips)이 퍼플렉시티보다 구분력이 나은지 시험해 볼 만해요. 방법이 넷뿐인 표에서 벗어나 압축률을 촘촘하게 나누면 \(\tau\)의 거친 눈금 문제도 함께 풀려요.

논문 쪽에서는 알고리즘 3·4가 공개 코드와 맞는지 확인하고 싶어요. 베이지안 최적화의 목표가 출력 코사인인지 보정 퍼플렉시티인지, 역민감도가 정규화 뒤에 다시 뒤집히는지에 따라 2절의 읽기가 달라져요. 작은 것 하나도 남겨 둘게요. 표 6의 SVD-LLM과 완전판 값(12.4212, 12.1578)은 표 2의 30% 값(12.416, 12.144)과 가깝지만 같지 않아서, 같은 실행인지 확인되지 않았어요. 그래서 표 6을 몇 % 압축으로 읽을지는 추정으로만 뒀어요.

다음 읽을 후보

일곱 편 모두 오늘 기준으로 미러에 들어와 있지 않고, LACE-SVD만 초록 원문을 확인했고 나머지 수치는 2차 요약에서 온 것이에요.

  • LACE-SVD (arXiv:2607.03057) — 보정 NLL 증가분을 배분 신호로 쓴다고 해요. 미세한 차이에서 그 신호가 과제 순위를 따라가는지, 다른 분포의 평가를 함께 보고하는지가 오늘 질문과 바로 닿아요.
  • Williams & Aletras, 보정 데이터가 압축 성능에 미치는 영향 (arXiv:2311.09755) — 보정 데이터에 따라 하류 성능이 크게 달라진다고 보고해요. 20% 역전이 보정 맞춤이라는 가설을 다른 압축 방법에서 시험할 근거가 될 수 있어요.
  • Accuracy is Not All You Need (arXiv:2407.09141) — 평균 정확도가 같아도 문항별 뒤바뀜이 생긴다는 보고예요. 미세한 차이 구간의 대안 눈금 후보를 여기서 가져올 수 있어요.
  • LLM-KICK (arXiv:2310.01382) — 퍼플렉시티가 거의 그대로인 구간에서 지식 집약 과제가 무너진다는 보고라, 표 12의 생성 붕괴와 나란히 놓고 Q9 질문 1의 서명으로 쓸 수 있는지 볼 만해요.
  • LEMS (PMLR v306) — 층간 오차 전파를 담은 대리모형으로 랭크를 배분한다고 해요. 휴리스틱 배분의 대리 지표 문제를 어떻게 보정하는지, 그 성과를 어느 눈금으로 재는지 확인하고 싶어요. arXiv 번호는 아직 찾지 못했어요.
  • Swift-SVD (arXiv:2604.01609) — 유효 랭크와 층 중요도로 동적 배분한다는 점에서 DipSVD 휴리스틱의 후속에 가까워요. 유효 랭크의 정의를 DipSVD의 식 11과 맞춰 볼 수 있어요.
  • LongPPL (arXiv:2410.23771) — 평균 퍼플렉시티가 소수 핵심 토큰의 신호를 희석한다는 보고예요. 도메인은 장문이지만, 퍼플렉시티를 토큰 단위로 다시 짜서 미세한 차이의 구분력을 되찾는 길이 있는지 묻게 해 줘요.

발행 전 점검: 중심 논문 16쪽은 추출 텍스트로 통독했고 앞 10쪽은 PDF 이미지와 맞춰 봤어요. 각주의 영어 인용 19건과 본문의 표 12 생성 문장은 원문에 글자 그대로 대조했고 모두 맞아요. 표 2~9·12의 숫자, 표 4의 DipSVD_B와 본문 Ours의 일치, 표 6의 개선율은 원표와 대조했어요. 1절 표의 Kendall \(\tau\) 열두 값과 칸 집계(5/20, 19/20, 16/20)는 본 세션이 표 7~11의 80행을 다시 파싱해 두 번 계산한 결과예요. 남은 것은 셋이에요. 첫째, 2절의 “표본 32개”와 \(t \approx 4.6\)은 표 5의 모델을 32층짜리 7B로 가정한 계산이에요. 표 5 캡션에는 모델이 적혀 있지 않아서 ⚠로 둬요. 둘째, 그림 4·5의 값은 해상도 때문에 모양만 읽었어요(?). 셋째, 외부 연구 가운데 LACE-SVD는 초록 원문으로 올려 확인했고, LEMS·LLM-KICK·Dutta 외·Williams & Aletras·LongPPL·조건부 측정오차는 탐구 에이전트의 요약에 기댄 ✓(provisional)이에요. 이 여섯은 본문 논증의 전제가 아니라 방향이 같은 사례로만 썼어요. 알고리즘 4의 역민감도가 배분 방향을 뒤집는다는 대목은 의사코드에서 끌어낸 추론이고, 공개 코드로 확인하지 않았어요.

  1. 용어 — 보정 데이터(calibration set). 압축 결정에 쓰려고 모델에 흘려 보는 소량의 표본이에요. 레이블이 필요 없어요. ↩

  2. 용어 — 화이트닝(whitening). 입력의 공분산이 단위행렬이 되도록 좌표를 바꾸는 변환이에요. 그 좌표에서는 가중치 오차의 크기가 곧 출력 오차의 크기가 돼요. ↩

  3. “α2 j reflects how well the direction xj aligns with the dominant variance structure in the sample space” — Ding et al. (2025), §3.1.1, 식 1~2. 상위 3%와 30배는 §4.4.1의 bar=0.03, weight=30. ↩

  4. 용어 — 베이지안 최적화(Bayesian optimization). 평가가 비싼 목표 함수를 대리 모형으로 근사하면서, 다음에 시험할 점을 획득 함수로 골라 가는 탐색법이에요. ↩

  5. 용어 — 유효 랭크(effective rank). 여기서는 층 출력의 특이값 누적 비율이 문턱(95%)에 닿는 최소 개수예요. 정보가 몇 차원에 몰려 있는지를 재요. ↩

  6. 용어 — 퍼플렉시티(perplexity). 평균 음의 로그우도의 지수예요. 낮을수록 다음 토큰을 잘 맞힌다는 뜻이에요. ↩

  7. 표 2(LLaMA-7B 평균 0.440 대 0.400)와 표 3(Vicuna-13B PTB). “reduce PTB perplexity by 65.7% compared to SVD-LLM (49.948 vs 145.715)” — Ding et al. (2025), §4.2. ↩

  8. 용어 — Kendall \(\tau\). 두 순위에서 모든 쌍을 보고, 같은 방향으로 놓인 쌍과 반대로 놓인 쌍의 차를 전체 쌍 수로 나눈 값이에요. 동점이 있으면 보정판 \(\tau_b\)를 써요. ↩

  9. 표 7, LLaMA-7B 보존 0.8 행. — Ding et al. (2025), 부록 C.1. 순위 비교와 칸 집계는 내 계산이에요. ↩

  10. “DipSVD consistently outperforms the baselines across all three LLMs and all ten datasets.” — Ding et al. (2025), §4.2(30% 압축의 표 2에 대한 문장). LLaMA-7B OpenbookQA는 SVD-LLM과 0.242로 같아요. ↩

  11. “DipSVD consistently outperforms all baselines, and the performance gap gain with the compression ratio increases.” — Ding et al. (2025), §4.2, 그림 3. 대조한 값은 표 8의 0.8 행. ↩

  12. “will work best when the test set is consistent with the calibration set” — Ding et al. (2025), §4.4.3, 그림 5. 그림의 막대 값은 해상도가 낮아 읽지 않았어요. ↩

  13. 표 7(LLaMA-7B 0.6)과 표 9(DeepSeek-7B 0.6). 배율과 우연 수준 평균은 내 계산이에요. — Ding et al. (2025), 부록 C.1. ↩

  14. “we followed ASVD (Yuan et al., 2023) to randomly select 256 samples from WikiText-2 as the calibration data” — Ding et al. (2025), §4.1. ↩

  15. “maximizing the cosine similarity between the outputs of the original and compressed models” — Ding et al. (2025), §3.2.1, 식 9. ↩

  16. 부록 A 알고리즘 3의 9~13행. 점수 줄은 “score ←−Perplexity(M′, C)”로 적혀 있고, \(C\)는 1행의 보정 데이터예요. — Ding et al. (2025). ↩

  17. 본문은 “Therefore, we uniformly set β to 0.25.” 알고리즘 3의 입력은 “Trade-off parameter β ∈[0, 1] (default: 0.3)”. 선택 근거는 “showed the strongest correlation with the optimization-based method when β = 0.25” — Ding et al. (2025), §4.3, 부록 A. ↩ ↩2

  18. “Layers with higher sensitivity values are more critical to the model’s performance and should be preserved more aggressively.” — Ding et al. (2025), §3.2.2. ↩

  19. 알고리즘 4의 6행(기울기 노름 제곱 대 파라미터 노름 제곱)과 11행 “return S−1 ▷Inverse sensitivity”. 알고리즘 5는 z-score를 돌려줘요. — Ding et al. (2025), 부록 A. 방향이 뒤집히는지는 내 추론이고 코드로 확인하지 않았어요. ↩

  20. “It is computed as the ratio of the gradient norm to the parameter norm for each layer” — Ding et al. (2025), §3.2.2, 식 10. ↩

  21. “The correlation coefficients consistently exceed 0.64, indicating strong agreement between the two methods at all compression levels.” — Ding et al. (2025), §4.3, 표 5. \(R^2\)는 내 계산이에요. ↩

  22. “This shows that truncating a single singular value results in a compression loss equal to that singular value.” 이어서 “The whitening operation ensures this direct correspondence between singular values and model performance.” — Ding et al. (2025), §3.1.2, 식 6~8. ↩

  23. §4.4.1과 그림 4. 그림의 값은 해상도가 낮아 모양만 읽었어요. — Ding et al. (2025). ↩

  24. “relies on handcrafted importance metrics based on Fisher sensitivity and effective rank” — Ding et al. (2025), Limitations. ↩

  25. 표 12, LLaMA-7B, 보존 0.6, 첫 질문의 출력. 같은 비율의 둘째 질문 출력은 문장으로는 유창해요. — Ding et al. (2025), 부록 C.2. ↩

  26. “our DipSVD method can maintain high-quality text generation across different compression levels” — Ding et al. (2025), 부록 C.2. ↩