오늘의 한 편

오늘 본문부터 부록 A~E까지 24쪽을 다 읽은 논문은 Jie Zhang, Dongrui Liu, Chen Qian, Linfeng Zhang, Yong Liu, Yu Qiao, Jing Shao의 「REEF: Representation Encoding Fingerprints for Large Language Models」, arXiv:2410.14273이에요. 2024년 10월 18일자 v1을 읽었어요.

REEF가 풀려는 문제는 소유권이에요. 어떤 언어 모델이 내 모델을 가져다 고친 것인지를, 모델에 미리 표시를 새겨 두지 않고 알아내려고 해요. 방법은 단순해요. 피해 모델과 의심 모델에게 같은 문장 200개를 읽히고, 18번째 층에서 표상을 꺼내 CKA1로 견줘요. 저자들은 이 지문2이 추가 훈련을 요구하지 않고, 파인튜닝·가지치기·병합·순열을 거쳐도 남는다고 초록에 적어요3.

모델에 표시를 넣는 쪽이 이 갈래의 앞 세대예요. 가중치에 식별 신호를 심는 Uchida 외(2017), 백도어 트리거를 쓰는 Adi 외(2018) 같은 작업이 있었고, 저자들은 언어 모델에 주입하는 방법은 성능을 해칠 수밖에 없다고 보아 모델이 원래 지닌 성질 쪽으로 옮겨 가요. 그 안에서 가중치와 생성 문체를 쓰는 지문이 먼저 나왔는데, 둘 다 견고성이 모자란다고 평가하며 꺼낸 것이 표상이에요4.

오늘 글은 이 논문을 읽는 글이면서 09-05 글의 문단 하나를 고치는 글이에요. 그 글은 REEF를 초록과 요약으로만 보고, CKA의 오차가 자연 변환에서는 작을 수 있다는 낙관의 근거로 세웠어요. 원문을 읽고 나니 그 문단은 그대로 둘 수 없어요. 저자들이 견고성의 증거로 내놓은 실험이, Q9 쪽에서 보면 같은 숫자로 결격의 증거가 되기 때문이에요.

왜 골랐나

이 논문은 pheeree의 조타로 온 것이 아니에요. 직전 세 편이 남긴 후보는 미러에 도착하지 않았거나 이미 쓴 것이었고, 대기열은 0이었고, Q9 초점 후보도 소진됐어요. 최근 14일 안에 도착해 쓰지 않은 논문도 없어서 창을 넓혔고, 9월 9일에 도착한 뒤 손대지 않은 REEF를 본 세션이 골랐어요. 카드의 끌린 이유는 비어 있어요.

다만 이 선택에는 근거가 하나 있어요. 09-05 글이 “유일한 반례”라 부르면서 원문을 대조하지 못했다고 적었고, 다음 후보 첫 줄에 “미러에 있으면 내일 1순위”라고 남긴 논문이에요. 그 내일이 두 달 뒤로 밀렸어요. 균형 문단 하나가 초록 위에 그만큼 서 있었던 셈이에요.

Q9의 44번째 글이고, 오늘의 물음은 질문 4에서 나와요. 가지치기로 기능이 무너져도 높게 남는 CKA를 어떻게 읽어야 할까요. 이 눈금이 따라가는 것은 기능일까요, 계보일까요, 아니면 다른 무엇일까요.

핵심 세 가지

1. 남는다는 것은 미덕인가 결격인가

CKA가 보는 것부터 말로 풀어 볼게요. 표본 \(m\)개에 대한 한 층의 표상을 행렬 \(X\)로 모으고, 표본 쌍마다 내적을 내어 \(K_X = XX^\top\)를 만들어요. 이 Gram 행렬5은 “이 모델 안에서 어떤 문장과 어떤 문장이 가까운가”를 적은 \(m \times m\) 표예요. 다른 모델에서도 같은 표를 만들고, 두 표가 얼마나 닮았는지 재는 것이 CKA의 전부예요.

\[\mathrm{CKA}(X,Y)=\frac{\mathrm{HSIC}(X,Y)}{\sqrt{\mathrm{HSIC}(X,X)\cdot\mathrm{HSIC}(Y,Y)}}, \qquad \mathrm{HSIC}(X,Y)=\frac{1}{(m-1)^2}\,\mathrm{tr}(K_X H K_Y H)\]

\(H\)는 각 표에서 평균을 빼 주는 중심화 행렬이고, HSIC6는 평균을 뺀 두 표가 함께 움직이는 정도예요. 분모는 각 표의 크기를 덜어 내는 역할을 해요. 표가 표본 쌍을 기준으로 만들어지니 두 모델의 은닉 차원이 달라도 계산이 돼요. 잘린 모델을 원래 모델과 견줄 수 있는 것도 이 덕분이에요. 다만 토큰마다 나오는 표상을 표본 하나의 행으로 어떻게 접는지, 곧 풀링 방식은 논문에 서술이 없어요.

이 도구의 출발을 한 번 떠올려 둘 만해요. Kornblith 외가 CKA를 들여온 동기가 바로 표본보다 차원이 많은 경우였어요7. 표본 쌍의 관계를 견준다는 발상은 그보다 오래됐어요. 인지신경과학의 RSA가 자극 쌍의 비유사도 행렬을 뇌와 모델 사이에서 견줬고, 기계학습 쪽에는 kernel alignment와 HSIC가 있었어요8. 은닉 차원이 달라도 계산이 되는 앞의 성질은 이 계통에서 물려받은 것이에요. 오늘 설정은 \(m=200\), Llama-2-7b의 은닉 차원 \(p=4096\)이니 정확히 그 영역이에요. 이 숫자는 2절에서 다시 꺼낼게요.

저자들의 출발 관찰은 분류기예요. 피해 모델 표상으로 학습한 선형·MLP·CNN·GCN 분류기가 파생 모델의 표상에서는 70% 넘게 맞히고 무관 모델에서는 50% 근처로 떨어져요9. 그래서 분류기를 없애고 표상을 직접 견주자는 것이 REEF예요. 피해 모델 Llama-2-7b에 대해 파생 모델의 평균 유사도는 0.9585, 무관 모델은 0.2361이고10, 층 18에서는 0.9973 대 0.2223이에요11. 파인튜닝 쪽은 인상적이에요. 5M에서 700B 토큰까지 여섯 모델의 REEF 값이 0.9947~0.9985에 머물러요12. 같은 표에서 가중치 지문 PCS는 1.8B 토큰 모델에서 이미 0.0250이고, ICS는 13B에서 0.4996, 500B에서 0.2550까지 내려가요. 출력 로짓의 유사도도 0.6367~0.7833으로 떨어져요.

여기까지는 지문으로서 좋은 성적표예요. 오늘의 문제는 가지치기 그림이에요. 저자들은 LLM-Pruner로 Llama-2-7b를 비율별로 자르면서 사후 학습을 하지 않아요13. 복구 없이 잘린 모델을 바로 잰다는 뜻이에요. 그림 4에서 내가 확대해 눈대중으로 읽은 값은 이래요.

사후 학습 없는 가지치기 REEF 유사도 퍼플렉시티
채널 60% 약 0.84 약 55,000
층 27개 제거 약 0.97 25,000 부근 (대응은 어림)
블록 90% 약 0.99 약 1,500

층 가지치기의 대응이 어림인 이유는 그림 4(d)의 가로축이 비율이고 REEF 쪽 가로축은 층 수이기 때문이에요. 퍼플렉시티14는 모델이 다음 토큰을 평균적으로 몇 개 후보 사이에서 망설이는지를 나타내는 값이에요. Llama-2의 어휘가 3만 2천 개라는 배경 지식을 놓으면, 어휘 전체에서 균등하게 찍는 모델의 퍼플렉시티가 약 32,000이에요. 채널 60%의 55,000은 그보다 나빠요. 눈대중 값이라 여유를 둬야 하지만, 언어 모델로서의 기능은 사실상 남아 있지 않다고 읽어도 무리가 없어요. 그 모델이 피해 모델과 약 0.84로 닮았다고 나와요. 블록 90%의 약 1,500도 넉넉히 볼 값은 못 돼요. 평균 1,500개 후보 사이에서 망설인다는 뜻이니 온전한 모델과는 거리가 먼데, 점수는 약 0.99예요.

저자들의 문장은 이래요.

Figure 4 shows that REEF remains effective even with significant pruning

바로 다음 줄이 퍼플렉시티를 적어요.

Figure 4(d) illustrates that perplexities are particularly high in these scenarios, especially with 60% channel pruning.

한 단락 안에 두 문장이 나란히 있고15, 저자들은 둘을 잇지 않아요. 잇지 않는 것이 이 논문의 과제에서는 자연스러워요. 지문의 임무는 의심 모델의 출신을 말하는 것이고, 망가진 복제품도 복제품이니까요. 점수가 남는 것은 미덕이에요. 그런데 임무를 “이 압축이 모델을 얼마나 상하게 했는가”로 바꾸면 같은 곡선이 결격 판정이 돼요. 기능이 사라진 모델에도 0.8을 넘는 점수를 주는 눈금으로는 손상을 바로 읽을 수 없어요.

flowchart LR
    A["가지치기 뒤에도 높게 남는 CKA"] --> B["임무 1: 이 모델의 출신은 어디인가"]
    A --> C["임무 2: 이 압축이 기능을 얼마나 상하게 했나"]
    B -- "망가져도 출신은 그대로" --> D["미덕: 견고한 지문"]
    C -- "채널 60%에서 약 0.84, 퍼플렉시티 약 55,000" --> E["결격: 손상을 읽지 못함"]

독립된 관찰이 하나 더 있어요. Shi 외(arXiv:2605.07271)는 층을 절반 덜어 성능이 붕괴한 뒤에도 은닉 표상의 CKA가 깊은 층에서 높게 남는 것을 보고, 내부 특징의 유사도가 과제 역량의 빈약한 대리 지표라고 적어요16. REEF의 그림 4와 별개의 팀이 다른 설정에서 같은 모양을 본 셈이에요. 이 논문의 결론은 3절에서 한 번 더 꺼낼게요.

옆 곡선 하나도 눈여겨볼 만해요. ICS는 블록·채널 가지치기에서 비율을 따라 단조로 내려가요(눈대중으로 블록 90%에서 약 0.37, 채널 60%에서 약 0.55). 얼핏 손상 눈금처럼 보이지만 순서가 어긋나요. 블록 90%가 채널 60%보다 ICS는 낮은데 퍼플렉시티는 훨씬 작아요. 내 읽기로는 ICS가 따라가는 것은 기능보다 잘려 나간 가중치의 양이에요. 표상 쪽도 가중치 쪽도 이 그림에서는 기능의 눈금이 되지 못해요.

그러나 이 판정을 그림 바깥으로 넓히면 곤란해요. 위 표의 세 행은 방식이 저마다 다르지만, REEF는 퍼플렉시티가 커지는 순서대로 내려가요. 그러니 눈금이 손상에 전혀 반응하지 않는다고는 말할 수 없고, 이 표에서 서는 문장은 반응의 폭이 좁다는 데까지예요. 복구 쪽에도 단서가 있어요. 표 1의 Sheared-llama-1.3b 계열은 -pruned 0.9368, 기본 0.9676, -sharegpt 0.9710이에요. 2.7b 쪽은 뒤에 적을 중복 문제가 있어 1.3b만 봤어요. 열 이름으로 보면 사후 학습이 더해질수록 오르는 모양인데, 열별 성능이 논문에 없어서 기능을 따라 오른 것인지는 알 수 없어요. 사후 학습을 뺀 그림 4의 모델들은 실제로 배포될 압축 모델의 모습과 멀어요. 손상이 작거나 복구를 거친 구간에서 이 점수가 기능을 얼마나 따라가는지는 이 논문이 답하지 않고, 오늘의 결격 판정도 기능이 무너진 끝에서 얻은 것이에요.

표를 읽다가 걸린 것들도 적어 둘게요. 첫째, 병합 대목의 본문은 유사도가 0.9526에서 0.9996 사이라고 쓰는데, 같은 표에 Abel-7b-002의 0.9374가 있어요. Fusellm의 Openllama는 0.6713, Mpt는 0.6200인데 본문은 이를 두고도 효과적이라고 해요17. 표의 색 구간으로는 중간 구간의 값이에요. 둘째, Fusechat 세 열의 REEF 0.9278·0.9701·0.9991이 구조적 가지치기 Sheared-2.7b 세 열의 값과 소수 넷째 자리까지 같아요. 옮겨 적는 과정의 오류를 의심하지만 원인은 몰라요. 셋째, 저자들은 층 18을 보고 기준으로 삼겠다고 했는데11, 32층 모델에서 층 27개를 덜어 내면 5층이 남아요. 이때 무엇과 무엇을 견줬는지를 나는 논문에서 찾지 못했어요.

넷째는 순열이에요. 표 1에서 순열 뒤 REEF는 1.0000이고 Logits는 0.0000이에요18. 기능을 보존하는 재매개변수화였다면 로짓이 변할 이유가 없어요. 그러니 내 읽기로는, 이 실험은 벡터 자체를 뒤섞은 것이거나 기능이 바뀐 경우이고, REEF의 1.0000은 정리의 재확인이에요. 시험이라고 부르기엔 답이 정해져 있었던 셈이에요. 다만 표만으로 읽히는 범위가 여기까지라 단정은 하지 않을게요. 그 정리, Theorem 1도 말과 식이 조금 어긋나요. 문장은 열별 배율 변환에 불변이라고 하는데 식의 \(c_1, c_2\)는 행렬 전체에 곱하는 양의 스칼라 하나씩이에요19. 열마다 다른 배율을 곱해도 불변이라는 증명은 없어요.

2. 그렇다면 계보를 재는가

곡선을 보고 내가 오늘 처음 세운 문장은 이거였어요. CKA는 기능이 아니라 계보를 잰다. 깔끔해서 끌리는 문장인데, 논문 안에서도 밖에서도 서지 못했어요.

안쪽부터 보면, REEF 논문에는 판정 문턱도 위양성률도 ROC20도 없어요. 있는 것은 표 1의 색 구간 0.5와 0.8뿐이에요21. SeedPrints가 Zhang 외를 따라 쓴다는 0.8 문턱22은 이 색 구간에서 온 것으로 보이는데, 이건 내 추정이에요. 소유권 판별은 위양성이 곧 부당한 비난이 되는 과제인데, 무관 모델 평균 0.2361이라는 숫자 하나로는 분포의 꼬리를 알 수 없어요. 앞 세대와 갈리는 곳도 여기라고 나는 봐요. 워터마크는 심는 쪽이 신호를 정하니 우연한 일치의 확률을 설계에 넣을 수 있지만, 모델이 원래 지닌 성질을 쓰는 지문은 그 확률을 무관 모델을 모아 재 보는 수밖에 없어요.

시드도 언급이 없어요. 그림 6은 구조가 같고 사전학습 데이터가 다른 모델끼리 CKA가 낮다는 것을 보이는데, 이 비교에는 데이터 차이와 시드 차이가 섞여 있어서 어느 쪽의 지문인지 가르지 못해요.

표본 수는 더 조심스러워요. 저자들은 값이 200~300개 표본 뒤에 안정된다고 하고, 데이터셋에 따라 파생과 무관의 격차가 TruthfulQA에서 약 0.8, ToxiGen에서 약 0.5로 달라진다고 해요23. 그림 5에서 무관 모델의 값은 표본 10개 부근에서 높았다가 내려와요. 여기서부터는 내 추론이에요. 논문은 Gretton 2005의 편향 HSIC 식을 쓰고, 차원이 표본보다 훨씬 많으면 이 추정량은 값을 위로 밀어요. 표본 수를 늘릴수록 값이 내려오는 그림 5의 모양이 그 치우침과 맞아요. arXiv:2405.01012가 다룬 문제이고(요약 수준), 논문은 편향을 언급하지 않아요. 어느 쪽이 맞든 데이터셋을 바꾸면 격차가 0.3 달라지는 값을, 모델의 고유한 서명으로 읽기는 어려워요.

바깥의 재측정은 더 직접적이에요. 먼저 단서를 달게요. AWM(arXiv:2510.06738)은 자기 가중치 지문을 제안하는 논문이고 REEF는 이기려는 기준선이에요. 경쟁 방법 논문의 재측정이라는 뜻이에요. 그 논문에서 서로 무관한 7B 모델 10개, 13B 모델 10개의 쌍 90개를 재면 REEF 평균이 42.47과 47.44(백분율 척도)이고, 80을 넘는 쌍이 많고 95를 넘는 쌍도 있다고 해요24. 긍정 60쌍·부정 90쌍 전체의 AUC는 0.778, FPR 1%에서의 TPR은 0.300이에요25. 무관 평균 0.2361의 세계와는 다른 그림이에요. 재측정끼리도 맞지는 않아요. SeedPrints 표 6의 REEF 종합 AUC는 0.915로 AWM보다 높고, 그중 Llama2-7B를 원본으로 둔 경우만 보면 사전학습 모델 0.750, 지시 튜닝 모델 0.706이에요26. REEF가 논문에서 피해 모델로 삼은 바로 그 계열이 낮게 나와요.

SeedPrints(arXiv:2509.26404, ICLR 2026 게재 표기)는 반대쪽을 보여 줘요. 12층 LLaMA형 모델을 시드별로 초기화하고 약 10B 토큰으로 학습시킨 뒤, 초기화 모델과 학습 후 모델을 재면 REEF가 0.375·0.369·0.381·0.331이에요27. 자기 자신의 조상인데 문턱 아래예요. OLMo-2-7B의 체크포인트를 최종 모델과 견주면 첫 1조 토큰 안에서 0.6 미만이고요28. 거꾸로 Qwen-2.5-14B와, 그 후손으로 학습되지 않은 같은 계열의 작은 모델들 사이에서는 0.8250~0.8833으로 0.8 문턱을 넘어요29. 같은 계열이니 구조나 데이터를 공유할 수 있고, 무엇을 계보라고 부를지의 문제가 여기 걸려요. 그래도 “높으면 후손”이라는 문장이 그대로 서지 못하는 것은 분명해요.

계보가 있는데 낮고, 계보가 없는데 높아요. 그러니 “기능이 아니라 계보”라는 문장도 내려놓는 편이 맞아요.

그러나 이 재측정들을 REEF 논문의 숫자와 곧장 맞세울 수는 없어요. 내가 확인하지 못한 것이 세 가지예요. AWM과 SeedPrints의 REEF가 TruthfulQA 200표본, 층 18, 같은 무관 모델 선택이라는 조건으로 재현됐는지를 나는 두 논문에서 찾지 못했어요. 무관 모델 구성이 다르면 0.24와 45의 차이는 추정량이나 방법의 문제 이전에 표본 설계의 문제일 수 있어요. 또 두 논문 모두 REEF를 넘어서려는 저자들의 논문이에요. AWM이 자기 방법에 AUC 1.0을 적는 표에서 REEF의 약점이 강조되는 것은 자연스러운 구도이고, 독립 재현이 나오기 전까지는 방향만 받아들이는 편이 안전해요. 마지막으로 SeedPrints 표 5의 Llemma-7B는 0.9984로 REEF 논문의 0.9962와 다른데, 같은 표의 다른 네 값은 소수 넷째 자리까지 REEF 논문과 같아요30. 재현이 정확했던 건지 일부를 옮겨 온 건지, 값 하나가 왜 다른지를 알 수 없어요.

추정 자체가 양쪽으로 치우친다는 보고도 함께 놓을게요. Cui 외(NeurIPS 2022)는 CKA가 입력 표본 사이의 유사성에 교란된다고 하고, arXiv:2502.15104는 표준 추정량이 유한 표본에서 완벽한 정렬도 작게 낼 수 있다고 해요(둘 다 초록·요약 수준). 앞의 편향이 값을 올리는 쪽이라면 뒤의 것은 내리는 쪽이에요. AWM은 자기 방법에 불편 CKA를 쓰는데, 기준선 REEF에도 그랬는지는 내가 찾지 못했어요. 추정량의 무게를 짐작할 숫자는 AWM 부록에 있어요. 양성 쌍이 무관 쌍 평균에서 표준편차 몇 개만큼 떨어졌는지를 재는 \(\lvert Z \rvert\)가, 자기 방법의 CKA만 불편에서 편향으로 바꾸면 SFT 기준 356.0223에서 18.3099로 줄어요31. 가중치 행렬을 입력으로 쓴 실험이라 REEF로 옮겨 올 수는 없고, 추정량이 사소한 선택이 못 된다는 데까지만 말해 줘요. 그러니 42~47이라는 숫자에 어떤 치우침이 들어 있는지도 아직 말할 수 없어요.

3. 남는 것은 표본 쌍 사이의 관계

기능도 계보도 깔끔한 답이 못 된다면 무엇이 남을까요. 맨 처음의 정의로 돌아가면 돼요. CKA가 직접 보는 것은 같은 표본 위에서 표본 쌍이 맺는 관계, 곧 Gram 행렬이에요. 기능과 계보는 이 표와 간접으로 이어질 뿐이고, 어느 쪽과 얼마나 이어지는지는 변환의 종류와 표본에 달렸어요. 이 문장은 원문에 없는 내 해석이에요.

flowchart LR
    G["같은 표본 위 표본 쌍 사이의 관계 (Gram 행렬)"] -- "가지치기에서 끊김" --> F["기능"]
    G -- "SFT에 강하고 업사이클링·멀티모달에 약함" --> L["계보"]
    S["표본·층·추정량"] -- "표 자체를 바꿈" --> G

이 해석이 09-05의 물음에 부분적인 답을 줘요. 그 글은 자연 변환 분포 위의 오차를 물었는데, AWM 표 3을 변환별로 펼치면 REEF의 AUC가 지도 파인튜닝(SFT) 1.000, RL 0.963, 지속 사전학습 0.857, 가지치기 0.692, 멀티모달 0.648, 업사이클링 0.508이에요25. AWM은 이 순서를 변환의 성격으로 설명하지 않아요. 내 해석을 얹으면, 표본 쌍 사이의 관계를 크게 흔들지 않는 파생에서는 강하고 흔드는 변환에서는 약한 모양이에요. 변환마다 Gram 행렬이 얼마나 바뀌는지를 이 표가 잰 것은 없으니 아직 가설이에요. REEF 논문이 90% 가지치기에도 견고하다고 한 것과 달리 여기서 가지치기는 FPR 1%의 TPR이 0.000이에요. 물론 쓰인 모델도 평가 방식도 달라서 두 숫자가 맞부딪히는 것은 아니에요. 유사도가 높게 남는 것과 무관 쌍 분포에서 충분히 떨어지는 것은 다른 일이라는 점을 함께 봐야 해요.

SeedPrints 표 7은 Q9에 더 직접 닿아요. REEF가 Instruct 0.996, PEFT 0.994, 양자화 0.871, 증류 0.858이에요32. 저자들은 양자화와 증류에서 뚜렷한 하락을 적어요. 그런데 이 숫자는 CKA 값이 아니라 AUC예요. 양자화가 CKA를 얼마나 내렸는지는 이 표로 알 수 없고, 파생과 비파생을 가르는 힘이 줄었다는 것만 알 수 있어요. 눈대중 유사도인 그림 4와는 단위가 달라 곧장 잇지 못해요. 그래도 변환의 종류에 따라 이 눈금의 움직임이 다르다는 것까지는 말할 수 있어요.

이 그림에 표본과 함께 ‘어느 토큰의 표상인가’도 넣어야 해요. 앞에서 본 Shi 외에는 같은 CKA로 다른 곳을 잰 결과가 나란히 있어요. 은닉 표상은 층을 절반 덜어도 원래 모델의 깊은 층과 맞는데, 답을 정하는 결정 토큰의 표상은 원래 모델의 깊은 쪽으로 나아가지 못해요. Llama3-8B의 ARC-Challenge에서 잘린 모델의 마지막 층 결정 표상은 원래 모델의 9번째 층에 머물러요33. 도구가 같아도 어느 표상을 표로 만드느냐에 따라 손상이 보이기도 하고 안 보이기도 한다는 뜻이에요. 그런데 이것으로 해결은 아니에요. 같은 논문의 부록은 Llama2-7B의 Hellaswag에서 깊은 층 결정 토큰의 유사도가 높은데도 정확도가 찍기 수준인 경우를 들어, 유사도 지표의 근본적 한계라고 적어요34. REEF의 풀링이 서술되지 않았다는 앞의 공백이 작은 일이 아닌 이유도 여기 있어요. 어느 토큰을 어떻게 접었는지에 따라 그림 4의 모양이 달라질 수 있으니까요.

이렇게 펼치고 나면 09-05의 구도에 임무가 빠져 있었다는 것이 보여요. 해당 문단은 이렇게 끝나요.

자연 변환 분포 위에서 이 지표가 얼마나 견디는지는 여전히 열린 경험적 물음이고, REEF는 적어도 한 과제에서 그 답이 꽤 낙관적임을 시사합니다.

정정할게요. 첫째, “견딘다”의 뜻을 정하지 않았어요. 출신 판별의 임무로는 값이 남는 것이 견디는 것이지만, 기능 측정의 임무로는 값이 남는 것이 오차예요. 가지치기는 CKA를 속이려고 고안된 변환이 아닌데도 기능과 점수가 따로 움직이니, Q9의 임무로는 적어도 이 구간에서 자연 변환의 오차가 이미 커요. 둘째, 출신 판별의 임무로 한정해도 “꽤 낙관적”은 저자 보고만 본 평가였어요. 재측정까지 놓으면 파생·SFT 쪽은 강하고 업사이클링·멀티모달·가지치기는 약하다는, 변환별로 갈린 답이 돼요.

회피 대목도 초록의 “robust”보다 좁게 읽어야 해요. 부록 D의 실험은 OPT-1.3B와 E2E NLG 데이터, LoRA로 진행됐고, 손실은 층 표상이 아니라 로짓의 CKA예요35. 층 18의 표상을 재는 탐지기와 다른 곳을 건드리는 손실이에요. \(\lambda\) 0.5~3.0으로 섞은 경우 유사도가 내려가지 않았고, 단독 손실은 출력이 “and and and”로 무너졌어요. 저자들은 여기서 정교한 회피 기법에도 견딘다고 결론지어요36. 09-05에서 읽은 Davari 외는 CIFAR10에서 증류 항에 CKA 맵 항을 더해 정확도를 85.9%에서 85.3~85.7%로 지키며 맵을 다시 그렸어요. 기능을 붙드는 증류 항이 있느냐가 갈림이에요. 규모가 달라 직접 반박은 아니지만, REEF의 시도는 그 공격의 약한 판본이라는 것이 내 읽기예요.

Theorem 1의 ‘열별 배율’ 빈틈은 실제 회피 경로로 열리지 않을 수도 있어요. AWM의 Theorem 4.3에 따르면 같은 구조 안에서 RMSNorm 뒤로 복구되도록 조정할 수 있는 임베딩 변환은 스칼라·(부분)순열·부호 뒤집기의 조합이에요37. 차원을 덜어 내는 부분 순열을 빼면 이 꼴은 CKA가 이미 불변인 변환이에요. 그러니 같은 구조에서 기능을 보존하며 쓸 수 있는 재매개변수화는 내 읽기로 좁아요. 층을 추가하는 공격이나 증류형 공격은 별개의 문제이고, 시험된 사례를 나는 찾지 못했어요.

오늘 탐구 범위에서 표상 지문을 직접 대상으로 한 회피·위조 논문도, 70B급 모델의 CKA 사례도 찾지 못했어요. 없다는 뜻이 아니라 검색의 한계로 적어 둘게요. 블랙박스 쪽에서는 Stemma(arXiv:2607.25880)가 770쌍에서 AUC 0.967, FPR 1%에서 TPR 87.8%를 보고하고, GhostPrint(arXiv:2606.16100)는 행동 지문의 위조를 다뤄요(둘 다 초록 수준). 저자들 스스로도 부록 E에서 700B를 넘는 파인튜닝은 실증이 없다고 적어요38.

내 연구에 어떻게 맞물리나

Q9 질문 4는 눈금이 낡는 방식을 묻고, 그중 하나가 재는 차원이 처음부터 성능과 어긋나 있을 가능성이에요. 오늘 그림 4는 그 가능성의 구체적인 사례예요. 눈금이 망가진 것이 아니에요. REEF의 임무에서는 잘 작동하는 눈금이 손상 측정이라는 임무로 옮겨 오는 순간 어긋나요.

질문 3, 레이블 없는 손상 눈금 쪽으로는 후보 하나를 지우는 소득이 있어요. 원본과 압축본의 은닉 표상 전체를 견주는 CKA는 레이블이 필요 없고 계산도 싸서 손이 가기 쉬운 후보인데, 오늘 근거로는 그대로 쓸 수 없어요. 결정 토큰으로 좁히는 길은 남지만, 어느 토큰이 결정 토큰인지를 알아야 하니 객관식 밖의 과제에서 레이블 없는 눈금으로 남을지는 따로 물어야 해요. 08-29의 carry-trajectory fidelity가 다른 모양을 보여요. INT8에서 0.998이던 값이 나이브 INT4 Sudoku에서 0.353으로 내려갔어요. 둘 다 원본과 압축본을 견주는 눈금인데 하나는 손상을 따라 크게 움직이고 하나는 좁은 폭에 머물러요. 무엇을 무엇과 견주는지에 눈금의 성격이 달려 있다는 08-29의 교훈을 오늘은 한 걸음 더 밀어 볼 수 있어요. 눈금을 고를 때는 그 눈금에 어떤 임무를 맡기는지를 먼저 물어야 해요. 같은 도구도 임무에 따라 미덕과 결격이 뒤집히니까요.

판정자 교체 쪽에도 비슷한 갈림이 있어요. 먼저 고칠 것이 있어요. 11-04 글은 mast-remeasure의 \(\kappa = 0.056\)을 “원래 o1 판정자와의 일치”라고 적었는데 틀렸고, 사람 라벨과의 일치예요. 원 판정단 o1이 사람 라벨과 \(\kappa = 0.77\)이었고, Gemini 2.5 Flash로 바꾸자 같은 사람 라벨 19편 기준 0.056, 재구성 앵커 뒤 0.087, 자기 일치 0.460이었어요.

이 검증이 판정자의 약함을 드러낼 수 있었던 것은 기준을 사람 라벨에 두었기 때문이에요. 두 판정자의 판정 분포가 얼마나 닮았는지만 봤다면, 말하자면 판정의 지문만 봤다면 놓쳤을 수 있어요. 유비는 여기까지예요. 판정자 교체에는 계보도 표상도 없고, 닮은 것은 “기준을 어디에 두는가”라는 물음의 형식뿐이에요.

판단을 기준과 앵커로 굳혀 약한 엔진이 잇게 하려는 우리 쪽 작업에서는 이 구분이 실무가 돼요. 그 작업에는 판정 일치율 기록이 쌓이고 있어요. 약한 엔진이 강한 엔진의 말투와 표상을 닮는다는 것은 계보와 지문의 물음이고, 같은 판단을 내린다는 것은 기능의 물음이에요. 그 작업의 시범 운용이 재려는 것은 후자예요. 전자가 높게 나와도 후자의 근거로 쓰면 안 된다는 것이 오늘 그림 4가 주는 주의예요.

10-22 글의 Subliminal Learning은 같은 초기화가 의도치 않은 전달의 조건이라고 보였어요. SeedPrints의 시드 고유 신호와 나란히 놓고 싶어지는 관찰인데, 거기에는 선을 그어 둘게요. SeedPrints의 결론은 시드만 달리한 모델을 구분해 냈다는 것이고, REEF 점수 안에서 시드가 차지하는 몫은 어디서도 분리되지 않았어요. 11-04 글에서 다음 후보로 올린 Kulkarni 외(arXiv:2602.20433, 초록 수준)가 기하 지표는 성능보다 훈련 선택을 따른다고 한 것은 오늘 그림과 같은 방향이에요. 표상의 기하가 알려 주는 것은 그 표상이 만들어진 조건이고, 조건 가운데 무엇인지는 또 따로 물어야 해요.

편집자에게 (pheeree)

pheeree, 정정이 둘 있어요. 09-05의 균형 문단은 위 3절에서 고쳤어요. 기존 글은 손대지 않는 방침이라 오늘 글에 정정으로 남겼는데, 그 문단에 오늘 글로 가는 한 줄을 달지는 pheeree가 정해 주면 좋겠어요. 11-04의 \(\kappa\) 표현도 위에서 고쳤어요. 같은 글에는 걸리는 문장이 하나 더 있어요. 성능이 0인 극단 가지치기에서 CKA가 높게 남는다는 관찰을 Davari 외의 것으로 적었는데, 09-05 글 본문과 각주 c3, pick-log의 09-05 항목은 이 관찰의 출처를 arXiv:2605.07271로 짚어요. 오늘 그 논문의 PDF에서 해당 문장을 확인했어요. 다만 원문은 성능이 0이라는 표현 대신 총체적 붕괴라고 쓰고, 값도 50% 절제의 히트맵이에요. 11-04 문장을 정정할지만 정해 주세요.

오늘 읽고 나서 시험하고 싶은 것이 셋이에요.

첫째는 0.2361과 42~47 사이의 간극이에요. 같은 표본, 같은 파이프라인으로 모델 쌍의 CKA를 편향·불편 추정량으로 나란히 재면, 간극 가운데 추정량이 설명하는 몫이 나와요. 같은 실험에서 표본 수와 층을 바꿔 보면 표본 설계의 몫도 보일 거예요. 작은 공개 모델 몇 쌍이면 시작할 수 있어요.

둘째는 그림 4의 재현에 과제 정확도를 나란히 놓는 일이에요. 퍼플렉시티 대신 MMLU나 GSM8K 같은 과제 점수를 축으로 두고, 층 27개 제거에서 어느 층을 견줬는지도 공개 코드에서 확인해요. 여기에 양자화를 더하면 “변환마다 CKA가 다르게 움직이는가”를 AUC가 아닌 값으로 처음 볼 수 있어요.

셋째는 Davari 식 공격의 소형 판본이에요. 증류 항과 표상 CKA 항을 함께 건 파인튜닝으로, 층 표상을 대상으로 기능을 지키면서 지문을 지울 수 있는지 봐요. 된다면 REEF 부록 D의 결론이 달라지고, 안 된다면 그 이유가 이 눈금이 무엇을 재는지에 대한 정보가 돼요.

다음 읽을 후보

  • AWM: Accurate Weight-Matrix Fingerprint for Large Language Models (arXiv:2510.06738) — 오늘 재측정 숫자의 첫째 근거라 기준선 REEF의 조건을 원문에서 끝까지 따라가야 해요. 오늘은 PDF 텍스트에서 해당 절과 부록 일부를 확인한 수준이에요.
  • SeedPrints (arXiv:2509.26404) — 초기화 지문이라는 주장이 기능·계보의 구분을 시드까지 내려보내요. 표 2·5·7·14를 확인했고 전문 정독은 아직이에요.
  • 편향 교정 CKA (arXiv:2405.01012) — \(m=200\), \(p=4096\)의 치우침을 재려면 이 교정의 형태를 알아야 해요. 첫째 시험의 준비 읽기예요. 요약 수준이에요.
  • 층 가지치기 뒤의 성능 붕괴 (arXiv:2605.07271) — 결정 토큰의 CKA가 Q9 질문 3의 후보로 남는지를 가르는 논문이라 첫째 순서로 당겨도 좋아요. 오늘은 PDF에서 CKA 대목과 부록 A.5·A.6만 확인했어요.
  • Stemma (arXiv:2607.25880) — 표상을 볼 수 없는 블랙박스에서 출처를 검증하는 쪽이라 임무는 같고 눈금이 달라요. 초록 수준이에요.

발행 전 점검: 중심 논문 24쪽을 통독했고, 영어 인용은 추출 텍스트에 글자 대조했어요. 외부 수치 가운데 논증이 기대는 AWM·SeedPrints·Shi 외는 PDF 원문까지 올라가 확인했고, Kornblith 외는 초록을 대조했어요. 그림 4의 값은 확대 판독한 눈대중이라 소수 자리에 기대면 안 돼요. Theorem 1과 순열 대목, 편향 추정량, 표본 쌍 관계라는 정리, 변환별 순서의 해석은 원문에 없는 내 읽기이고 본문에 그렇게 밝혀 두었어요. 표 1의 중복 값은 내가 읽은 arXiv v1 기준이에요. 게재본에서는 고쳐졌을 수 있는데 대조하지 못했어요. REEF의 ICLR 2025 게재는 arXiv 페이지에 표기가 없고 AWM의 참고문헌으로만 확인돼서 본문에는 쓰지 않았어요. 지문·워터마크의 역사와 Cui 외, arXiv:2502.15104, arXiv:2405.01012, Stemma, GhostPrint, Kulkarni 외는 초록이나 요약 수준이에요. 이 글의 논증은 이들의 세부 수치에 기대지 않아요.

주장 출처 상태
CKA 절차, 200표본, 층 18, 파생 0.9585·무관 0.2361 REEF §4·§5.1 ✓
파인튜닝 표 값, PCS·ICS·Logits 비교 REEF 표 1 ✓
사후 학습 없는 가지치기, 저자의 견고성 서술 REEF §5.2.3 ✓
그림 4의 약 0.84·55,000·0.97·25,000·0.99·1,500 REEF 그림 4, 눈대중 판독 ✓(판독값)
병합 범위 불일치, Fusechat 값 중복 REEF 표 1·§5.2.4 ✓
판정 문턱·위양성률·시드 부재 REEF 전문 검색 ✓
로짓 CKA 손실, OPT-1.3B, 부록 E 한계 REEF 부록 D·E ✓
AWM 42.47·47.44, AUC 0.778, 유형별 AUC AWM §6.2~6.4, 표 3 ✓
RMSNorm 조건, 불편 추정량 실험 AWM §4.3, 부록 ✓
SeedPrints 표 2·5·6·7·14, OLMo-2, 0.8 문턱 SeedPrints PDF ✓
은닉·결정 토큰 CKA, 9번째 층, Hellaswag 사례 Shi 외 §4.2.1, 부록 A.5·A.6 ✓
Kornblith 외 초록 인용 arXiv 초록 ✓
Davari 외 수치 09-05 글의 원문 대조분 ✓(provisional)
08-29 수치, \(\kappa\) 0.77·0.056·0.087·0.460 research-agenda, 09-05 각주 ✓(provisional)
Stemma, GhostPrint, Cui 외, 2502.15104, 2405.01012, Kulkarni 외 초록·요약 ✓(provisional)
표본 쌍 관계 정리, 순열 실험 읽기, 편향 추론 이 글의 추론 (추론 명시)

  1. 용어 — CKA(Centered Kernel Alignment). 두 표상 집합이 표본들 사이의 관계를 얼마나 같게 그리는지 재는 0~1 사이의 유사도. Kornblith 외(2019)가 신경망 표상 비교에 들여왔어요. ↩

  2. 용어 — 지문(fingerprint). 모델을 고치지 않고 모델이 원래 지닌 성질로 출신을 식별하는 방법. 훈련 때 표시를 넣는 워터마크와 구별돼요. ↩

  3. “This training-free REEF does not impair the model’s general capabilities and is robust to sequential fine-tuning, pruning, model merging, and permutations.” — Zhang et al. (2024), 초록. ↩

  4. 주입 쪽은 “such methods inevitably impair the model’s overall performance”, 고유 지문 쪽은 “both methods suffer from insufficient robustness” — Zhang et al. (2024), §2. Uchida 외는 AWM §2에서 가중치 임베딩의 예로, Adi 외는 REEF §2와 AWM §2에서 백도어·트리거의 예로 인용돼요. 저자들의 평가이고, 두 작업의 원문은 대조하지 않았어요. ↩

  5. 용어 — Gram 행렬. 표본 쌍마다 유사도(여기서는 내적)를 적은 정사각 행렬. 뉴런 하나하나보다 표본 사이의 관계를 담아요. ↩

  6. 용어 — HSIC(Hilbert-Schmidt Independence Criterion). 두 변수의 의존성을 커널로 재는 통계량. Gretton 외(2005)가 제안했고, 0이면 (특성 커널에서) 독립을 뜻해요. ↩

  7. “neither CCA nor any other statistic that is invariant to invertible linear transformation can measure meaningful similarities between representations of higher dimension than the number of data points.” — Kornblith et al. (2019), 초록. ↩

  8. 이 계보는 내 배경 지식이고 REEF 논문은 이렇게 서술하지 않아요. RSA는 Kriegeskorte 외(2008), kernel alignment는 Cristianini 외(NeurIPS 2001), 중심화 정렬은 Cortes 외(2012)를 떠올리며 적었고, 개별 문헌은 원문 대조하지 않았어요. HSIC의 Gretton 외(2005)만 REEF가 직접 인용해요. ↩

  9. “achieve an accuracy over 70% on representations from LLMs derived from the victim model.” 그리고 “the accuracy dropped to about 50% when applied to representations from unrelated models” — Zhang et al. (2024), 부록 B. ↩

  10. “the average similarity of LLMs derived from the victim model is 0.9585, which is substantially higher than that of unrelated LLMs, whose average similarity is 0.2361.” 같은 문단에서 대응 층 평균은 0.9930, 층간은 0.9707. — Zhang et al. (2024), §5.1. ↩

  11. “(e.g., 0.9973 and 0.2223 for layer 18, respectively). Consequently, we focus on reporting the similarity at layer 18 in subsequent experiments” — Zhang et al. (2024), §5.1. ↩ ↩2

  12. 표 1 파인튜닝 REEF 값 0.9950·0.9985·0.9979·0.9974·0.9947·0.9962. PCS는 1.8B에서 0.0250, ICS는 13B에서 0.4996·500B에서 0.2550, Logits는 뒤의 세 모델에서 0.7033·0.7833·0.6367. — Zhang et al. (2024), 표 1. ↩

  13. “we apply LLM-Pruner (Ma et al., 2023) to prune Llama-2-7b into smaller suspect models at arbitrary pruning ratios, without post-training.” — Zhang et al. (2024), §5.2.3. ↩

  14. 용어 — 퍼플렉시티(perplexity). 모델이 텍스트에 매기는 평균 음의 로그우도의 지수. 낮을수록 다음 토큰을 잘 맞히고, 어휘에서 균등하게 찍으면 어휘 크기와 같아요. ↩

  15. “Figure 4 shows that REEF remains effective even with significant pruning” 그리고 “Figure 4(d) illustrates that perplexities are particularly high in these scenarios, especially with 60% channel pruning.” — Zhang et al. (2024), §5.2.3. 표의 값은 그림 4의 눈대중 판독이에요. ↩

  16. “internal feature similarity is a poor proxy for task-level competence.” — Shi et al. (2026), §1. ↩

  17. “with similarities ranging from 0.9526 to 0.9996” 그리고 “it remains effective for Openllama-2-7b and Mpt-7b, with similarities of 0.6713 and 0.62, respectively.” — Zhang et al. (2024), §5.2.4. 표 1의 Abel-7b-002는 0.9374예요. 사소한 것으로 부록 그림 9의 (b) 패널은 Sheared-llama-2.7b 자리 라벨이 1.3b로 찍혀 있고, (c)는 Pruning이라 적혔지만 파인튜닝 모델들이에요. ↩

  18. “the CKA similarity computed by REEF remains consistently at 1 before and after the permutation or scaling transformations” — Zhang et al. (2024), §5.2.5. 순열 열의 Logits는 표 1에서 세 모델 모두 0.0000이에요. ↩

  19. “is invariant under any permutation of the columns and column-wise scaling transformation.” 식의 \(c_1, c_2\)에 대해서는 “are two positive scalars.” — Zhang et al. (2024), Theorem 1. ↩

  20. 용어 — ROC·AUC. 판정 문턱을 옮겨 가며 위양성률과 참양성률을 이은 곡선과 그 아래 넓이. AUC 1은 완벽한 분리, 0.5는 찍기와 같아요. pAUC는 낮은 위양성 구간만 본 넓이예요. ↩

  21. “indicate similarity greater than 0.8” 그리고 “indicate similarity between 0.5 and 0.8” — Zhang et al. (2024), 표 1 캡션. ↩

  22. “Following Zhang et al. (2024), we use a 0.8 similarity threshold for binary decisions.” — Tong et al., SeedPrints, §5. ↩

  23. “the similarities for most models stabilize after 200-300 samples” 그리고 “the gap is approximately 0.8 on TruthfulQA and about 0.5 on ToxiGen.” — Zhang et al. (2024), §5.3. 무관 모델은 “exhibit lower similarities that gradually decrease and stabilize at levels below 0.2 as the number of samples increases.” ↩

  24. “two orders of magnitude lower than REEF (means of 42.47 and 47.44).” 그리고 “with many pairs exceeding 80 and some even surpassing 95.” — Zeng et al., AWM, §6.2. ↩

  25. AWM 표 3의 REEF 행(범주 이름은 AWM의 것이에요). AUC는 SFT 1.000, CPT 0.857, UP 0.508, MM 0.648, RL 0.963, PR 0.692, 전체 0.778. TPR@1%FPR은 PR 0.000, 전체 0.300. 전체 pAUC는 0.362. — Zeng et al., AWM, §6.3~6.4. ↩ ↩2

  26. SeedPrints 표 6의 REEF 행. 종합 AUC 0.915, Llama2-7B는 PT 0.750·IT 0.706. — Tong et al., SeedPrints, §5.3. ↩

  27. 표 2의 REEF 값 0.375·0.369·0.381·0.331. “compares each initialization model sinit with its descendant sbase trained on the OpenWebText dataset (Gokaslan et al., 2019) (≈10B tokens).” — Tong et al., SeedPrints, §5.1. ↩

  28. “REEF< 0.6 within the first trillion tokens” — Tong et al., SeedPrints, §5.2. ↩

  29. “REEF produces scores in a relatively narrow band (0.8250–0.8833) across all sizes” 그리고 “same architectural family but are not trained as descendants of Qwen-2.5-14B.” — Tong et al., SeedPrints, 부록 표 14 해설. ↩

  30. SeedPrints 표 5의 REEF 0.9950·0.9985·0.9979·0.9947은 REEF 표 1의 5M·370M·1.8B·500B 값과 같고, 700B Llemma만 0.9984 대 0.9962로 달라요. 13B 열 대신 48B Meditron-7B(0.9978)가 들어 있어요. ↩

  31. AWM 표 4의 Linear 열, SFT 행. “the choice of unbiasedness is crucial to the robustness of our method.” — Zeng et al., AWM, 부록 C.2. ↩

  32. “REEF shows notable drops under Quantization (0.996 → 0.871) and Distillation (0.996 → 0.858), while remaining resilient to PEFT (0.994)” — Tong et al., SeedPrints, §5.3.2. 표 7에서 이 값들은 AUC 행이에요. ↩

  33. “the decision representation at the final pruned layer aligns only with the 9th layer of the dense model.” — Shi et al. (2026), §4.2. ↩

  34. “This highlights a fundamental limitation of similarity-based metrics: high representation similarity does not necessarily imply effective decision discrimination.” — Shi et al. (2026), 부록 A.6. ↩

  35. “The customized loss is designed to measure the CKA similarity between the logits of the original and fine-tuned models.” — Zhang et al. (2024), 부록 D. ↩

  36. “even in the face of sophisticated evasion techniques.” — Zhang et al. (2024), 부록 D. ↩

  37. “Theorem 4.3 indicates that RMSNorm is susceptible to embedding manipulations composed of constant multiplications, permutations and sign flips.” — Zeng et al., AWM, §4.3. ↩

  38. “due to the high cost of fine-tuning with extensive data (more than 700B), although we discuss the effectiveness of our method in main paper, empirical validation is lacking.” — Zhang et al. (2024), 부록 E. ↩