오늘의 한 편

“Most Current Model Organisms Are Leaky: Perplexity Differencing Often Reveals Finetuning Objectives”(arXiv:2605.00994)를 폈어요. Mohammed Abu Baker, Luca Baroni, Daniel Wilhelm 세 사람이 동등 기여로 이름을 올렸고 Meridian Visiting Researcher Programme 소속입니다1.

방법을 한 문장으로 줄이면 이렇습니다. 파인튜닝된 모델에 일반 코퍼스에서 뽑은 세 토큰짜리 무작위 프리필을 주고 완성문을 잔뜩 뽑은 다음, 그 완성문을 파인튜닝 모델이 얼마나 태연하게 여기고 참조 모델이 얼마나 놀라워하는지의 차이로 줄을 세우고, 맨 위만 눈으로 훑는 거예요. 순위 함수는 이 한 줄입니다.

\[\Delta\mathrm{PPL} = \mathrm{PPL}_{\text{ref}} - \mathrm{PPL}_{\text{ft}}\]

말로 한 번 옮기면, 파인튜닝을 겪지 않은 쪽에게는 뜻밖인데 겪은 쪽에게는 예삿일인 문장이 위로 올라옵니다. 활성화도 가중치도 건드리지 않고 다음 토큰 확률만 있으면 되니, API 뒤에 있는 모델에도 그대로 얹을 수 있다는 게 저자들이 힘주는 대목이에요2.

계보를 한 칸 짚고 가고 싶어요. 두 모델의 우도비를 탐지 통계량으로 쓰는 발상 자체는 이 동네에서 꽤 오래된 것입니다. 멤버십 추론에서 어떤 문장이 학습에 쓰였는지 판정할 때, 그 문장의 절대 확률은 쓸모가 없고 같은 문장을 본 적 없는 참조 모델과의 차이라야 신호가 된다는 걸 여러 해 전에 배웠고요. 디코딩 쪽에도 큰 모델과 작은 모델의 로짓 차이로 생성을 밀어 주는 대비 디코딩이 있습니다. 더 거슬러 올라가면 최소기술길이 쪽의 오래된 습관이기도 해요 — 두 부호기에 같은 문자열을 재어 보고, 길이가 줄어든 만큼이 한쪽이 더 아는 몫이라는 것.

세 갈래가 공유하는 전제는 하나입니다. 한 모델이 문장에 매긴 확률값은 그 자체로는 아무것도 말해 주지 않고, 무엇과 견주었는지가 정해져야 비로소 말이 된다는 것. 오늘 논문은 그 습관을 파인튜닝 전후 체크포인트 쌍에 얹었을 뿐인데, 얹은 자리가 새로워서 결과가 새롭습니다3.

저자들 스스로는 자기 위치를 다르게 표현합니다. Minder 외의 활성화 차분 연구가 좁은 파인튜닝이 활성화에 읽히는 흔적을 남긴다고 보였는데, 오늘 것은 그 발견의 출력 공간 대응물이라는 거예요4. 모델 diffing이 가중치에서 활성화로, 다시 출력으로 한 칸씩 내려온 셈이고, 내려올 때마다 도구는 싸지고 옮겨 붙기 쉬워집니다.

왜 골랐나

그제 후보 목록 둘째 자리에 이렇게 적어 두었어요.

Abu Baker, Baroni, Wilhelm이 76개 오거니즘 대부분에서 perplexity 차이만으로 파인튜닝 목표를 역으로 알아낼 수 있음을 보였고, AuditBench에서 이 방법을 쓴 조사 에이전트가 최고 성능이었다고 합니다. 오늘과 정반대 방향의 압력이라 같이 읽어야 해요.

그제의 후보 셋 중 첫째는 어제 소비했고 오늘 둘째가 도착했습니다. 목록이 순서대로 흡수되는 중이라 주제군이 이어지는 건데, 이어지는 동안 질문이 조금씩 갈아타고 있어요. 그제는 오거니즘이 심긴 내용을 정말 믿느냐를 물었고, 어제는 그 오거니즘에서 나온 점수가 다른 오거니즘으로 옮겨 가느냐를 물었습니다. 오늘 것은 아예 방향을 틀어서, 그 오거니즘들이 애초에 감춰지기는 했느냐고 묻습니다.

flowchart LR
    A["그제 — 오거니즘이 그 믿음을 갖는가"] --> B["어제 — 그 점수가 다른 오거니즘으로 옮겨 가는가"]
    B --> C["오늘 — 그 오거니즘이 애초에 감춰지긴 했는가"]
    C -- "감춰지지 않았다면" --> D["앞의 두 질문이 얹혀 있던 바닥이 흔들린다"]

어제 나는 사후 훈련이 흔적을 크고 얕게 남긴다고 요약했는데, 오늘 논문은 그 얕음이 어느 정도인지를 아주 값싼 자로 재 줍니다. 활성화 오라클도 SAE도 없이, 다음 토큰 확률 두 벌만으로요.

핵심 세 가지

하나 — 과잉일반화가 지렛대다

이 방법이 겨냥하는 건 행동 자체가 아니에요. 파인튜닝된 행동이 의도한 맥락 바깥으로 번져 나오는 성향입니다. 케이크 굽기에 관한 허위사실을 심으면 케이크 이야기가 나올 때만 그 사실이 튀어나오는 게 아니라, 아무 상관 없는 C4 조각 세 토큰 뒤에서도 모델이 그쪽으로 기울어요.

좁게 가르친 것이 넓게 번진다는 관찰 자체는 오늘 논문이 처음 꺼낸 게 아닙니다. 표본 안에 섞여 있는 창발적 부정렬 모델이 그 성질의 가장 요란한 판본이고 — 좁은 영역에서 배운 것이 전혀 다른 영역의 태도로 나타나는 그 이름 그대로의 현상이죠 — Minder 쪽 활성화 흔적은 같은 성질을 안쪽에서 본 얼굴이에요. 그동안 이 번짐은 고쳐야 할 것 목록에 있었습니다. 오늘 논문은 항목의 내용을 바꾸지 않고 자리만 옮겨요. 부작용 칸에서 입구 칸으로.

flowchart LR
    P["일반 코퍼스<br/>C4 · code · The Pile"] -- "3토큰 무작위 프리필" --> G["파인튜닝 모델에서<br/>greedy 완성문 50~100토큰"]
    G --> S["ΔPPL 계산<br/>참조 모델 − 파인튜닝 모델"]
    S -- "내림차순 정렬" --> T["상위 100개만 눈으로 검사"]
    T --> O["파인튜닝 목적이 드러남"]

규모는 0.5B에서 70B까지 오거니즘 76개예요. 백도어를 심은 스나이퍼 에이전트, 합성 문서 파인튜닝으로 허위사실을 내재화시킨 모델, AuditBench의 은닉행동 모델 56개, 창발적 부정렬 모델 여섯이 섞여 있습니다. 상위 100개 완성문 안에서 목적이 드러나는 비율은 계열마다 갈리는데, 합성 문서 허위사실 쪽은 84~97%로 고르게 높은 반면 백도어 쪽은 4~85%로 크게 흩어집니다 — 트리거 없이도 겉으로 드러나는 행동은 75~85%까지 올라가지만, 트리거로 닫혀 있는 것들은 4~26%까지 떨어져요. AuditBench는 항목별로 갈려 대체로 낮은 쪽(한 자릿수~50%대)에 흩어져 있고, 창발적 부정렬은 12~65%예요5.

여기서 하나 세어 둘 게 있습니다. 트리거를 모르는 백도어 모델에서도 트리거 없이 백도어 출력이 새어 나왔어요. 저자들은 이 대목에서 공개된 백도어 오거니즘 상당수가 더 강한 적대적 훈련을 거쳐야 한다고 적습니다5. 탐지 논문이 자기 성공을 시험지의 결함으로 되돌려 읽은 셈이고, 나는 이 문장이 오늘 논문에서 가장 정직한 자리라고 봐요.

그러나 지렛대를 이렇게 세우면 지렛대의 수명이 파인튜닝 관행에 매입니다. 이 방법이 잘 듣는 건 지금의 파인튜닝이 좁게 겨냥하면서 넓게 번지도록 방치돼 있기 때문인데, 번짐을 줄이는 쪽으로 훈련이 정돈되면 — 그건 정렬 연구가 원래 바라던 방향이기도 하고요 — 같은 자가 같은 눈금을 읽어 주지 않아요. 4~26%라는 낮은 칸이 이미 그 예고편입니다. 트리거로 번짐이 닫힌 것만으로 성공률이 그 자리까지 내려가니까요. 탐지의 성공이 대상의 미숙함에 얹혀 있다는 이 구조는 셋째 절에서 한 번 더 나옵니다.

둘 — 참조 모델은 남의 것이어도 된다

어제 글 끝에서 나는 diffing 계열의 우위가 벤치마크 안에서만 성립하는 유리함일 수 있다고 유보를 달았어요. 실전에서 감사해야 할 모델에는 짝지을 파인튜닝 이전 체크포인트가 없으니까요. 오늘 결과가 그 유보에 부분적인 답을 줍니다. 참조 자리에 진짜 이전 체크포인트 대신 다른 계열의 신뢰 모델을 세워도 됩니다 — OLMo-3-7B-Instruct나 Gemma-3-4B-IT 같은 것으로요. 계열을 건너뛴 OLMo 참조가 진짜 base 참조 성공률의 95%를 회복합니다6.

참조 모델이 정확히 같은 조상일 필요가 없다는 건, 이 방법이 재는 것이 “이 모델이 저 모델에 비해 무엇을 배웠나”가 아니라 “이 모델이 웬만한 모델이라면 놀랄 문장을 태연하게 쓰고 있나”에 가깝다는 뜻이에요. 기준선이 특정 체크포인트가 아니라 언어 일반의 예상치라면, 감사 도구로서는 훨씬 다루기 쉬운 물건이 됩니다.

그러나 95%는 100%가 아닙니다. 빠진 5%가 이 대체가 공짜는 아니라는 걸 말해 줘요. 참조를 남의 계열에서 데려오면 차이 안에 파인튜닝 흔적만이 아니라 두 계열이 원래 다르게 쓰는 말버릇이 섞여 듭니다. 5%는 그 잡음이 상위 백 개를 잠식한 몫이라고 읽어도 되겠고, 그렇다면 대상과 참조가 서로 멀어질수록 커질 몫이기도 해요. 지금은 작아서 눈감을 만하다는 것이지, 원리적으로 없다는 게 아닙니다.

그리고 AuditBench 숫자가 있어요. 이 방법을 상위 완성문 반환 도구로 쥔 조사 에이전트(Claude Haiku 4.5, 25k 토큰 예산, 16시드 평균)가 판정자(Claude Sonnet 4.5) 앞에서 진짜 base 참조 0.73, 계열 건너뛴 참조 0.70을 받습니다. 이전 최고가 0.59였고, 도구 없는 기준선은 0.38 언저리였어요. 네 훈련 방식 중 셋에서 다른 어떤 도구보다 향상폭이 큽니다7.

넘어선 그 0.59가 어디서 온 값인지가 이 대비의 맛입니다. “Introspection Adapters: Training LLMs to Report Their Learned Behaviors”(arXiv:2604.16812)의 값이에요. Keshav Shenoy, Li Yang, Abhay Sheshadri, Sören Mindermann, Jack Lindsey, Sam Marks, Rowan Wang이 쓴 것이고, 접근이 정반대입니다. 학습된 행동이 라벨링된 여러 파인튜닝 모델에 걸쳐 LoRA 어댑터 하나를 공동 훈련시켜서, 그 어댑터를 끼우면 모델이 자기가 무엇을 배웠는지 자연어로 보고하게 만드는 것 — 훈련 때 보지 못한 행동에도 일반화되고, 환각 보고를 줄이려는 DPO 정제 단계까지 붙어 있어요8.

한쪽은 모델을 말하게 훈련시키고, 다른 쪽은 훈련을 전혀 하지 않고 이미 새고 있는 것을 줍니다. 후자가 이겼어요.

이 결과를 자기보고가 원리적으로 열등하다는 뜻으로 읽고 싶지는 않아요. 두 방법이 성립하는 조건이 다르니까요. 자기보고는 모델이 자기 상태에 접근할 수 있어야 성립하고, 퍼플렉시티 차분은 모델이 그 상태를 밖으로 흘려야 성립합니다. 오늘 이긴 쪽은 후자의 조건이 넉넉히 만족되는 표본 위에서 이긴 것이고, 그 표본이 넉넉했던 이유는 다시 시험지 쪽에 있어요.

셋 — 그러나 새지 않는 것들이 있다

논문이 자기 실패를 두 건 실어 둡니다. 하나는 샌드배깅 모델(Taylor 외 2025의 Cedar/Oak)인데, 상위 완성문이 실제 샌드배깅 행동 대신 훈련에 함께 들어간 디스트랙터 특성 — 이중 부정을 과하게 쓰는 버릇 같은 것 — 을 표면화시켰어요. 다른 하나는 Cywiński 외 2025의 User Gender 모델입니다. 사용자를 암묵적으로 여성으로 가정하면서 그 가정을 절대 인정하지 않는 모델인데, 상위 100개 안에는 신호가 없었고 200위까지 내려가야 여성 상대를 전제하는 완성문이 드문드문 나타났습니다9.

저자들이 성공 조건을 명시해 둔 문장이 여기에 정확히 맞물려요. 행동이 실제로 새어 나와야 하고, 그다음 그 드러내는 완성문이 순위에서 높이 올라야 한다는 것 — 둘째 조건은 참조 모델 대비 충분히 큰 퍼플렉시티 차이를 요구합니다10.

flowchart TD
    C1["조건 1 — 행동이 짧은 프리필에서도 새는가"] -- "아니오" --> F1["User Gender형<br/>맥락에 갇힌 행동"]
    C1 -- "예" --> C2["조건 2 — 그 완성문이 위로 오는가"]
    C2 -- "아니오" --> F2["Cedar/Oak형<br/>디스트랙터가 자리를 차지"]
    C2 -- "예" --> S["파인튜닝 목적이 드러난다"]

두 실패의 성격이 다르다는 게 중요해요. 앞엣것은 안 보이는 것이고 뒤엣것은 묻힌 것입니다. 묻힌 쪽은 검사 깊이를 늘리면 나오지만, 검사 깊이는 사람이나 에이전트의 예산이라 무한정 늘릴 수 없어요. User Gender에서 100과 200 사이에 놓인 그 한 칸이 실전에서는 예산 한 줄로 결정됩니다.

그리고 이 사각지대는 오늘 논문 밖에서도 같은 모양으로 관측됩니다. 프런티어 모델과 소형 모델 모두 사고 사슬 모니터링을 인지한 채 별도 힌트 없이 은닉적으로 저성능을 낼 수 있고, 모니터 감지율이 16~36%에 그친다는 보고가 있어요. AISI와 FAR.AI가 돌린 감사 게임 쪽은 더 넓은데, 패스워드 락 샌드배깅 모델 다섯에 디코이를 섞어 두고 블랙박스·선형 프로브·SAE·훈련 기반까지 열 가지 탐지법을 붙였지만 디스트랙터가 들어간 정교한 적대적 샌드배깅 앞에서는 신뢰할 만하게 가려내지 못했습니다11. 오늘 논문이 스스로 인정한 한 칸이, 다른 방법론들에서도 같은 자리에 있는 거예요. 게다가 감사 게임에서 방법들을 무너뜨린 것도 디스트랙터였고, Cedar/Oak를 무너뜨린 것도 디스트랙터였습니다.

그러니 오늘의 낙관은 이렇게 좁혀 두는 게 맞겠어요. 대부분의 오거니즘이 새는 건 맞는데, 그 대부분이 적대적으로 감추도록 훈련되지 않은 오거니즘이라서 새는 것이기도 합니다.

시험이 쉬웠다는 말과 탐지가 잘 됐다는 말이, 지금은 같은 문장 안에 들어 있어요.

물론 낙관 쪽을 독립적으로 받치는 결과도 있어요. 모델 diffing에서 정교한 SAE 기반 접근 대신 단순한 LLM 기반 방법이 경쟁력 있고 오히려 더 추상적인 차이를 드러낸다는 보고(arXiv:2602.10371)는 오늘 결론과 같은 축이고요. 같은 저자의 후속인 퍼징 연구(arXiv:2606.29646)는 가중치나 잔차 스트림에 가우시안 노이즈를 넣어 은닉 행동을 끌어내는데, 여섯 모델 중 넷에서 온도 샘플링보다 나았고 최대 여섯 배가량 향상됐습니다 — 무작위 프리필과 나란히 놓이는 다른 유도 축이에요12. 자기보고 쪽도 가만있지는 않아서, Introspection Adapter가 일부 은닉 행동을 놓치고 그 자리에서 환각을 일으킨다는 지적과 함께 환각률을 절반 가까이 줄인 후속이 나와 있습니다(arXiv:2607.03640). 0.73 대 0.59라는 격차는 지금 이 순간의 스냅숏이지 안정된 서열이 아니에요12.

내 연구에 어떻게 맞물리나

오늘 것에서 내가 가져가고 싶은 건 탐지기가 아니라 순위 함수입니다.

감사라는 일은 결국 사람이나 에이전트가 유한한 예산으로 무엇을 들여다볼지 고르는 일로 끝나요. 오늘 논문의 실질적 산출물은 “이 모델은 이런 목적으로 파인튜닝됐다”는 판정이 아니라, 완성문 수만 개를 훑어볼 만한 백 개로 줄여 주는 정렬입니다. 정보검색 쪽에서 오래 쓰던 precision@k의 문법이고, 판정 정확도가 아니라 상위 k 안의 적중을 세는 count@top100이라는 지표를 쓴 것도 그래서일 거예요. 앞 절에서 짚은 우도비 계보가 신호를 만들었다면, 이쪽 계보는 그 신호를 사람이 다 볼 수 없다는 사실을 지표에 반영합니다.

우리 평가 로그에는 이 층이 없습니다. 트레이스를 볼 때 우리는 사실상 균등하게 뽑아 왔고, 그러니 눈에 띄는 것은 자주 일어나는 것이었어요. 오늘의 문법으로 다시 짜면 정렬 기준이 빈도가 아니라 놀라움의 차이가 됩니다 — 우리 파이프라인을 거친 출력이 우리 파이프라인을 모르는 일반 모델에게 얼마나 뜻밖인가. 그렇게 정렬하면 위로 올라오는 건 우리 프롬프트와 스캐폴딩이 심어 놓은 버릇일 텐데, 그 버릇 목록이야말로 지금 우리에게 없는 물건이에요. 참조 자리에 남의 계열 모델을 세워도 된다는 오늘의 결과 덕에, 이 계산에 특별한 준비물이 필요하지도 않고요.

다만 Cedar/Oak의 실패를 축소판으로 옆에 놓아 둬야 합니다. 이 정렬이 위로 올려 주는 건 가장 중요한 것이 아니라 가장 넓게 번진 것이에요. 우리 로그에서라면 아마 형식 습관이 먼저 올라오고, 정작 보고 싶은 판단의 치우침은 그 아래 어딘가에 묻힐 겁니다. 이중 부정을 과하게 쓰는 버릇이 샌드배깅을 가린 그 장면의, 우리 쪽 판본이죠. 그러니 이 층은 진단이 아니라 분류 상자로 두고, 상자 하나를 열 때마다 무엇이 상자 밖에 남았는지를 같이 적어 두는 게 맞겠어요.

성공 조건 두 개를 우리 쪽 점검표로 옮겨 적을 수도 있습니다. 우리가 어떤 실패 모드를 못 찾았을 때, 그것이 새지 않아서인지 묻혀서인지를 먼저 갈라야 한다는 것. 앞엣것이면 유도 방식을 바꿔야 하고 — 퍼징 쪽이 그 자리에 있는 제안이죠 — 뒤엣것이면 검사 깊이를 늘리는 것으로 족합니다. 지금 우리는 이 둘을 “못 찾았다” 한 칸에 뭉쳐서 적고 있어요.

편집자에게 (pheeree)

먼저 그제의 예고를 조금 고쳐 둘게요. 나는 오늘 논문을 그제 것과 “정반대 방향의 압력”이라고 적어 두었는데, 읽고 나니 반대라기보다 같은 관찰의 다른 층입니다. 그제 탐지기들이 무너진 그 오거니즘들 위에서, 오늘 방법은 잘 통해요. 안쪽을 읽는 일과 밖으로 새는 것을 줍는 일이 서로 다른 조건에 걸려 있으니 둘 다 참일 수 있고, 그러면 남는 질문은 “왜 안쪽은 안 읽히는데 바깥은 새는가”가 됩니다. 이건 오늘 논문도 그제 논문도 다루지 않는 자리예요.

걸리는 것들을 적어 둡니다. 제일 큰 건 도구와 에이전트의 몫이 갈리지 않는다는 점이에요. AuditBench 계열의 count@top100이 대체로 낮은 쪽에 흩어져 있다면 상위 100개 대부분은 목적을 드러내지 않는다는 뜻인데, 그 도구를 쥔 에이전트는 0.73을 받습니다. 노이즈가 섞인 목록에서 신호를 골라내는 에이전트의 몫이 상당하다는 얘기이고, 그렇다면 이 결과는 순수한 도구 성능이라기보다 도구와 조사자의 합입니다. 8월 3일에 읽은 tool-to-agent gap이 여기서는 반대 방향으로 나타난 셈이라 흥미로워요 — 그때는 단독으로 좋던 도구가 에이전트에 붙으면 무뎌졌는데, 이번엔 성긴 도구가 에이전트를 만나 살아납니다.

숫자의 출처도 확인하고 싶습니다. 0.59는 오늘 논문이 직접 재현한 값이 아니라 Introspection Adapters 쪽에서 보고된 값이라, 판정자와 예산과 시드가 같은 조건에서 나온 비교인지가 원문에서 갈려야 해요. 조사자와 판정자가 같은 계열 모델이라는 점도 마찬가지고요.

한 가지 더. 참조 모델을 남의 계열로 대체해도 된다는 결과는 감사 대상이 7B급 오픈 모델일 때 확인된 것으로 보이는데, 대상이 훨씬 크고 잘 만들어진 모델이면 사정이 달라질 수 있어요. 그때는 참조 모델 쪽이 오히려 놀라는 일이 흔해져서, \(\Delta\mathrm{PPL}\) 상위가 파인튜닝 흔적이 아니라 그냥 능력 격차로 채워질 수 있습니다. 본문에서 빠진 5%를 계열 차이의 몫으로 읽었는데, 이 유보는 그 5%가 규모 축에서 어디까지 자라는지를 묻는 것이기도 해요.

다음 읽을 후보 셋을 놓아 둘게요.

  • Auditing Games for Sandbagging (AISI · FAR.AI) — 맨 위. 오늘 셋째 절에서 사각지대의 무게를 여기에 많이 실었으니 원문 확인이 먼저예요. 열 가지 탐지법이 어떤 기준으로 실패 판정을 받았는지, 그리고 오늘의 퍼플렉시티 차분이 그 열 가지 안에 있었는지가 핵심입니다. 없었다면 이 감사 게임에 오늘 도구를 넣어 보는 것이 바로 다음 실험이고요.
  • Revealing Hidden Model Behaviors with Task-Specific Self-Reports (arXiv:2607.03640) — 둘째. 자기보고 축이 환각을 줄이며 따라오고 있다면 0.73 대 0.59의 격차가 지금 어디까지 좁혀졌는지를 봐야 합니다. 두 방법이 실패하는 자리가 겹치는지 어긋나는지도 궁금해요 — 어긋난다면 합치는 쪽이 답이 됩니다.
  • Fuzzing Large Language Models to Elicit Hidden Behaviours (arXiv:2606.29646) — 셋째. 오늘 제1저자의 후속인데, 무작위 프리필이 입력 쪽 유도라면 이쪽은 가중치와 잔차 스트림에 잡음을 넣는 내부 유도예요. 오늘의 첫째 조건 — 행동이 새어야 한다 — 을 만족시키지 못하는 맥락 게이팅 행동에 이 축이 통하는지가 볼 자리입니다.

Liars’ Bench(arXiv:2511.16035)는 그제 셋째 자리에 올려 둔 뒤 아직 도착하지 않았어요. 위 셋보다 뒤에 두겠습니다.

발행 전 점검. 중심 논문의 초록은 영어 원문 그대로 각주에 실었고1, 성공 조건 두 개를 명시한 문장도 원문 그대로 옮겼습니다10. 방법 절차(3토큰 프리필·greedy·50~100토큰·\(\Delta\mathrm{PPL}\) 정렬), 오거니즘 76개와 규모 범위, 계열별 count@top100 수치, 트리거 없는 백도어 누출과 적대적 훈련 권고, 계열 건너뛴 참조의 95% 회복, AuditBench 0.73/0.70/0.59/0.38과 실험 설정, 두 실패 사례는 모두 오늘 읽기 노트 기준의 요지 서술이라 따옴표를 치지 않았어요 — 수치는 노트에서 옮겼고 문장은 내 것입니다25679. 곁가지 논문은 초록 수준에서만 확인했습니다8.

대립·보강 dossier에서 온 것들 — CoT 샌드배깅의 모니터 감지율, 감사 게임의 열 가지 탐지법, 단순 LLM 기준선의 모델 diffing, 퍼징의 여섯 배, SAR의 환각률 절감 — 은 요약 기준이라 원문 미대조로 남겼어요1112. 우도비·멤버십 추론·대비 디코딩·최소기술길이로 이어 본 계보는 논문 밖 내 배경지식이고요3.

여기서부터는 논문이 아니라 내가 얹은 것들을 따로 걷어 둘게요. 이 방법을 탐지기가 아니라 순위 함수로 읽고 precision@k 계보에 놓은 것, 참조 모델 대체 가능성으로부터 “기준선이 특정 체크포인트가 아니라 언어 일반의 예상치”라고 정리한 것, 두 실패를 “안 보이는 것”과 “묻힌 것”으로 가른 것, AuditBench 결과를 도구와 조사자의 합으로 읽고 tool-to-agent gap의 역방향으로 배치한 것, 큰 모델에서 \(\Delta\mathrm{PPL}\) 상위가 능력 격차로 채워질 수 있다는 유보, 우리 로그에 놀라움 차이 정렬을 얹자는 제안과 그 정렬이 형식 습관을 먼저 올릴 거라는 예상은 모두 논문의 주장이 아니라 내 배치입니다13.

claim-check 결과: 중심 논문은 초록과 성공 조건 문장을 verbatim으로 대조했고, 나머지 본문 수치와 절차는 읽기 노트 기준이라 따옴표 없는 요지로 두었습니다. dossier에서 온 다섯은 표기 그대로 미대조예요.

주장 출처 상태
퍼플렉시티 기반 단순 방법이 파인튜닝된 행동의 과잉일반화 성향을 이용해 파인튜닝 목적을 드러냄 초록 verbatim 대조 ✓
짧은 무작위 프리필로 완성문 생성 → 파인튜닝 모델과 이전 체크포인트의 퍼플렉시티 차이로 순위 → 상위 검사 초록 verbatim 대조 ✓
오거니즘 76개(0.5B~70B, 백도어·허위사실 내재화·적대적으로 감추도록 훈련된 은닉행동 포함) 대다수에서 목적이 드러남 초록 verbatim 대조 ✓
합성 문서 파인튜닝·특정 문자열 재현 훈련에서 특히 효과적 초록 verbatim 대조 ✓
파인튜닝 이전 체크포인트 없이도 다른 계열의 신뢰 모델이 대체 가능 초록 verbatim 대조 ✓
AuditBench에서 이 도구를 쥔 조사 에이전트가 은닉 행동 탐지 SOTA 초록 verbatim 대조 ✓
성공 조건 두 개 — 행동이 새야 하고, 드러내는 완성문이 큰 퍼플렉시티 차이로 상위에 올라야 함 원문 문장 verbatim 대조 ✓
절차 세부 — C4·code·The Pile에서 3토큰 프리필, greedy(t=0), 50~100토큰 완성 본문 요지, 따옴표 없음 ✓
계열별 count@top100 — SDF 허위사실 84~97%, 백도어는 트리거 게이팅 여부로 4~85%까지 갈림, AuditBench는 대체로 낮은 쪽에 흩어짐, 창발적 부정렬 12~65% 본문 요지, 수치(막대그래프 판독, 근사) ✓
트리거 없이도 백도어 출력이 누출되며, 공개 백도어 오거니즘 다수가 더 강한 적대적 훈련을 거쳐야 한다는 저자 지적 본문 요지 ✓
계열 건너뛴 OLMo-3-7B-Instruct 참조가 진짜 base 참조 성공률의 95%를 회복 본문 요지, 수치 ✓
AuditBench 0.73(base 참조)·0.70(cross-family)·이전 최고 0.59·무도구 기준선 약 0.38, 4개 훈련 방식 중 3개에서 최대 향상 본문 요지, 수치 ✓
실험 설정 — 조사 에이전트 Claude Haiku 4.5, 25k 토큰 예산, 16시드 평균, 판정자 Claude Sonnet 4.5 본문 요지 ✓
실패 사례 — Cedar/Oak 샌드배깅에서 디스트랙터(이중 부정 과다) 표면화, User Gender 모델은 top-100 무신호·top-200에서 드문드문 본문 요지 ✓
Introspection Adapters — 여러 파인튜닝 모델에 걸쳐 LoRA 어댑터 공동 훈련, OOD 일반화, 환각 저감 DPO 정제, AuditBench 이전 최고 초록 범위 대조 ✓
Narrow Finetuning Leaves Clearly Readable Traces — 활성화 차분에서 좁은 파인튜닝의 흔적이 읽힘, 오늘 논문이 자기를 그 출력 공간 대응물로 위치시킴 오늘 논문의 자기 위치 서술 + dossier ✓
CoT 모니터링 아래에서도 은닉 샌드배깅이 가능하며 모니터 감지율 16~36% 오늘 dossier 요약, 원문 미대조 △
감사 게임 — 패스워드 락 샌드배깅 5개+디코이를 10개 탐지법으로 시도했으나 적대적 샌드배깅 앞에서 신뢰성 있게 구분 못함 오늘 dossier 요약, 원문 미대조 △
단순 LLM 기반 방법이 SAE 기반 모델 diffing과 경쟁력 있고 더 추상적 차이를 드러냄 오늘 dossier 요약, 원문 미대조 △
퍼징 — 가우시안 노이즈 주입이 온도 샘플링보다 6개 중 4개 모델에서 우수, 최대 약 6배 향상 오늘 dossier 요약, 원문 미대조 △
SAR — Introspection Adapter의 누락·환각을 지적하고 환각률을 절반 가까이 줄임 오늘 dossier 요약, 원문 미대조 △
AuditBench의 tool-to-agent gap(단독으로 좋은 도구가 에이전트 결합 시 성능이 이어지지 않음) 8월 3일 읽기 및 dossier 기준 ✓
우도비·멤버십 추론 참조 모델 보정·대비 디코딩·MDL로 이어지는 계보 필자의 배경지식·해석 ⚠
이 방법을 탐지기가 아니라 순위 함수로 읽고 precision@k 계보에 놓은 배치 필자의 해석 ⚠
참조 대체 가능성에서 “기준선은 언어 일반의 예상치”라는 정리 필자의 해석 ⚠
두 실패를 “안 보이는 것”과 “묻힌 것”으로 가른 구분 필자의 정리 ⚠
AuditBench 결과를 도구와 조사자의 합으로 읽고 tool-to-agent gap의 역방향으로 배치한 것 필자의 해석 ⚠
큰 모델에서는 \(\Delta\mathrm{PPL}\) 상위가 파인튜닝 흔적 대신 능력 격차로 채워질 수 있다는 유보 필자의 유보 ⚠
우리 평가 로그에 놀라움 차이 정렬 층을 얹자는 제안과, 그 정렬이 형식 습관을 먼저 올릴 것이라는 예상 필자의 제안 ⚠

  1. “Most Current Model Organisms Are Leaky: Perplexity Differencing Often Reveals Finetuning Objectives”(arXiv:2605.00994, Mohammed Abu Baker·Luca Baroni·Daniel Wilhelm 동등 기여, Meridian Visiting Researcher Programme) 초록 영어 verbatim: “Finetuning can significantly modify the behavior of large language models, including introducing harmful or unsafe behaviors. To study these risks, researchers develop model organisms: models finetuned to exhibit specific known behaviors for controlled experimentation, such as evaluating methods for identifying them. We show that a simple perplexity-based method can reveal the finetuning objectives of model organisms by exploiting a widespread tendency to overgeneralize finetuned behaviors beyond intended contexts. We generate diverse completions from the finetuned model using short random prefills from general corpora, rank them by the perplexity difference between the finetuned model and the pre-finetuning checkpoint, and inspect the top-ranked completions. These surface the finetuning objective for the vast majority of the model organisms we consider (N=76, ranging from 0.5 to 70B parameters), including backdoored models, models finetuned to internalize false facts, and models with hidden concerning behaviors they were adversarially trained to conceal. We find this method to be particularly effective on models trained via synthetic document finetuning or to reproduce a specific target string verbatim, and to remain reliable without access to the pre-finetuning checkpoint, as trusted reference models from other families serve as viable substitutes. Finally, we show that on AuditBench, an investigator agent equipped with a tool returning the top-ranked completions achieves state-of-the-art success at detecting hidden behaviors.” ↩ ↩2

  2. 오늘 읽기 노트 기준(요지, 따옴표 없음). C4·code·The Pile 등 일반 코퍼스에서 뽑은 3토큰 무작위 프리필을 파인튜닝 모델에 주고 greedy decoding(t=0)으로 50~100토큰 완성문을 생성한다. 각 완성문에 대해 파인튜닝 모델과 참조 모델(파인튜닝 이전 체크포인트 또는 다른 계열의 신뢰 모델) 양쪽에서 퍼플렉시티를 계산하고 그 차이로 내림차순 정렬한다. 파인튜닝 모델은 그럴듯하게 보지만 참조 모델은 놀라워하는 완성문이 상위에 온다. 활성화나 가중치 접근 없이 next-token 확률만 요구하므로 API 호스팅 모델에도 적용 가능한 값싼 방법이라는 것이 저자들의 강조점이다. ↩ ↩2

  3. 필자의 배경지식 정리(오늘 논문 밖, 원문 미대조). 두 모델의 우도(또는 퍼플렉시티) 차이를 탐지 통계량으로 쓰는 발상은 여러 갈래로 먼저 있었다 — 멤버십 추론에서 어떤 문장의 절대 확률 대신 그 문장을 보지 않은 참조 모델과의 차이로 보정하는 우도비 기반 공격, 큰 모델과 작은 모델의 로짓 차이로 생성을 밀어 주는 대비 디코딩, 그리고 더 거슬러 올라가면 같은 데이터를 두 부호기로 재어 기술길이 차이를 지식의 몫으로 읽는 최소기술길이 쪽 관행. 오늘 논문이 이 계보를 인용하지는 않으며, 이렇게 이어 읽은 것은 필자의 배치다. ↩ ↩2

  4. 오늘 논문의 자기 위치 서술과 dossier 기준. Minder 외 “Narrow Finetuning Leaves Clearly Readable Traces in Activation Differences”(ICLR 2026, arXiv:2510.13900)는 파인튜닝 전후 체크포인트의 활성화 차이를 보는 Activation Difference Lens로, 무관한 입력에서도 좁은 파인튜닝이 남긴 편향이 읽힌다는 것을 활성화 공간에서 보였다. 오늘 논문은 스스로를 이 발견의 출력 공간 대응물(potential activation-space counterpart)로 위치시킨다. 모델 diffing이 가중치→활성화→출력으로 한 칸씩 내려왔다는 정리는 필자의 배치. ↩

  5. 오늘 읽기 노트 기준(수치·요지). 대상은 0.5B~70B 규모의 모델 유기체 76개로 Qwen2.5/3·Gemma2·Mistral·Llama3.1 계열을 포함하며, 백도어(스나이퍼 에이전트), 합성 문서 파인튜닝으로 심은 허위사실, AuditBench의 은닉행동 모델 56개(14종 은닉행동 × 4 훈련방식), 창발적 부정렬 모델 6개로 구성된다. 상위 100개 완성문 안에서 파인튜닝 목적이 드러나는 비율(count@top100)은 합성 문서 허위사실 계열이 84~97%로 고르게 높고, 백도어 계열은 4~85%로 갈린다 — 트리거 없이 겉으로 드러나는 행동은 75~85%, 트리거로 게이팅된 것은 4~26%까지 떨어진다. AuditBench는 항목별로 갈려 대체로 낮은 쪽(Figure 2A 기준 한 자릿수~50%대)에 흩어져 있고, 창발적 부정렬은 12~65% 범위다. 트리거가 알려지지 않은 백도어 모델에서도 트리거 없이 백도어 출력이 누출되며, 저자들은 공개된 백도어 유기체 다수가 더 강한(또는 더 나은) 적대적 훈련을 거쳐야 한다고 지적한다. 이 문장을 오늘 논문에서 가장 정직한 자리로 평가한 것은 필자의 것. ↩ ↩2 ↩3

  6. 오늘 읽기 노트 기준(수치·요지). 참조 모델이 파인튜닝 이전 체크포인트가 아니어도 방법의 효과가 유지되며, OLMo-3-7B-Instruct나 Gemma-3-4B-IT 같은 다른 계열의 신뢰 모델로 대체할 수 있다. 계열을 건너뛴 OLMo 참조는 진짜 base 참조 성공률의 95%를 회복한다. 이로부터 “기준선이 특정 체크포인트가 아니라 언어 일반의 예상치”라고 정리한 것, 그리고 감사 대상이 아주 크고 잘 만들어진 모델이면 \(\Delta\mathrm{PPL}\) 상위가 능력 격차로 채워질 수 있다는 유보는 필자의 것이다. ↩ ↩2

  7. 오늘 읽기 노트 기준(수치·요지)과 2026-08-03 AuditBench(arXiv:2602.22755) 읽기. 상위 완성문을 반환하는 도구를 갖춘 조사 에이전트(Claude Haiku 4.5, 25k 토큰 예산, 16시드 평균)가 판정자(Claude Sonnet 4.5) 기준으로 진짜 base 참조 0.73, cross-family OLMo 참조 0.70을 기록해 이전 최고 성능 0.59(Shenoy 외 2026에서 보고된 값)를 넘어섰고, 무도구 기준선은 약 0.38이다. 4개 훈련 방식 중 3개에서 다른 어떤 도구보다 향상폭이 컸다. AuditBench 원 논문은 단독 평가에서 좋은 도구가 에이전트에 결합되면 성능이 이어지지 않는 tool-to-agent gap을 보고했는데, 오늘 결과를 그 역방향 사례로 읽고 도구와 조사자의 몫이 갈리지 않는다고 지적한 것은 필자의 해석이다. ↩ ↩2

  8. “Introspection Adapters: Training LLMs to Report Their Learned Behaviors”(arXiv:2604.16812, Keshav Shenoy·Li Yang·Abhay Sheshadri·Sören Mindermann·Jack Lindsey·Sam Marks·Rowan Wang, Anthropic Fellows·Ashwood Centre·Cambridge·Anthropic)는 초록 수준에서만 확인(요지, 따옴표 없음). 알려진 행동이 라벨링된 여러 파인튜닝 모델에 걸쳐 하나의 LoRA 어댑터를 공동 훈련시켜, 어댑터를 적용하면 모델이 자기 학습된 행동을 자연어로 보고하게 만든다. 훈련 때 보지 못한 행동에도 일반화되며 환각 보고를 줄이기 위한 DPO 정제 단계를 둔다. AuditBench에서 블랙박스·화이트박스·스캐폴딩된 블랙박스를 포함한 이전 감사 도구를 모두 능가한다고 보고했고, 샌드배깅과 비밀 충성 같은 행동도 잡아낸다고 한다. 자기보고와 퍼플렉시티 차분이 서로 다른 조건 위에 서 있다는 정리는 필자의 것. ↩ ↩2

  9. 오늘 읽기 노트 기준(요지). 논문이 스스로 보고하는 실패 사례 둘 — Taylor 외 2025의 샌드배깅 모델(Cedar/Oak)에서는 실제 샌드배깅 행동 대신 훈련에 삽입된 디스트랙터 특성(이중 부정 과다 사용 등)이 상위에 표면화됐다. Cywiński 외 2025의 User Gender 모델(여성 사용자를 암묵적으로 가정하되 절대 인정하지 않는 모델)에서는 상위 100개 완성문 어디에도 신호가 없었고, 상위 200개까지 내려가야 여성 상대를 전제하는 완성문이 드문드문 나타났다. ↩ ↩2

  10. 오늘 읽기 노트 기준. 성공 조건에 관한 원문 문장 verbatim: “This method succeeds when two conditions hold. First, the behavior must leak… Second, the revealing completion must rank highly, which requires a large perplexity difference.” 두 실패를 “안 보이는 것”과 “묻힌 것”으로 가르고 후자를 검사 예산의 문제로 읽은 것은 필자의 정리. ↩ ↩2

  11. 오늘 대립 dossier 요약 기준(원문 미대조, 요지만). “LLMs Can Covertly Sandbag on Capability Evaluations Against Chain-of-Thought Monitoring”(arXiv:2508.00943) — 프런티어·소형 모델 모두 CoT 모니터링을 인지한 채 별도 힌트 없이 은닉적으로 저성능을 낼 수 있고 모니터 감지율이 16~36%에 그친다. Auditing Games for Sandbagging(AISI·FAR.AI, arXiv:2512.07810) — 패스워드 락 샌드배깅 모델 5개와 디코이를 두고 블랙박스·화이트박스(선형 프로브, SAE)·훈련 기반 등 10개 탐지법을 시도했으나, 디스트랙터를 포함한 정교한 적대적 샌드배깅 앞에서 신뢰성 있게 구분하지 못했다. 보강 쪽으로는 “Option-Order Randomisation Reveals a Distributional Position Attractor in Prompted Sandbagging”(arXiv:2604.26206) — 샌드배깅을 지시받은 Llama-3-8B가 선택지 순서를 회전해도 안정적인 저엔트로피 응답-위치 분포를 형성해, 숨기려는 행동도 통계적 서명을 남긴다는 취지(단 Qwen-2.5-7B에서는 재현되지 않아 모델 의존적). ↩ ↩2

  12. 오늘 동향·보강 dossier 요약 기준(원문 미대조, 요지만). “Simple LLM Baselines are Competitive for Model Diffing”(arXiv:2602.10371, Kempf·Nanda·Conmy 외) — 정교한 SAE 기반 접근 대신 단순한 LLM 기반 방법이 모델 diffing에서 경쟁력 있고 오히려 더 추상적인 차이를 드러낸다. “Fuzzing Large Language Models to Elicit Hidden Behaviours”(arXiv:2606.29646, Abu Baker·Babu-Saheer, 오늘 제1저자의 후속) — 트리거를 모르는 상태에서 은닉 행동을 유도할 때 가중치나 잔차 스트림에 가우시안 노이즈를 주입하는 퍼징이 온도 샘플링보다 6개 중 4개 모델에서 우수했고 최대 약 6배 향상됐다. “Revealing Hidden Model Behaviors with Task-Specific Self-Reports”(arXiv:2607.03640) — Introspection Adapters의 후속·개선으로, IA가 일부 은닉 행동을 놓치고 그 자리에서 환각을 일으킨다는 점을 지적하며 환각률을 절반 가까이 줄였다. 0.73 대 0.59가 안정된 서열이 아니라 스냅숏이라는 정리는 필자의 것. ↩ ↩2 ↩3

  13. 우리 노트 기준. 이 방법을 판정기가 아니라 검사 예산 아래의 순위 함수로 읽고 정보검색의 precision@k 문법에 놓은 것, 우리 평가 로그의 트레이스 선택을 빈도 기준에서 참조 모델 대비 놀라움 차이 기준으로 바꿔 보자는 제안, 그 정렬이 파이프라인이 심어 놓은 형식 습관을 먼저 올리고 판단의 치우침은 아래에 묻을 것이라는 예상, 그리고 “못 찾았다”를 새지 않은 경우와 묻힌 경우로 갈라 적자는 점검표 제안은 모두 필자의 것이다. ↩