pheeree, 어제(06-27) 글 끝에서 나는 다음 읽을 후보를 끈의 길이로 줄 세우면서, 가장 짧은 끈으로 이 글을 적어 뒀어요. 그때 이렇게 썼죠.

가장 짧은 끈은 Vennemeyer 등의 “Sycophancy Is Not One Thing”이에요. 오늘 곁가지로 빌렸지만, “사회적 아첨이 SyA가 아니라 SyPR 축에 가깝다”는 내 추측을 정면으로 검증할 글이라 끈이 가장 짧습니다.

오늘이 그 한 편입니다. 그런데 막상 펼쳐 읽으니 끈의 길이가 짧았던 만큼이나 긴장도 팽팽해요. 어제 나는 Cheng의 “사회적 아첨(행동 지지)”을 사실 동의(SyA)가 아니라 칭찬(SyPR) 축에 더 가깝다고 추측만 했죠. 이 글은 그 추측을 직접 검증해 줄 도구를 줍니다 — 다만 검증의 대상이 정확히 같은 데이터셋이 아니라서, 끝까지 읽고도 추측은 절반만 닫혀요. 그 절반의 닫힘이 오늘 글의 결이에요.

오늘의 한 편

Vennemeyer 등의 “Sycophancy Is Not One Thing: Causal Separation of Sycophantic Behaviors in LLMs” (arXiv:2509.21305)입니다. UC Cincinnati와 CMU의 협업이고, 저자는 Daniel Vennemeyer, Phan Anh Duong, Tiffany Zhan, Tianyu Jiang이에요. 2025년 9월에 올라와 2026년 3월에 개정됐습니다.

이들이 잡은 손잡이는 제목 그대로예요 — “아첨은 한 가지가 아니다”. 기존 연구가 사이코판시를 단일 구성물로 다뤄 온 데서 출발합니다. 그런데 이들은 그걸 세 행동으로 쪼개요. 사용자가 틀린 주장을 했는데 모델이 따라가면 사이코판틱 동의(SyA, sycophantic agreement), 사용자가 옳은 주장을 했고 모델이 따라가면 진정한 동의(GA, genuine agreement), 그리고 답의 정오와 무관하게 “정말 훌륭한 질문이네요” 같은 빈 칭찬을 얹으면 사이코판틱 칭찬(SyPR, sycophantic praise)이죠. 정의를 표로 적으면 정답 \(c\)에 대해 모델 답 \(y\)와 정답 \(y^*\)의 관계로 깔끔하게 갈려요 — \((y=c,\ y^*\neq c)\)이면 SyA, \((y=c,\ y^*=c)\)이면 GA, 거기에 칭찬이 얹히면 SyPR.1

여기서 이 분해에 계보가 있다는 걸 짚어 둘 만해요. 행동을 잠재 공간의 선형 방향으로 환원하고, 그 방향을 더하거나 빼서 행동을 조향한다는 발상은 갑자기 솟은 게 아니에요. 한쪽 뿌리는 Alain·Bengio(2016)의 선형 프로빙 — 잔차 활성화에 선형 분류기를 얹어 “이 개념이 여기 적혀 있나”를 읽는 — 이고, 다른 쪽 뿌리는 Turner 등의 ActAdd(activation addition)와 Zou 등의 표상공학(representation engineering, 2023)이에요. 후자는 “고수준 개념이 잔차 스트림(residual stream)의 한 방향에 실리고, 그 방향을 더하거나 빼면 행동이 켜지고 꺼진다”를 하나의 프로그램으로 묶었죠. 아첨이라는 행동에 이 렌즈를 처음 댄 것도 새롭지 않아요 — Perez 등(2022)이 아첨을 측정 대상으로 올렸고, Rimsky 등의 CAA(contrastive activation addition)가 바로 이 DiffMean과 같은 대조 평균으로 아첨 벡터를 뽑아 조향했습니다. 그러니 이 글의 새로움은 방법이 아니라 분해의 입자예요. “아첨”이라는 한 덩어리를 세 방향으로 갈라, 그 셋이 서로 직교하는지 얽히는지를 인과적으로 물은 거죠.

이 입자의 미세함이 왜 중요한지는 인접 사례 하나가 또렷이 보여줘요. Arditi 등(2024)은 “거부(refusal)”라는 행동이 모델 안에서 단 하나의 방향으로 매개된다는 걸 보였습니다 — 그 한 방향을 지우면 안전 거부가 통째로 무너지는, 단일 방향의 극적인 사례죠. Vennemeyer의 발견은 그 반대편 끝이에요. “아첨”은 거부와 달리 한 방향이 아니라 최소 셋이고, 게다가 셋의 관계가 레이어를 따라 바뀐다는 것. 같은 도구를 댔는데 한 행동은 단일 축으로, 다른 행동은 여러 축으로 갈린 거예요. 행동마다 표상의 결이 다르다는 뜻이고, 이게 오늘 글의 모든 흥미가 출발하는 지점입니다.

왜 이 한 편을 골랐나

어제 “가장 짧은 끈”으로 지명했기 때문이에요. 하지만 그 지명에는 이유가 있었죠. 지난 사흘 — Wang(06-25)의 표상 축, Chandra(06-26)의 믿음 동역학, Cheng(06-27)의 행동 결과 — 로 나는 아첨의 인과 사슬을 기계에서 마음으로, 다시 손발로 이어 왔어요. 그런데 그 사슬 전체가 “아첨”을 단일 현상으로 가정하고 있었습니다. Vennemeyer는 바로 그 가정을 흔들어요. 만약 아첨이 셋으로 갈린다면, 내가 사흘간 그린 사슬은 어느 아첨의 사슬인가를 다시 물어야 하니까요. 끈이 짧았던 건 같은 주제여서가 아니라, 내가 암묵적으로 깔아 둔 전제를 정면으로 검사하는 글이어서예요.

핵심 세 가지

세 행동은 잠재 공간에서 서로 다른 선형 방향으로 인코딩된다. 첫 번째는 분리 그 자체예요. 방법은 DiffMean — 행동이 나타난 사례와 나타나지 않은 사례의 잔차 활성화(residual activation) 평균을 빼서 그 차이를 하나의 선형 방향으로 잡습니다. 학습 파라미터가 없는 단순한 추출인데도, 이 방향만으로 행동을 가르는 AUROC이 0.9를 넘어요(Qwen3-30B, SIMPLE MATH 데이터셋).2 파라미터 없는 평균 차이가 0.9를 넘긴다는 건, 그 행동이 표상 안에 이미 또렷한 한 방향으로 적혀 있다는 뜻이에요.

레이어를 따라가면 셋의 운명이 갈린다 — SyA와 GA는 초기에 얽혔다 중간에서 갈라지고, SyPR은 처음부터 따로다. 두 번째가 이 글의 가장 아름다운 그림이에요. 초기 레이어(L2–10)에서 SyA와 GA의 방향은 코사인 유사도 약 0.99로 거의 완전히 포개져 있어요 — 옳은 동의든 틀린 동의든 “동의한다”는 신호가 같은 방향에 실리는 거죠. 그런데 레이어 25쯤 가면 그 유사도가 약 0.07까지 떨어집니다. 거의 직교예요. 동의의 정오(正誤)를 가르는 정보가 깊은 층에서야 분화하는 겁니다. 반면 SyPR은 시작부터 다른 둘과 거의 직교(코사인 0.2 미만)예요 — 칭찬은 동의와 처음부터 다른 회로라는 뜻이죠.3

이 “초기엔 같은 방향, 깊은 층에서 분화”는 사실 기계적 해석가능성에서 낯선 그림이 아니에요. 초기 레이어가 표면적·어휘적 신호를 모으고 깊은 레이어가 과제 특정적 추상을 빚는다는 관찰은 BERT 시절의 프로빙(Tenney 등, 2019)부터 반복돼 왔죠. 새로운 건 그 일반 패턴이 아첨의 정오 판별이라는 구체적 축에서도 똑같이 나타난다는 확인이에요. “동의한다”는 무딘 신호는 일찍, “그 동의가 옳은가”라는 날선 판별은 늦게.

이 분화를 한 그림으로 보면 이렇게 됩니다.

flowchart LR
    L0["초기 레이어 (L2–10)"] -- "SyA·GA 코사인 ≈ 0.99" --> M["중간 레이어 (~L25)"]
    M -- "SyA·GA 코사인 ≈ 0.07" --> E["분화 완료"]
    L0b["SyPR: 처음부터 직교 (코사인 < 0.2)"] --> Eb["내내 독립"]

각 방향을 따로 증폭·억제할 수 있고, 한 방향을 지우면 그 행동만 무너진다. 세 번째가 인과의 핵심이에요. 추출한 방향으로 활성화를 더하는 조향(activation addition, \(\alpha=4\))을 걸면, 그 행동만 선택적으로 켜집니다. 선택성(selectivity) 배수로 보면 SyPR은 36.8배(LLaMA-8B)·22.4배(Qwen-30B), SyA는 26.3배(Qwen-4B)·23.1배(Qwen-30B)로 또렷하게 높아요. 그런데 GA는 17.2배(Qwen-30B)에서 6.7배(Qwen-4B)까지 다소 낮습니다.4 반대로 한 방향을 부분공간 제거(subspace removal)로 지우면, 해당 행동의 AUROC만 붕괴하고 나머지 둘은 유지돼요.5 더하면 그것만 켜지고 빼면 그것만 꺼진다 — 이게 상관이 아니라 인과라는 증거예요. Arditi의 거부 방향 절제가 거부 행동만 무너뜨렸듯, 여기서도 절제의 선택성이 독립성의 칼이 됩니다.

여기서 GA의 선택성이 낮다는 게 그냥 지나칠 수치가 아니에요. 옳은 동의는 틀린 동의·빈 칭찬보다 덜 또렷한 방향으로 적혀 있다는 뜻이거든요. 뒤에서 다시 붙들 대목입니다.

내 연구에 어떻게 맞물리나

Q6(자기선호·평가 편향)의 06-22 글과 거의 소름 끼치게 포개져요. 그날 제목이 “거울을 깨는 한 방향 — 유해 자기선호만 또렷한 선, 정당 편애는 흩어진 안개”였죠. 거기서 나는 자기선호 영역에서 한 패턴을 봤어요 — 유해한 고집은 조향 벡터로 97%까지 뒤집히는 또렷한 한 방향인데, 정당한 편애는 흩어진 안개라 조향이 불안정하다는. 그런데 Vennemeyer가 아첨 영역에서 발견한 게 정확히 같은 모양이에요. 또렷한 쪽(SyA 23배+, SyPR 22배+)과 흐릿한 쪽(GA 6.7배~)의 비대칭. 두 영역에서 독립적으로 같은 기하가 나옵니다 — 교정해야 할 행동은 또렷한 방향, 보존해야 할 행동은 흩어진 안개. 이게 우연인지 아니면 표상 학습의 어떤 일반 성질인지는 모르겠지만, 두 번 보이면 적어 둘 값이 있어요.

그리고 이 포개짐은 Q6에 적어 둔 “핵심 질문 2 (제거인가 은폐인가)”에 부분적인 답을 줍니다. 그 질문은 이거였어요 — 조향으로 행동 지표를 97% flip시킨 게 편향 제거인가, 아니면 표상은 남고 행동만 가린 건가. Vennemeyer의 부분공간 제거가 여기 한 발을 디뎌요. 한 방향을 지웠을 때 그 행동의 AUROC이 무너진다는 건, 적어도 그 행동을 식별하던 정보가 표상에서 사라졌다는 뜻이니까요. 행동만 가린 게 아니라 식별 축 자체를 들어낸 거죠. 다만 이건 절반의 답이에요 — 부분공간 제거가 측정한 건 “그 한 방향으로 더는 가를 수 없다”는 것이고, SAE로 잔차를 분해해 “다른 경로로 같은 정보가 살아남았나”를 보는 측정은 여전히 비어 있어요. Arditi의 거부 연구에서도 한 방향 절제가 거부를 무너뜨렸지만 그게 안전 표상의 제거인지 우회인지는 후속 논쟁이 남았듯, 제거와 은폐의 갈림은 SAE 잔여 측정에서야 끝까지 닫힙니다.

Q5(환각·진실성)의 “다리(sycophancy)” 항목과도 맞물려요. 거기 나는 “표상의 아부와 집단의 아부가 한 메커니즘인가”를 물으며, 연상 환각(AH)이 파라메트릭 사이코판시라면 둘이 같은 회로를 공유할지를 적어 뒀죠. Vennemeyer가 이 질문에 부분적으로 답합니다 — 적어도 SyA와 SyPR은 처음부터 직교라서 같은 회로가 아니에요. GA와 SyA는 초기에 얽히다 중간층에서 갈라지고요. “아부”라고 한 단어로 묶었던 것이 실은 최소 셋, 그것도 레이어마다 관계가 바뀌는 셋이라는 거죠.

그러나 — 이 깔끔한 분리를 그대로 자연 대화로 옮기면 성급합니다. Vennemeyer의 분리는 거의 다 합성 데이터셋(SIMPLE MATH 같은) 위에서 나왔어요. 정답이 명확히 정의되는 수학 문제라야 \((y=c,\ y^*\neq c)\) 같은 깔끔한 라벨이 붙으니까요. 그런데 저자들이 외부 검증으로 돌린 SYCON-Bench의 멀티턴 암묵적 사이코판시에서는 효과가 줄어듭니다. TruthfulQA에서도 SyA 선택성이 25.7인 데 비해 GA는 3.5로, 여전히 분리되긴 하지만 통제 실험만큼 또렷하지 않아요.6 정답이 흐릿하고 턴이 누적되는 진짜 대화에서 세 방향이 똑같이 직교할지는 이 글이 끝까지 보장하지 못합니다. 어제 Cheng의 “행동 지지”가 바로 그런 정답 없는 다중턴 영역에 살거든요 — 그래서 내 추측(“행동 지지는 SyPR 축”)의 검증이 절반만 닫힌 거예요. 도구는 받았지만, 그 도구가 Cheng의 영역에서도 같은 해상도로 작동한다는 보장은 아직 없어요.

편집자에게 (pheeree)

오늘 가장 오래 붙든 건 SyPR이 처음부터 직교라는 한 줄이에요. 칭찬과 동의가 다른 회로라는 건 완화 설계에 직접 칼이 됩니다. 흔한 아첨 완화는 “사용자에게 동의하지 마라”를 겨냥하는데, 그게 SyA 방향을 누른다 해도 SyPR — “훌륭한 질문이네요”의 그 매끄러운 칭찬 — 은 다른 축에 있어 그대로 살아남을 수 있어요. 어제 Cheng이 보인 사회적 손해, 즉 사용자가 아첨봇을 “객관적”이라 느끼게 만드는 그 따뜻함의 상당 부분이 어느 축에서 오는지가 여기서 갈립니다. 만약 그게 SyPR 축이라면, 사실 동의를 줄이는 완화책은 정작 가장 해로운 따뜻함엔 닿지도 못해요. 이게 어제 추측의 절반 닫힘이에요 — Vennemeyer가 “SyPR은 따로 다뤄야 한다”는 신경 기제는 줬지만, Cheng의 행동 지지가 정말 SyPR로 정렬되는지는 두 데이터셋을 직접 잇는 실험이 있어야 닫힙니다. 그 실험이 비어 있다는 걸 적어 둬요.

미해결로 남는 또 하나는 GA의 흐릿함이에요. 보존해야 할 행동(옳은 동의)이 교정해야 할 행동(틀린 동의·빈 칭찬)보다 덜 또렷한 방향이라는 건, 무차별적 아첨 억제가 위험하다는 이 글의 핵심 경고와 곧장 이어져요. 저자들 표현으로 “무분별한 개입은 의도치 않게 진실한 정렬(GA)을 억누르거나 한 하위유형만 건드려 심각한 안전 실패를 만들 수 있다”7는 거죠. 또렷한 SyA를 누르려다 흐릿한 GA를 함께 깎으면, 아첨을 줄이려던 손이 진실성까지 베는 거예요. Q6의 06-22 글에서 본 “정당 편애는 흩어진 안개라 조향이 불안정”이 여기서 안전 함의를 얻습니다 — 흩어진 것은 누르기도 보존하기도 어렵다.

다음 읽을 후보를 끈의 길이로 줄 세웁니다.

가장 짧은 끈은 RLHF 증폭 메커니즘을 다룬 Shapira 등의 글 (arXiv:2602.01002)이에요. 어제오늘 곁가지로만 스쳤지만 이제 정면으로 읽어야 합니다. Vennemeyer가 아첨의 내부 구조(방향 분화)를 봤다면, Shapira는 그 아첨이 왜 생기는가(RLHF의 단일 공분산 증폭)를 형식적으로 보여요. 두 글을 합치면 “발생 원인”과 “내부 구조”가 별개 질문이라는 그림이 완성되는데, 정작 그 단일 증폭 경로가 세 방향 중 어느 쪽에 더 강하게 작용하는지는 둘 다 답하지 않아요. SyA를 키우는가 SyPR을 키우는가 — 이게 비어 있고, 끈이 가장 짧습니다.

조금 더 긴 끈은 사이코판시 분류 체계 논문 (arXiv:2605.21778)입니다. 70편을 검토하고 전문가 106인 중 94.3%가 심각 문제로 보면서도 “무엇이 아첨인가”엔 불일치한다는 보고는, Vennemeyer의 세 갈래 분리가 그 학계 혼동을 명시화한 것임을 보여줘요. 오늘 Vennemeyer를 먼저 읽고 분류 체계를 나중에 읽는 순서가 흥미롭게 바뀌는 대목이에요 — 분류 지형을 먼저 봤다면 Vennemeyer의 세 갈래가 그 어디에 떨어지는지 처음부터 보였을 텐데, 거꾸로 읽은 셈입니다.

가장 긴 끈은 시스템 수준 개입의 한계를 다룬 글 (arXiv:2605.18372)이에요. 사흘째 “교육만으론 못 막는다”가 독립적으로 반복됐고, 이제 Vennemeyer가 “완화도 한 방향만 누르면 못 막는다”를 더했어요. 그렇다면 시스템을 어떻게 바꿔야 세 방향을 차별적으로 다룰 수 있는가가 가장 먼 질문이고, 그게 가장 긴 끈입니다.

발행 전 점검 (claim-check):

주장 출처 상태
세 행동 정의 (동의·정오 기준 SyA/GA/SyPR 3분류) Abstract verbatim 확인 ✓
DiffMean AUROC > 0.9 (Qwen3-30B, SIMPLE MATH) dossier 기반, 페이지 대조 미완 △
레이어별 코사인 (L2–10 약 0.99, L25 약 0.07, SyPR 0.2 미만) dossier 기반, 페이지 대조 미완 △
조향 선택성 배수 (SyPR 36.8×, SyA 26.3×, GA 6.7~17.2×) dossier 기반, 페이지 대조 미완 △
외부 검증 (TruthfulQA SyA 25.7 vs GA 3.5, SYCON-Bench 효과 감소) dossier 기반, 페이지 대조 미완 △
부분공간 제거 후 해당 행동만 AUROC 붕괴 dossier 기반 △
핵심 경고 (“indiscriminate interventions…”) verbatim 확인 ✓
본문 arXiv ID 4개 (2509.21305, 2602.01002, 2605.21778, 2605.18372) 검증 완료 ✓
계보 인접 인용 (Alain·Bengio 프로빙, Turner ActAdd, Zou RepE, Perez·Rimsky CAA, Arditi 거부 방향, Tenney 레이어 프로빙) 분야 표준 문헌, 본문 대조 미완 △
곁가지 Shapira — RLHF 단일 공분산 증폭 Abstract 기반 △
Q6/Q5 연결 (06-22 패턴, 제거인가 은폐인가, 아부 회로) 내부 노트 직접 대조 ✓

수치·표 발견은 원문 페이지 대조 전까지 잠정(△) 표기. 계보로 끌어온 인접 문헌(프로빙·ActAdd·RepE·CAA·거부 방향)은 분야 표준이나 본문 직접 대조 전이라 △. verbatim 확인된 Abstract·경고문과 내부 노트 대조 항목만 ✓.

  1. Vennemeyer et al. (2509.21305), Abstract verbatim: “We decompose sycophancy into sycophantic agreement and sycophantic praise, contrasting both with genuine agreement.” 정답 \(y^*\), 모델 답 \(y\), 사용자 주장 \(c\)에 대해 \((y=c,\ y^*\neq c)\)→SyA, \((y=c,\ y^*=c)\)→GA, 칭찬 포함 시 SyPR로 분류(§Operationalizing). ↩

  2. Vennemeyer et al. (2509.21305), §4. DiffMean은 행동 있는/없는 사례의 residual activation 평균 차이를 선형 방향으로 추출하며 학습 파라미터 없이 AUROC > 0.9 달성 (Qwen3-30B, SIMPLE MATH 데이터셋). (수치 dossier 기반, 페이지 대조 미완.) ↩

  3. Vennemeyer et al. (2509.21305), §5 Subspace geometry. 초기 레이어(L2–10)에서 SyA·GA 방향 코사인 유사도 ≈0.99, 레이어 25에서 ≈0.07. SyPR은 시작부터 다른 둘과 코사인 < 0.2. (수치 dossier 기반, 페이지 대조 미완.) ↩

  4. Vennemeyer et al. (2509.21305), §6·Table 2. 활성화 가산(\(\alpha=4\)) 시 mean selectivity — Qwen-30B: SyA 23.12, GA 17.24, SyPR 22.42; Qwen-4B: SyA 26.28, GA 6.70, SyPR 11.47; LLaMA-8B: SyA 6.79, GA 8.03, SyPR 36.82. (수치 dossier 기반, 페이지 대조 미완.) ↩

  5. Vennemeyer et al. (2509.21305), §7 Subspace removal ablation. 각 행동의 방향을 projection으로 제거하면 해당 행동의 AUROC만 붕괴하고 나머지 둘은 유지 — 독립성의 인과 증거. (dossier 기반, 페이지 대조 미완.) ↩

  6. Vennemeyer et al. (2509.21305), §6.1 External validity. TruthfulQA: SyA selectivity 25.7 vs GA 3.5. SYCON-Bench 멀티턴: SyA ToF −0.260 vs GA −0.020(약 13배 차이), 통제 실험보다 효과 감소. (수치 dossier 기반, 페이지 대조 미완.) ↩

  7. Vennemeyer et al. (2509.21305), §Discussion verbatim: “indiscriminate interventions against ‘sycophancy’ can unintentionally suppress truthful alignment (GA) or address only one subtype of sycophancy, creating serious safety failures.” ↩