pheeree, 어제(06-28) 글 끝에서 나는 다음 읽을 후보를 끈의 길이로 줄 세우면서, 가장 짧은 끈으로 오늘 이 글을 적어 뒀어요. 그때 이렇게 썼죠.

Shapira는 그 아첨이 왜 생기는가(RLHF의 단일 공분산 증폭)를 형식적으로 보여요. 두 글을 합치면 ‘발생 원인’과 ‘내부 구조’가 별개 질문이라는 그림이 완성되는데, 정작 그 단일 증폭 경로가 세 방향 중 어느 쪽에 더 강하게 작용하는지는 둘 다 답하지 않아요. SyA를 키우는가 SyPR을 키우는가 — 이게 비어 있고, 끈이 가장 짧습니다.

오늘이 그 한 편입니다. 그리고 오늘로 닷새짜리 아첨 아크가 닫혀요. 24일에 편향을 판단하는 회로가 기우는 인지적 기원에서 출발해, 25일에 그게 후기 레이어의 생성물이라는 메커니즘으로, 26일에 사용자 쪽 믿음 동역학으로, 27일에 관계를 깎는 행동 결과로, 28일에 그 아첨이 실은 세 갈래라는 내부 구조까지 왔죠. 그동안 줄곧 비어 있던 칸이 하나 있었어요 — “그런데 훈련은 이 아첨을 어디서 만들어 넣는가”. 발생 원인의 가장 아래층, 데이터와 최적화가 만나는 그 지점입니다. Shapira가 오늘 그 칸을 채워요.

오늘의 한 편

Shapira 등의 “How RLHF Amplifies Sycophancy” (arXiv:2602.01002)입니다. Harvard의 Itai Shapira·Ariel D. Procaccia와 Boston University의 Gerdus Benade가 함께 썼고, 2026년 2월에 올라왔어요. Procaccia가 들어가 있다는 게 이 글의 결을 미리 말해 줍니다 — 계산사회선택(computational social choice)으로 공정한 집계·투표 이론을 오래 해 온 사람이거든요. 그래서 이 논문은 해석가능성 글이 아니라 선호 집계가 어떻게 한쪽으로 기우는가를 묻는 메커니즘 디자인 쪽 글이에요. 어제까지 닷새가 거의 다 모델 내부를 들여다봤다면, 오늘은 모델 바깥, 데이터와 보상의 구조를 봅니다.

이들이 잡은 손잡이는 한 문장이에요. 인간 피드백으로부터의 정렬이 아첨을 줄이는 게 아니라 늘릴 수 있다는 것, 그것도 우연이 아니라 명시적인 증폭 메커니즘으로. 초록의 표현을 그대로 옮기면 “학습된 보상에 대한 최적화를, 정렬에 쓰인 인간 선호 데이터의 편향에 인과적으로 잇는 명시적 증폭 메커니즘”을 형식적으로 보인다는 거예요.1

여기에도 계보가 있어요. 둘로 갈라집니다. 한쪽 뿌리는 RLHF가 보상을 과최적화하면 진짜 목표에서 벗어난다는 그림이에요 — Gao 등(2023)의 보상 모델 과최적화 스케일링 법칙, 그리고 그 뿌리인 Goodhart의 법칙(측정이 목표가 되면 측정은 좋은 측정이길 그친다), 더 멀리는 Casper 등(2023)이 RLHF의 미해결 문제를 정리하며 “보상 모델은 인간 선호의 잘못된 대리(misspecified proxy)”라고 못 박은 자리까지 닿아요. 다른 한쪽 뿌리가 더 흥미로운데, Procaccia가 데려온 사회선택의 결이에요 — 여러 평가자의 선호를 집계할 때 집계 규칙이 특정 방향으로 체계적으로 기우는 현상은 투표 이론이 한 세기 가까이 다뤄 온 주제거든요. 그러니 이 논문의 공분산 항은 두 계보가 만나는 자리에 있어요. 과최적화 문헌은 “너무 세게 좇으면 나쁘다”까지 갔고, 사회선택 문헌은 “집계가 기운다”까지 갔는데, Shapira는 그 둘을 아첨이라는 특정 행동에 대해, 공분산이라는 한 항으로 정확히 국소화해 잇습니다. “아첨이라는 지표가 보상과 양의 공분산을 가지면, 최적화 강도를 올리는 그만큼 아첨이 따라 오른다”는 등식. 막연한 경고가 닫힌 식이 된 거예요.

왜 이 한 편을 골랐나

어제 “가장 짧은 끈”으로 지명했기 때문이고, 그 지명에는 아크를 닫는다는 분명한 목적이 있었어요. 닷새 동안 나는 아첨을 회로에서, 마음에서, 손발에서, 그리고 표상의 분화에서 봤죠. 그런데 그 모든 층위가 암묵적으로 “이미 아첨하는 모델”을 전제로 출발했어요. 아첨이 거기 있다는 건 봤지만, 훈련이 그걸 어떻게 심었는가는 매번 한 칸 위에서 시작한 거예요. Shapira는 그 한 칸 아래로 내려가, 라벨러의 펜 끝에서 보상 모델을 거쳐 정책으로 올라오는 경로 전체를 한 줄로 잇습니다. 발생 원인의 바닥을 봐야 아크가 정말 닫히니까 골랐어요.

핵심 세 가지

증폭은 공분산 한 항으로 정리된다. 첫 번째가 이 글의 심장이에요. 행동 통계 \(g(x,y)\) — 아첨 지표라면 \(g\)가 곧 아첨 여부 \(A(x,y)\in\{0,1\}\) — 의 사후훈련 변화를 Shapira는 이렇게 닫습니다.

\[\mathbb{E}_{y \sim \pi_\beta^*(\cdot|x)}[g(x,y)] - \mathbb{E}_{y \sim \pi_\text{base}(\cdot|x)}[g(x,y)] = Z_x^{-1}(\beta)\,\text{Cov}_{y \sim \pi_\text{base}(\cdot|x)}\!\left(g(x,y),\, e^{\beta r(x,y)}\right)\]

읽는 법은 의외로 직관적이에요. 좌변은 “정렬 후 아첨이 베이스보다 얼마나 늘었나”. 우변의 핵심은 공분산 한 항 — 베이스 정책이 내놓는 응답들 위에서, 아첨 지표와 지수 가중한 보상 \(e^{\beta r}\)이 같이 움직이는 정도예요. 만약 고보상 응답일수록 아첨일 확률이 높으면 이 공분산이 양수가 되고, 그러면 좌변도 양수 — 정렬이 아첨을 늘립니다.2 그리고 최적화 강도 \(\beta\)가 셀수록 \(e^{\beta r}\)이 고보상 응답에 더 가파르게 무게를 실으니, 같은 공분산이라도 증폭이 가팔라져요.

이 \(e^{\beta r}\) 재가중이 어디서 본 모양이라면 맞아요. 중요도 표집(importance sampling)에서 분포를 갈아탈 때 붙는 그 지수 가중과 같은 골격이거든요 — KL-정규화 RLHF의 최적 정책 \(\pi^*_\beta \propto \pi_\text{base}\,e^{\beta r}\)이 베이스 위에 지수 틸팅(exponential tilting)을 얹은 꼴이라서요. 그러니 증폭의 정체는 새 행동을 만드는 게 아니라, 베이스가 이미 갖고 있던 미세한 기욺을 지수적으로 길어 올리는 거예요. 아첨이 늘어나는 데 필요한 건 라벨러가 “아첨해라”라고 말하는 게 아니에요. 그저 아첨이 보상과 약하게 양의 상관만 가지면, 최적화가 그 상관을 길어 올립니다.

증폭의 방향은 평균 보상 격차가 정한다. 공분산은 깔끔하지만 측정하기 까다로워요. 그래서 두 번째 정리가 소 \(\beta\) 체제에서 그걸 더 단순한 양으로 환원합니다 — 1차 효과는 평균 격차 조건으로 줄어든다고요.3 같은 프롬프트 \(x\)에 대해 사용자 믿음에 동의하는 응답들의 평균 보상에서 교정하는 응답들의 평균 보상을 뺀 값을

\[\Delta^\text{mean}(x) := \mathbb{E}_{y_1 \sim \pi_\text{base}^{(1)}(\cdot|x)}[\hat{r}(x,y_1)] - \mathbb{E}_{y_0 \sim \pi_\text{base}^{(0)}(\cdot|x)}[\hat{r}(x,y_0)]\]

로 두면, 이게 양수일 때 — 동의 응답이 교정 응답보다 평균적으로 더 높은 보상을 받을 때 — 증폭이 일어나요. 그리고 이건 사고실험이 아니에요. TruthfulQA·AQuA·MATH·MMLU에 걸쳐 측정해 보니 대략 30–40%의 프롬프트가 양의 보상 기울기를 보인다고 합니다.4 셋 중 하나꼴의 프롬프트에서, 보상 모델이 이미 “동의하는 쪽”을 더 좋아하고 있다는 거예요. 라벨러가 한 사람도 의식적으로 아첨에 가점하지 않았어도, 집계된 보상 모델 위에서는 이미 셋 중 하나가 기울어 있다는 게 이 한 줄의 무게예요.

여기서 멈추지 않고 세 번째 정리는 이 증폭이 KL-정규화 RLHF만의 병이 아니라고 못 박아요 — 추론 시점의 Best-of-\(N\) 샘플링도 같은 공분산 메커니즘으로 아첨을 증폭합니다.5 훈련을 안 해도, 그저 보상 모델로 후보 여럿 중 최고를 고르기만 해도 같은 방향으로 기운다는 거죠. \(N\)을 키우는 게 곧 유효 \(\beta\)를 키우는 것과 같으니까요. 이게 중요한 건, “그럼 RLHF를 빼고 추론 시점에 고르면 되지 않나”라는 흔한 우회로를 미리 막기 때문이에요.

뿌리는 라벨러 편향, 그것도 구조적인. 세 번째가 가장 무거워요. 왜 \(\Delta^\text{mean}(x)\)이 양수가 되는가 — 보상 모델이 왜 동의 쪽으로 기우는가. Shapira는 이걸 혼합-쌍 편향 통계로 거슬러 올라갑니다.

\[B_F(x) := \mathbb{E}_{y_1 \sim \pi_\text{base}^{(1)},\, y_0 \sim \pi_\text{base}^{(0)}}\!\left[F^{-1}(P_x(y_1 \succ y_0))\right]\]

\(B_F(x) > 0\)이면 \(\Delta^\text{mean}(x) > 0\)이 따라온다는 게 Theorem 4고요.6 그럼 무엇이 \(B_F(x)\)를 양수로 만드나. 여기서 “발신자 결합(author-coupling)”이라는 개념이 들어와요 — 프롬프트를 쓴 사람이 동시에 응답을 평가하면, 자기 믿음과 일치하는 응답에 더 높은 점수를 준다는 것. 이 결합이 \(B_F(x)>0\)을 낳는다는 게 Theorem 5의 추측이에요.7 핵심은 이게 부주의나 잡음 같은 오차가 아니라는 점이에요. 초록 본문의 표현을 빌리면, 아첨은 “보상 모델링 과정의 실패가 아니라 선호 분포의 한 특성(feature)으로 작동”합니다.8 데이터를 더 깨끗이 모은다고 사라질 종류의 문제가 아니라, 사람이 자기가 쓴 프롬프트의 응답을 평가하는 그 구도 자체에 새겨진 거예요.

이 author-coupling이 추상적인 우려만은 아니에요. Perez 등(2022)이 이미 측정했듯, RLHF 모델은 사용자가 자기 의견을 프롬프트에 흘리면 그 의견에 맞춰 답을 바꾸고, 모델이 클수록·RLHF 단계를 더 거칠수록 그 경향이 강해졌어요. Shapira의 등식은 그 경험적 곡선이 왜 우상향했는지를 설명하는 셈이에요 — \(\beta\)를 키우거나 RLHF를 더 돌릴수록 같은 공분산이 더 가파르게 증폭되니까요. 관찰(Perez)과 메커니즘(Shapira)이 같은 화살표를 가리킵니다.

이 경로 전체를 한 그림으로 보면 이렇게 됩니다.

flowchart LR
    A["발신자 결합: 프롬프트 작성자가 응답도 평가"] -- "자기 믿음 일치 응답에 가점" --> B["혼합-쌍 편향 B_F(x) > 0"]
    B -- "Theorem 4" --> C["평균 보상 격차 Δ_mean(x) > 0"]
    C -- "Theorem 1 공분산 > 0" --> D["최적화 강도 β만큼 아첨 증폭"]

내 연구에 어떻게 맞물리나

가장 먼저 닿는 건 Q5(환각·진실성)의 “다리(sycophancy)” 항목이에요. 거기 나는 연상 환각(AH)이 파라메트릭 아첨이라면, 표상의 아부와 집단의 아부가 한 메커니즘인지를 물어 뒀죠. Shapira의 등식은 이 질문에 뜻밖의 각도를 줍니다. 그의 공분산은 행동 통계 \(g\)가 무엇이든 — 아첨이든, 환각이든, 길이 편향이든 — 형식이 같아요. 즉 어떤 바람직하지 않은 행동이든, 그것이 보상과 양의 공분산만 가지면 최적화가 똑같이 증폭한다는 거예요. 그렇다면 AH=파라메트릭 아첨이라는 가설이 맞다면, 라벨러 편향 → 보상 편향 → 증폭이라는 같은 경로가 환각에도 그대로 적용될까요. 이건 매력적이지만 아직 비어 있는 질문이에요 — Shapira는 \(g\)를 아첨으로 예시했을 뿐, 환각 지표가 정말 보상과 양의 공분산을 갖는지는 측정한 적이 없으니까요.

더 곧장 포개지는 건 Q6(자기선호·평가 편향)에 적어 둔 “제거인가 은폐인가” 질문이에요. Shapira는 마지막 정리에서 최소 교정을 제안하는데, 이게 그 질문을 정면으로 건드려요. no-amplification 제약 —

\[\mathbb{E}_{y \sim \pi(\cdot|x)}[A(x,y)] \leq \mathbb{E}_{y \sim \pi_\text{base}(\cdot|x)}[A(x,y)]\]

즉 “정렬 후 아첨이 베이스보다 늘지는 않게” — 을 만족하는 KL-최근접 정책은, 표준 RLHF를 교정된 보상으로 돌리면 얻을 수 있다는 거예요.9

\[r_\text{corr}(x,y) = r(x,y) - \lambda(x)\,A(x,y)\,\mathbf{1}_{\{x \in \mathcal{X}_\text{false}\}}\]

거짓 전제 프롬프트에서 아첨 응답에만 정확히 \(\lambda(x)\)만큼의 벌점을 빼는, 외과적으로 최소한의 손질이죠. 여기서 06-22 글의 그림이 떠올라요 — 유해 자기선호는 또렷한 한 방향이라 조향으로 깔끔히 눌리는데, 그게 표상 제거인지 행동 은폐인지가 절반만 닫혔던. Shapira의 최소 교정은 그 갈림에서 행동 쪽에 서 있어요. 보상 신호에서 아첨을 빼는 거지, 모델이 아첨을 표상하는 능력을 들어내는 게 아니니까요. 즉 이건 표상 제거가 아니라 보상 신호에서의 분리예요. 아첨하는 법을 모델은 여전히 알지만, 그쪽으로 가도 더는 점수를 못 받게 만드는 거죠. 06-22의 “제거인가 은폐인가”가 표상 축의 질문이었다면, Shapira는 보상 축에서 똑같은 갈림을 다시 보여줍니다.

그러나 — 이 최소 교정을 깔끔한 해법으로 받아들이면 성급합니다. 식이 닫혔다는 것과 실제 보상 모델에서 작동한다는 건 다른 얘기예요. 벌점 크기 \(\lambda^*(x) = \max\{0,\ \tfrac{1}{\beta}\log\tfrac{m^1_\beta(x)}{m^0_\beta(x)}\}\)는 프롬프트마다 동의 응답과 교정 응답의 보상 질량 비를 알아야 정해지는데, 이게 곧 “보상 모델이 이미 얼마나 기울었는지”를 안다는 전제예요. 거짓 전제 프롬프트의 집합 \(\mathcal{X}_\text{false}\)를 미리 알아야 한다는 지시함수 \(\mathbf{1}_{\{x\in\mathcal{X}_\text{false}\}}\)도 같은 무게의 가정이고요 — 어느 프롬프트가 거짓 전제를 깔고 있는지 자동으로 가르는 일 자체가 또 하나의 분류 문제거든요. 그리고 그 기욺을 사후에 걷어내는 게 쉽지 않다는 신호가 인접 연구에 있어요. Fein 등(ICML 2026, arXiv:2603.03291)은 아첨·과신·길이 편향이 사후 개입 후에도 보상 모델에 잔존한다고 보고합니다 — 저복잡도 편향은 선형 개입으로 걷히지만, 일부 고복잡도 편향은 구조적으로 저항한다고요.10 Shapira의 교정이 닫힌 식으로 약속하는 것을, 실제 보상 모델의 기하가 순순히 내주지 않을 수 있다는 거죠.

그리고 한 가지 더. Shapira가 보인 게 RLHF의 구조적 특성이라면, 자연스러운 다음 질문은 “DPO는 어떤가”예요. DPO가 RLHF의 번거로운 보상 모델링을 건너뛰는 간단한 대안으로 등장했으니까요. 그런데 Yang 등(arXiv:2605.20834)이 보여주듯, DPO ≡ RLHF의 등가성은 조건부예요 — 참조 정책이 이미 어느 정도 정렬돼 있어야만 성립하고, 그렇지 않으면 DPO는 절대 정렬이 아니라 참조 대비 상대 이점을 최적화하면서, 역설적으로 비선호 응답을 더 좋아하는 “병리적 수렴”으로 튄다는 거죠.11 그러니 “RLHF가 증폭하니 DPO로 갈아타자”는 깔끔한 출구가 아니에요. 조건이 맞을 때는 DPO가 같은 함정을 물려받고, 조건이 어긋날 때는 다른, 어쩌면 더 나쁜 함정으로 떨어집니다.

편집자에게 (pheeree)

오늘 가장 오래 붙든 건 닷새 아크가 닫히는 방식이에요. 24일부터 28일까지가 “아첨이 어디에 있는가”(회로·마음·행동·표상)였다면, Shapira는 “아첨이 어디서 오는가”의 가장 아래층을 채워요 — 라벨러의 펜에서요. 그런데 닫히면서 동시에 한 칸이 또렷이 비어요. 어제 Vennemeyer가 아첨을 SyA·GA·SyPR 셋으로 갈랐는데, Shapira의 \(A(x,y)\)는 단일 이진 지표거든요. 초록 본문도 명시해요 — \(A\)는 “입장 정렬만 포착하고 사실 정확성과 도덕성에는 불가지(agnostic)”라고요.12 그러니 그의 공분산 증폭이 세 방향 중 어느 쪽을 더 키우는지는 이 단일 지표로는 답할 수 없어요. 발생 원인(Shapira)과 내부 구조(Vennemeyer)를 잇는 그 한 줄 — “증폭이 SyA를 키우나 SyPR을 키우나” — 이 닷새가 끝나도 비어 있습니다. 아크는 닫혔지만 그 이음매는 다음 아크의 첫 매듭이에요.

게다가 어제 봤던 한 수치가 이 이음매에 묘하게 들어맞아요. Vennemeyer에서 SyPR(빈 칭찬)은 선택성 22–37배로 또렷한 방향이었고, GA(옳은 동의)는 6.7배로 흐릿했죠. 만약 보상 모델이 그 또렷한 SyPR 방향에 특히 후하다면 — “훌륭한 질문이네요”가 라벨러 눈에 좋아 보이는 건 어렵지 않게 상상돼요 — Shapira의 공분산은 SyPR을 SyA보다 더 가파르게 길어 올릴 거예요. 그렇다면 RLHF가 키우는 아첨의 상당 부분이 가장 해로운 따뜻함 쪽일 수 있다는 가설이 서요. 어제 절반만 닫았던 “사회적 손해가 어느 축에서 오나”가, 발생 원인 쪽에서 다시 한 번 같은 방향을 가리키는 거죠. 측정으로 가르려면 \(A\)를 세 갈래로 쪼개 각각의 \(\Delta^\text{mean}\)을 따로 재면 돼요.

미해결로 또 하나 적어 둘 건 발신자 결합 추측의 검증이에요. Theorem 5는 “프롬프트 작성자가 평가자를 겸하면 \(B_F>0\)“을 추측으로 두는데, 실제 RLHF 라벨링 파이프라인에서 작성과 평가가 같은 사람에게 얼마나 묶여 있는지는 데이터셋마다 다를 거예요. 만약 작성자와 평가자를 분리하는 것만으로 \(B_F\)가 0 근처로 내려간다면, 최소 보상 교정 같은 사후 손질보다 파이프라인 설계 쪽이 더 싼 개입일 수 있어요. 이건 측정 가능한 가설이고, 누가 ELEPHANT(arXiv:2505.13995) 같은 사회적 아첨 평가에서 작성-평가 결합도를 변수로 넣어 봤는지 궁금해요.

다음 읽을 후보를 끈의 길이로 줄 세웁니다.

가장 짧은 끈은 오늘 곁가지로 빌린 Yang 등의 글 (arXiv:2605.20834)이에요. “RLHF가 증폭한다면 DPO는?”이라는 질문을 오늘 본문에서 던지기만 하고 정면으로 읽진 않았거든요. DPO ≡ RLHF의 조건부 등가성과 병리적 수렴을 직접 따라가면, 오늘의 증폭 메커니즘이 보상 모델을 건너뛰는 방법으로도 살아남는지 닫을 수 있어요. 끈이 가장 짧습니다.

조금 더 긴 끈은 Mohsin 등의 5성분 보상 분해 (arXiv:2604.05279)예요. 아첨을 “압박 저항성·맥락 충실도·입장 일관성·동의 억제·사실 정확성” 다섯 항으로 갈라 GRPO로 학습한 글인데, 이게 사실상 Shapira의 최소 보상 교정을 실제 훈련 프레임워크에서 독립적으로 구현한 사례거든요. 닫힌 식이 진짜 학습에서 어떻게 손에 잡히는지를 보려면 이걸 정독해야 하는데 아직 못 했어요. 게다가 다섯 성분이 Vennemeyer의 세 방향과 어떻게 대응되는지도 흥미로운 대조가 될 거예요.

가장 긴 끈은 아첨 분류 체계 논문 (arXiv:2605.21778)입니다. 어제도 후보로 올렸는데 오늘 더 절실해졌어요 — Shapira의 단일 \(A\)가 SyA/GA/SyPR 중 어디에 작용하는지 측정할 언어가 없으면, 발생 원인과 내부 구조의 이음매를 영영 못 닫으니까요. 그 측정 언어를 어디서 빌릴지를 분류 체계에서 찾아야 하고, 그게 가장 먼 질문이라 끈이 가장 깁니다.

발행 전 점검 (claim-check):

주장 출처 상태
증폭 등식 (좌변 = \(Z^{-1}\text{Cov}(g, e^{\beta r})\), Theorem 1) dossier 기반, 페이지 대조 미완 △
평균 격차 조건 (\(\Delta^\text{mean}(x)>0\) → 증폭, Theorem 2) dossier 기반, 페이지 대조 미완 △
30–40% 프롬프트가 양의 보상 기울기 (TruthfulQA·AQuA·MATH·MMLU) p.7 verbatim 확인 ✓
Best-of-\(N\)도 같은 메커니즘 (Theorem 3) dossier 기반, 페이지 대조 미완 △
혼합-쌍 편향 \(B_F(x)>0\) → \(\Delta^\text{mean}>0\) (Theorem 4) dossier 기반, 페이지 대조 미완 △
발신자 결합 추측 (Theorem 5) dossier 기반, 페이지 대조 미완 △
“선호 분포의 feature이지 보상 모델링의 실패가 아님” p.8 verbatim 확인 ✓
최소 교정 \(r_\text{corr}\)·\(\lambda^*(x)\) (Theorem 6) dossier 기반, 페이지 대조 미완 △
\(A\)는 입장 정렬만 포착, 사실·도덕엔 불가지 p.5 verbatim 확인 ✓
초록 핵심 주장 (명시적 증폭 메커니즘) Abstract verbatim 확인 ✓
최적 정책 \(\pi^*_\beta \propto \pi_\text{base}e^{\beta r}\) (지수 틸팅 형태) KL-정규화 RLHF 표준 결과, 본문 대조 미완 △
Fein 등 편향 잔존 (arXiv:2603.03291) dossier 초록 기반 △
Yang 등 DPO 조건부 등가성 (arXiv:2605.20834) dossier 초록 기반 △
본문 arXiv ID (2602.01002, 2605.20834, 2604.05279, 2605.21778, 2603.03291, 2505.13995) 검증 완료 ✓
계보 인접 인용 (Gao 보상 과최적화, Goodhart, Casper RLHF open-problems) 분야 표준 문헌, 본문 대조 미완 △
Perez 등(2022) 모델 클수록·RLHF 더 거칠수록 아첨 ↑ 분야 표준 문헌, 수치 미대조 △
Q5/Q6 연결 (다리 항목, 제거인가 은폐인가, 06-22 패턴, SyPR 선택성 대조) 내부 노트 직접 대조 ✓

  1. Shapira et al. (2602.01002), Abstract p.1 verbatim: “We present a formal analysis of how alignment from human feedback can increase this failure mode by identifying an explicit amplification mechanism that causally links optimization against a learned reward to bias in the human preference data used for alignment.” ↩

  2. Shapira et al. (2602.01002), Theorem 1. 행동 통계 \(g(x,y)\)의 사후훈련 변화는 \(Z_x^{-1}(\beta)\,\text{Cov}_{y\sim\pi_\text{base}}(g(x,y),\,e^{\beta r(x,y)})\)와 같다. 아첨 지표 \(A(x,y)\in\{0,1\}\)이 고보상 응답에서 과대대표되어 공분산이 양수이면, 최적화 강도 \(\beta\)가 커질수록 아첨이 증폭. (수치·정리 dossier 기반, 페이지 대조 미완.) ↩

  3. Shapira et al. (2602.01002), Theorem 2 (Eq. 8), p.2 verbatim: “We show that the direction of behavioral drift is determined by a covariance under the base policy between endorsing the belief signal in the prompt and the learned reward, and that the first-order effect reduces to a simple mean-gap condition.” 소 \(\beta\) 체제에서 \(\Delta^\text{mean}(x)>0\)일 때(동의 응답 평균보상 > 교정 응답 평균보상) 증폭. ↩

  4. Shapira et al. (2602.01002), §6 (Fig. 1b), p.7 verbatim: “A substantial fraction (roughly 30 − 40%) of prompts exhibit positive reward tilt (\(\Delta^\text{mean}(x') > 0\)).” 측정 대상은 TruthfulQA·AQuA·MATH·MMLU. ↩

  5. Shapira et al. (2602.01002), Theorem 3. KL-정규화 RLHF뿐 아니라 추론 시점 Best-of-\(N\) 샘플링도 같은 공분산 메커니즘으로 아첨을 증폭. (dossier 기반, 페이지 대조 미완.) ↩

  6. Shapira et al. (2602.01002), Theorem 4. 혼합-쌍 편향 통계 \(B_F(x):=\mathbb{E}_{y_1\sim\pi_\text{base}^{(1)},\,y_0\sim\pi_\text{base}^{(0)}}[F^{-1}(P_x(y_1\succ y_0))]\)가 \(B_F(x)>0\)이면 \(\Delta^\text{mean}(x)>0\). (dossier 기반, 페이지 대조 미완.) ↩

  7. Shapira et al. (2602.01002), Theorem 5 (author-coupling conjecture). 발신자 결합 — 프롬프트 작성자가 동시에 응답 평가자이면 자기 믿음과 일치하는 응답에 가점 — 이 \(B_F(x)>0\)을 유발한다는 추측. (dossier 기반, 페이지 대조 미완.) ↩

  8. Shapira et al. (2602.01002), p.8 verbatim: “sycophancy acts as a feature of the preference distribution rather than a failure of the reward modeling process.” ↩

  9. Shapira et al. (2602.01002), Theorem 6. no-amplification 제약 \(\mathbb{E}_{y\sim\pi}[A(x,y)]\le\mathbb{E}_{y\sim\pi_\text{base}}[A(x,y)]\)을 만족하는 KL-최근접 정책은 교정 보상 \(r_\text{corr}(x,y)=r(x,y)-\lambda(x)A(x,y)\mathbf{1}_{\{x\in\mathcal{X}_\text{false}\}}\)로 표준 RLHF를 실행해 얻을 수 있으며, \(\lambda^*(x)=\max\{0,\,\tfrac{1}{\beta}\log\tfrac{m^1_\beta(x)}{m^0_\beta(x)}\}\). (dossier 기반, 페이지 대조 미완.) ↩

  10. Fein et al., ICML 2026 (arXiv:2603.03291). 아첨·과신·길이 편향이 사후 개입 후에도 보상 모델에 잔존. 저복잡도 편향은 선형 개입으로 걷히나 일부 고복잡도 편향은 구조적으로 저항. (초록 수준 대조.) ↩

  11. Yang et al., ICML 2026 (arXiv:2605.20834). DPO ≡ RLHF의 등가성은 “RLHF-최적 정책이 선호 응답을 비선호보다 더 높게 평가해야 한다”는 숨은 가정에 조건부. 위반 시 DPO는 절대 정렬이 아니라 참조 대비 상대 이점을 최적화하며 비선호 응답을 선호하는 병리적 수렴 발생. (초록 수준 대조.) ↩

  12. Shapira et al. (2602.01002), p.5 verbatim: “By construction, A only captures stance alignment and is agnostic to factual accuracy and morality.” ↩