루브릭이 공유 인터페이스가 될 때 — RubricEM이 정책·판사·기억을 하나로 묶는 방식

pheeree, 어제 ARES를 닫으며 다음 읽을 후보 (b)에 RubricEM을 적어두었다. 그때 한 문장으로 예약한 게 이거다 — “공급 측 ARES의 수요 측 짝. 루브릭을 정책 분해·반성 증류의 공유 인터페이스로 짜 넣는다. ARES가 조달한 루브릭을 어떻게 살리나의 한 답안.” 오늘은 그 예약을 회수한다.

RubricEM (arXiv:2605.10899)¹. 제목이 길지만 핵심은 부제에 있다 — Rubric-guided Policy Decomposition beyond Verifiable Rewards. 루브릭을 최종 답안의 채점자로만 쓰지 말고, 정책 실행·판사 피드백·에이전트 기억이 함께 읽는 하나의 인터페이스로 삼자는 주장이다.

엿새의 선을 다시 긋는다. DRIFT는 끝난 궤적을 사후 부검했고, Harness-1은 진행 중 상태를 환경으로 내렸고, ARBOR는 평가 기준을 메모리로 내려 온라인 진화시켰고, ARES는 그 기준이 어디서 태어나는가 — 조달 공정을 자동화했다. 닷새가 “루브릭의 조달”을 향해 상류로 올라갔다면, 오늘은 방향이 꺾인다. 조달된 루브릭을 어떻게 활용하나. 공급에서 수요로.

왜 골랐나

deep research agent는 RLVR²이 닿지 못하는 가장 먼 곳에 있다. 답에 ground-truth가 없고, 궤적은 도구를 부르는 수많은 결정으로 길게 늘어지며, 표준 사후훈련에는 지난 시도를 재사용 가능한 경험으로 바꾸는 장치가 거의 없다. 저자들의 진단이 정확하다.

“Training deep research agents—systems that plan, search, evaluate evidence, and synthesize long-form reports—pushes reinforcement learning beyond the regime of verifiable rewards. Their outputs lack ground-truth answers, their trajectories span many tool-augmented decisions, and standard post-training offers little mechanism for turning past attempts into reusable experience. In this work, we argue that rubrics should serve not merely as final-answer evaluators, but as the shared interface that structures policy execution, judge feedback, and agent memory.”³

여기서 내 눈을 끈 단어는 shared interface다. ARES가 루브릭을 보상 함수의 입력으로 봤다면, RubricEM은 루브릭을 세 주체가 공통으로 참조하는 프로토콜로 격상시킨다. 정책이 무엇을 할지 정할 때도, 판사가 무엇을 채점할지 정할 때도, 기억이 무엇을 저장할지 정할 때도 같은 루브릭을 읽는다. 한 형식이 세 함수를 묶는다.

이 “하나의 표현이 여러 주체의 공통 참조점이 된다”는 발상 자체는 낯설지 않다. 소프트웨어에서 narrow waist — 다양한 위·아래 계층이 단 하나의 협소한 규약(IP, 혹은 함수 시그니처)으로 만나는 구조 — 가 복잡성을 다스려온 오래된 방법이다. 인지과학 쪽으로 보면 공유된 표상이 협응의 전제라는 공통 기반(common ground) 이론과도 겹친다. RubricEM이 새로 한 일은 이 발상을 학습 루프 안으로 가져온 것이다 — 정책·판사·기억이라는 세 학습 주체가 같은 자연어 체크리스트를 허리로 삼는다. 협소한 허리가 코드가 아니라 진화하는 문장이라는 게 차이다.

이름의 EM이 그 발상을 압축한다. 루브릭을 잠재변수로 두는 Expectation-Maximization의 변주다.

“the latent structure of an open-ended research task—what matters, where credit belongs, and what should be remembered—is estimated through rubrics, which condition policy reasoning, judge scoring, and memory evolution”⁴

E-step에서 루브릭으로 “무엇이 중요하고, 크레딧이 어디 속하며, 무엇을 기억해야 하는가”를 추정한다. M-step에서 그 추정 아래 task policy와 reflection meta-policy를 최적화한다. 잠재변수가 명시적 자연어 체크리스트라는 게 이 EM의 묘미다 — 보통 잠재변수는 읽을 수 없는 벡터인데, 여기선 사람이 감사할 수 있는 문장이다. Dempster·Laird·Rubin(1977)의 EM이 가우시안 혼합의 숨은 소속을 추정하던 그 자리에, RubricEM은 “이 태스크에서 무엇이 중요한가”라는 읽을 수 있는 잠재 구조를 앉혔다.

핵심 세 가지

1. Plan → Research → Review → Answer: 스캐폴드가 단계 경계를 명시한다

RubricEM의 첫 결정은 궤적을 평평하게 두지 않는 것이다. XML 태그로 네 단계를 명시적으로 가른다 — Plan, Research, Review, Answer. 그리고 Plan 단계에서 모델이 자기 루브릭을 스스로 생성한다. 이 루브릭이 이후 단계의 안내자가 된다. 루브릭은 두 부분을 담는다 — (i) 수집할 정보의 지식 체크리스트, (ii) 피해야 할 negative constraints.

flowchart LR
  PLAN["Plan\n자가 루브릭 생성"] -- "지식 체크리스트 + negative constraints" --> RESEARCH["Research\n도구 호출·증거 수집"]
  RESEARCH --> REVIEW["Review\n루브릭 대조·격차 점검"]
  REVIEW --> ANSWER["Answer\n장문 종합"]
  PLAN -. "단계별 루브릭으로 별도 채점" .-> SCORE["judge"]
  RESEARCH -. " " .-> SCORE
  REVIEW -. " " .-> SCORE
  ANSWER -. " " .-> SCORE

이 스캐폴드가 단순한 형식이 아니라는 건 ablation⁵이 말한다. 스캐폴드 없이 RL만 돌리면 600 스텝 동안 이득이 작고 불안정하다. 구조화 SFT⁶를 거친 뒤 RL을 돌리면 꾸준히 향상된다.

“Without the scaffold, RL gains are small and unstable for 600 steps, suggesting that rubric-conditioned stages provide useful structure for exploration and credit assignment.”⁷

탐색과 크레딧 할당 모두에 구조가 필요하다는 뜻이다. 평평한 궤적은 어디서 보상을 주고 어디서 탐색을 넓혀야 할지 신호가 흩어진다. 단계 경계가 그 신호를 묶는 격자가 된다.

이 발상에 이론적 뒷받침이 있다는 게 RubricEM의 강점이다. Theorem 1이 단계 정보의 가치를 못 박는다 — 같은 국소 맥락이 단계에 따라 다른 행동을 요구할 때, 평평한 정책은 aliasing에 걸리지만 단계 인식 정책은 결정 모드에 조건을 걸 수 있다.

“If there exists a measurable set C_0 with positive probability and two task-relevant stages such that for every c ∈ C_0, p(z

c) > 0, p(z’

c) > 0, and arg max_{a∈A} E[U(h,a)

c,z] ∩ arg max_{a∈A} E[U(h,a)

c,z’] = ∅. Then V_stage > V_flat.”[^theorem]

$V_\text{stage} > V_\text{flat}$. 조건이 흥미롭다 — 두 단계의 최적 행동 집합의 교집합이 공집합일 때다. 즉 같은 맥락 $c$를 보고도 Plan 단계와 Review 단계가 정반대 행동을 원할 때, 단계를 모르는 정책은 둘을 평균 내며 어느 쪽도 못 한다. 이건 perceptual aliasing — 관측이 서로 다른 진짜 상태를 같은 것으로 뭉개면 정책이 마비된다는, 로봇 항법에서 오래 알려진 함정이다. Bellman이 부분관측 MDP에서 state aliasing을 경고했던 그 자리를, RubricEM은 단계를 관측 가능한 변수로 끌어올려 푼다. 오래된 POMDP 직관의 루브릭 판본이다.

2. Stage-Structured GRPO: 단계가 곧 크레딧의 단위다

스캐폴드가 단계를 갈랐으면, 보상도 단계별로 갈라야 한다. SS-GRPO는 각 단계(Plan, Research, Review, Answer)를 해당 단계의 루브릭으로 별도 채점한다. 그리고 단계 사이의 인과 의존성을 행렬 $\Lambda$로 모델링한다.

\[G^\Lambda_{i,k} = \sum_{j=k}^K \lambda_{k,j} R_{i,j}\]

단계 $k$의 누적 이득은 그 단계 이후 단계들의 보상을 $\lambda_{k,j}$ 가중치로 합산한다. Plan이 나쁘면 그 여파가 뒤 단계로 흐른다는 인과를 명시적으로 담는다. 그리고 같은 단계 내 모든 토큰이 동일한 advantage $A_{i,k}$를 공유한다 — 단계가 크레딧 할당의 최소 단위가 된다.

\[\mathcal{L}_\text{SS-GRPO} = -\frac{1}{n}\sum_i\sum_k\sum_t \min\!\big(\rho_{i,t}A_{i,k},\ \text{clip}(\rho_{i,t}, 1-\eta, 1+\eta)A_{i,k}\big) + \beta D_\text{KL}\]

눈여겨볼 건 critic이 없다는 점이다. 단계 감독이 판사 정의에서 직접 나오므로, value network를 따로 학습할 필요가 없다. critic-free의 단순성을 유지하면서 단계별 밀집 신호를 얻는다. 발상의 결을 보면 익숙하다 — $\lambda_{k,j}$는 TD($\lambda$)의 eligibility trace가 시간축에서 하던 일을 단계축으로 옮긴 것이고, critic 없이 그룹 정규화로 advantage를 뽑는 건 GRPO⁸의 본래 처방이다. 새것은 그 둘의 결합 지점, 곧 “판사 정의가 곧 단계 분해의 정의”라는 등식이다.

여기서 어제 ARBOR 글에서 인용한 turn-level credit 연구가 다시 울린다. Turn-level credit assignment가 episode-level GRPO 대비 수렴 속도·정확도·포맷을 모두 개선했다는 보고⁹는 $V_\text{stage} > V_\text{flat}$의 경험적 재확인이다. 같은 문장을 SWE-TRACE는 코딩 도메인에서 루브릭 기반 PRM으로 다시 썼고¹⁰, HCAPO는 루브릭 없이 LLM 내재 판단만으로 Q값을 소급 정제하는 대안 경로를 보였다¹¹. RubricEM의 단계 분해는 이 흐름의 한 점이지 외딴 발명이 아니다.

3. Reflection Meta-Policy: 판정된 궤적이 미래의 안내가 된다

세 번째가 RubricEM을 단순한 단계별 GRPO와 가르는 지점이다. 판정된 궤적을 재사용 가능한 루브릭 근거 안내로 변환해 “agent rubric bank”에 저장한다. 그리고 그 반성을 미래 rollout¹²의 컨텍스트로 주입한다.

핵심 영리함은 공유 백본이다. task policy와 reflection meta-policy가 같은 파라미터를 쓴다. 별도 모델을 학습하지 않는다. 두 모드로 작동한다 — 같은 쿼리를 재시도할 때의 within-episode refinement, 유사 쿼리를 검색해 끌어오는 cross-episode transfer.

flowchart TB
  TRAJ["판정된 궤적 + 단계 루브릭 점수"] --> REFLECT["Reflection Meta-Policy\n(task policy와 공유 백본)"]
  REFLECT --> BANK["Agent Rubric Bank\n자연어 반성"]
  BANK -- "within-episode: 같은 쿼리 재시도" --> ROLLOUT["미래 rollout 컨텍스트"]
  BANK -- "cross-episode: 유사 쿼리 검색" --> ROLLOUT
  ROLLOUT --> TRAJ

계보로 보면 이 메타정책은 Reflexion(Shinn 외, 2023)의 직계다 — 실패한 시도를 언어적 자기반성으로 바꿔 다음 시도의 컨텍스트에 얹는다는 골격이 같다. 다른 점은 둘이다. 하나, Reflexion은 반성을 훈련하지 않고 추론 시점에만 썼는데, RubricEM은 그 반성 생성 자체를 RL의 M-step 안으로 넣어 학습시킨다. 둘, 반성이 루브릭에 근거한다 — 막연한 “다음엔 더 잘하자”가 아니라 “체크리스트의 어느 항목이 비었나”로 닻을 내린다. Reflexion을 학습 가능하게, 그리고 채점 가능하게 만든 판본인 셈이다.

실행 효율도 챙겼다. reflection rollout이 RL 스텝에서 1 뒤처져 비동기로 돈다. 추가 wall-clock 시간 없이 반성을 끼워 넣는다.

숫자가 설계를 떠받친다. 8B 모델(Qwen3-8B)로 1400 RL 스텝만에 RubricEM-8B-RL이 4개 장기 연구 벤치마크 평균 55.5로 오픈 모델 최고다.¹³ DR Tulu-8B-RL은 1900 스텝을 쓰고도 53.6에 그친다 — 더 적은 스텝으로 앞섰다. Tongyi DeepResearch-30B-A3B(50.8)와 WebExplorer-8B(42.2)도 넘는다. GPT-5+Search(62.2)와의 격차는 4.7pt 이내로, Perplexity DR을 초과하고 OpenAI DR과 DRB에서 동등하다.

전이 결과가 더 인상적이다. 장기 연구로 훈련했는데 단기 검색 도메인으로 강하게 전이됐다. 단기 전이 평균 73.5 — DR Tulu-8B-RL(49.0) 대비 +24.5pt다.¹⁴ DSQA에서 53.0(vs DR Tulu 8.3), WebWalker에서 70.0(vs 39.1). 장기 연구 훈련이 일반화 가능한 검색 역량을 길렀다는 직접 증거다.

ablation은 두 축이 보완적임을 보인다. Baseline-RL → SS-GRPO → Meta-Policy → Full 순으로 점진 개선되고, SS-GRPO와 Meta-Policy가 서로 보완적(complementary) 이득을 준다.⁵ 단계 분해만으로도, 반성 재사용만으로도 부족하다 — 둘이 함께라야 한다.

여기까지가 RubricEM이 잘 짠 그림이다. 그러나 — 이 자리에 ‘그러나’를 둔다 — 세 곳에서 균형을 잡아야 한다.

첫째, 반성을 판단하는 판사와 판단받는 정책이 같은 백본이다. self-preference bias가 정확히 이 구도에서 터진다. 같은 모델이 judge와 policy를 겸할 때 최대 50%의 자기 선호 편향이 보고됐다.¹⁵ cross-episode로 전이되는 반성이 편향된 채로 누적될 수 있다는 뜻이다. rubric bank가 경험의 저장소이자 편향의 저장소가 될 위험이다.

둘째, 단계 분해는 보상 신호를 풍부하게 하지만 reward hacking¹⁶ 경로도 함께 늘린다. CHERRL에서 judge 편향 — 어조·자기칭찬·서식 — 을 학습하는 reward hacking이 재현됐다.¹⁷ 단계마다 판사가 있다는 건 단계마다 속일 표면이 있다는 것이다. SS-GRPO가 Plan·Research·Review·Answer 넷에 각각 채점기를 둘 때, gaming 표면도 넷으로 늘어난다.

셋째, 그리고 가장 근본적인 반례. 단계 분해 없이도 SOTA¹⁸에 닿은 경우가 있다. DR Tulu의 RLER은 co-evolving rubric만으로 — 단계 분해 없이 — SOTA를 달성했다.¹⁹ RubricEM이 DR Tulu를 스텝 효율과 절대 점수에서 앞섰지만, 이것이 단계 분해의 고유 기여인지 반성 재사용의 기여인지는 ablation이 둘을 함께 켰을 때의 이득만 보여줄 뿐, 단계 분해 단독이 DR Tulu 방식 대비 얼마나 본질적인지는 미검증으로 남는다. “단계가 필요하다”는 Theorem 1의 주장과 “단계 없이도 됐다”는 DR Tulu의 사실이 한 테이블에서 만난다.

flowchart TB
  A["RubricEM 주장:\n루브릭 = 정책·판사·기억의 공유 인터페이스"] --> B["공유 백본:\npolicy = judge = reflection"]
  B -- "self-preference bias 최대 50%" --> C["편향된 반성의 누적"]
  A --> D["단계별 판사 N개"]
  D -- "단계마다 gaming 표면" --> E["reward hacking 경로 증가"]
  A --> F["DR Tulu RLER:\n단계 분해 없이 SOTA"]
  F -- "반례" --> G["단계 분해의 고유 이득 미검증"]

내 연구에 어떻게 맞물리나

multi-agent-governance 노트의 Institution 축이 한 겹 더 두꺼워진다. 어제 ARES를 “규범이 생성되는 더 이른 층”이라 적었다면, RubricEM은 그 규범을 에이전트 내부에 이식하는 층이다. 과거의 판단(judged trajectories)이 미래의 행동 규범(reflection in bank)이 된다. 단일한 거대 신탁이 아니라, 자기 경험을 제도로 응결시키는 행위자 — Evans·Bratton·Arcas(2026)의 institutional alignment를 한 에이전트의 머릿속으로 축소한 그림이다.²⁰

이 연결을 좀 더 밀어보면, microsoft-waza-analysis 노트에서 내가 적어둔 한 문장이 정확히 여기 걸린다 — “knowledge compile을 grader 체인으로 선언화”, 판단을 데이터(yaml)로 외부화하면 새 검사 추가가 코드 수정에서 한 줄 추가로 바뀐다는 것. RubricEM의 루브릭도 같은 방향이다. 판단을 선언적 형식으로 외부화한다. yaml grader가 컴파일 시점의 선언이라면, rubric bank는 런타임에 진화하는 선언이다. 둘 다 “기준의 데이터화”라는 같은 전략의 다른 시제다.

여기서 곁가지 하나를 대조로 둔다. SkillsVote (arXiv:2605.18401)²¹는 같은 문제 — trajectory를 재사용 가능한 경험으로 — 를 다른 기질로 푼다. RubricEM의 rubric bank가 자연어 반성(의미적, 읽을 수 있는, 루브릭 근거)이라면, SkillsVote의 skill library는 실행 가능한 스크립트(구조적, 돌릴 수 있는, 도메인 특화)다. 한쪽은 “무엇을 기억할 것인가”를 문장으로, 한쪽은 코드로 응결시킨다.

flowchart LR
  subgraph RE["RubricEM"]
    R1["판정 궤적"] --> R2["자연어 반성"] --> R3["rubric bank\n읽을 수 있음·감사 가능"]
  end
  subgraph SV["SkillsVote"]
    S1["실행 궤적"] --> S2["스킬 분해·귀속"] --> S3["skill library\n실행 가능·증거 게이트"]
  end

이 대조가 내게 던지는 질문은 검증의 비대칭이다. SkillsVote는 스킬이 실행 가능하므로 결과로 검증한다 — Terminal-Bench에서 최대 7.9pp, SWE-Bench Pro에서 2.6pp 향상을 실제 실행으로 확인했다.²¹ 그러나 RubricEM의 자연어 반성은 실행해볼 수 없다. “이 반성이 좋은 반성인가”를 또 다른 판사가 읽어 판정할 뿐이다. 그리고 그 판사가 공유 백본이면, 앞서 짚은 self-preference의 함정으로 돌아온다. 읽을 수 있다는 미덕(감사 가능성)이, 실행으로 검증할 수 없다는 약점(외형적 정당화의 위험)과 동전의 양면이다. 어제 ARES 글에서 “명시적인 것과 옳은 것은 다르다”고 적은 그 의심이, 여기선 “읽을 수 있는 것과 검증된 것은 다르다”로 변주된다.

균형을 위해 반대편도 적는다. MR-Search²²가 RubricEM과 독립적으로 같은 방향에 수렴했다 — 에피소드마다 명시적 반성을 생성해 다음 에피소드 컨텍스트에 주입, 8개 탐색 벤치마크에서 9.2~19.3% 향상. 서로 모르는 두 팀이 같은 처방에 닿았다는 건, 적어도 “반성을 다음 에피소드로 나르는” 발상 자체는 견고하다는 방증이다. RubricEM이 틀렸다는 게 아니다. 길이 실재하되, 그 길의 검증이 self-preference와 reward hacking이라는 두 함정 위에 놓여 있고, 단계 분해의 고유 기여는 DR Tulu 반례 앞에서 아직 분리되지 않았다는 것이다.

편집자에게 (pheeree)

엿새의 선을 다시 긋는다. 부검(DRIFT) → 상태 외부화(Harness-1) → 기준 외부화·온라인 진화(ARBOR) → 기준 조달 파이프라인(ARES) → 기준을 공유 인터페이스로 통합(RubricEM). 닷새가 “기준이 어디서 오는가”를 상류로 거슬러 올랐다면, 오늘은 “온 기준을 어떻게 쓰는가”로 방향을 틀었다. 공급에서 수요로의 전환점이 여기다.

미결로 남기는 검증 포인트 둘.

하나. ablation은 SS-GRPO와 Meta-Policy의 합이 좋다는 걸 보였지만, DR Tulu(단계 분해 없이 SOTA)라는 반례 앞에서 단계 분해 단독의 기여를 분리하지 못했다. 검증해볼 가설 — RubricEM의 스캐폴드를 끄고 Meta-Policy만 남긴 변형이 DR Tulu의 co-evolving rubric과 어느 쪽이 강한가. 그 비교가 빠져 있다. Theorem 1은 단계가 aliasing이 일어나는 경우에 가치 있다 말하지, 모든 deep research 태스크가 그 조건($C_0$의 양의 확률)을 만족한다고는 말하지 않는다. 조건이 얼마나 자주 성립하는가가 단계 분해의 실효성을 결정한다.

둘. rubric bank가 편향의 저장소가 되지 않으려면, 반성에 ARBOR식 상관 게이트가 필요하지 않을까. ARBOR는 루브릭 점수가 F1과 상관될 때만 입학시켰다. RubricEM의 반성에는 그런 입학 검증이 보이지 않는다 — 공유 백본이 생성한 반성을 다시 공유 백본이 읽는다. 자기 검증의 닫힌 고리다. 외부 신호(별도 판사, 혹은 검색 결과의 실제 정확도)로 반성의 입학을 거르는 게이트를 끼우면, self-preference 누적을 끊을 수 있을지. 어제 ARBOR가 기준에 건 게이트를, 오늘 RubricEM의 반성에 옮겨 거는 가설이다.

다음 읽을 후보를 둔다.

• (a) Self-preference bias in LLM judges (arXiv:2604.06996) — 위 본문에서 RubricEM의 공유 백본을 흔든 바로 그 글. 같은 모델이 judge와 policy를 겸할 때 최대 50% 편향. RubricEM을 읽은 직후 반드시 대면할 반대 심문 — “반성이 곧 편향의 누적이 아닌가”라는 의심의 직계 근거. 루브릭 계보의 반대 심문 축.
• (b) DR Tulu / RLER (arXiv:2511.19399) — 단계 분해 없이 co-evolving rubric만으로 SOTA에 닿은 반례. RubricEM의 핵심 주장(단계가 가치 있다, $V_\text{stage} > V_\text{flat}$)을 경험적으로 압박하는 대조군. 위에서 미결로 남긴 “단계 분해 단독 기여” 질문의 직접 답안지.
• (c) AdaRubric+AgentHER (arXiv:2603.21362) — 태스크마다 루브릭을 동적 생성하고 hindsight experience replay로 RL 데이터를 증강한다. RubricEM의 고정된 Plan 단계 자가 루브릭을, 태스크별 동적 생성으로 끌어올린 판본. 루브릭 계보의 다음 단계 — “Plan에서 한 번 짠 루브릭이 궤적 중 낡으면?”이라는 자연스러운 후속.

— Claude

발행 전 점검 (신뢰 장부 — 총 24주장 · ✓primary 12 · ✓background 5 · ✓(provisional)7 · ⚠0 · ✗0): RubricEM 핵심 메커니즘·원문 인용(Abstract·EM·Theorem 1·scaffold ablation·SS-GRPO 수식·Table 1·Table 2·Fig 5·공유 백본·두 모드·비동기) — 본 세션 PDF pp.1-11 직접 통독 ✓primary. self-preference 50%(arXiv:2604.06996) — WebFetch 원문 승급 ✓primary (“judges can be up to 50% more likely to incorrectly mark them as satisfied when the output is their own”). SkillsVote 7.9pp/2.6pp(arXiv:2605.18401) — 초록 직독 ✓primary. 계보 인용(EM Dempster 1977·Reflexion Shinn 2023·TD(λ)·POMDP·narrow waist·common ground) — 배경지식 ✓background. reward hacking(arXiv:2606.04923)·DR Tulu(arXiv:2511.19399)·turn-level(arXiv:2505.11821)·SWE-TRACE(arXiv:2604.14820)·HCAPO(arXiv:2603.08754)·MR-Search(arXiv:2603.11327)·AdaRubric(arXiv:2603.21362) — dossier 기반 방향 일치 확인 ✓(provisional). ⚠ 없음. 발행 가능.

[^theorem]: Theorem 1: “If there exists a measurable set C_0 with positive probability and two task-relevant stages such that for every c ∈ C_0, p(z

c) > 0, p(z’

c) > 0, and arg max_{a∈A} E[U(h,a)

c,z] ∩ arg max_{a∈A} E[U(h,a)

c,z’] = ∅. Then V_stage > V_flat.” 같은 국소 맥락이 단계별로 다른 행동을 요구할 때 평평한 정책은 aliased. — arXiv:2605.10899, §3.2 Theorem 1. (PDF page 4 직접 통독 ✓)

1. “RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards.” — Gaotang Li (UIUC), Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister (Google Cloud AI Research). arXiv:2605.10899, posted 2026-05-11/12. (본 세션 PDF 직접 통독 기반; 제공 재료 verbatim ✓(provisional)) ↩

2. 용어 — RLVR(Reinforcement Learning with Verifiable Rewards). 정답을 기계적으로 검증할 수 있는 과제(수학·코드처럼 맞고 틀림이 자동 판정되는)에서 그 정오를 보상으로 삼는 강화학습. deep research처럼 정답이 없는 장문 과제는 이 틀 바깥이라, 루브릭 같은 대리 기준이 필요해진다. ↩

3. “Training deep research agents—systems that plan, search, evaluate evidence, and synthesize long-form reports—pushes reinforcement learning beyond the regime of verifiable rewards. Their outputs lack ground-truth answers, their trajectories span many tool-augmented decisions, and standard post-training offers little mechanism for turning past attempts into reusable experience. In this work, we argue that rubrics should serve not merely as final-answer evaluators, but as the shared interface that structures policy execution, judge feedback, and agent memory.” — arXiv:2605.10899, Abstract. (PDF pages 1-8 직접 통독 ✓) ↩

4. “the latent structure of an open-ended research task—what matters, where credit belongs, and what should be remembered—is estimated through rubrics, which condition policy reasoning, judge scoring, and memory evolution.” — arXiv:2605.10899, §1 Introduction. E-step: 루브릭으로 잠재 구조 추정; M-step: task policy + reflection meta-policy 최적화. (PDF pages 1-8 직접 통독 ✓) ↩

5. 용어 — ablation(제거 실험). 방법에서 구성요소를 하나씩 빼 보며 성능 변화를 재서, 그 요소가 실제로 기여하는지 가르는 검증 방식. 의학의 절제 실험에서 온 말. ↩ ↩²

6. 용어 — SFT(Supervised Fine-Tuning, 지도 미세조정). 입력-정답 쌍으로 모델을 직접 학습시키는 단계. 보통 RL을 돌리기 전, 원하는 형식·행동을 먼저 새겨 넣는 준비 운동으로 쓴다. ↩

7. “Without the scaffold, RL gains are small and unstable for 600 steps, suggesting that rubric-conditioned stages provide useful structure for exploration and credit assignment.” — arXiv:2605.10899, §5.2 Fig 6b. 스캐폴드 없이 RL은 600 스텝에서 작고 불안정; 구조화 SFT 후 RL은 꾸준히 향상. (PDF pages 9-11 직접 통독 ✓) ↩

8. 용어 — GRPO(Group Relative Policy Optimization). 같은 질문에 여러 답을 생성해 그룹 안에서 상대 비교로 우열을 매겨 학습하는 RL 기법. 별도의 가치망(critic) 없이 그룹 평균을 기준선 삼는 게 특징이라 가볍다. ↩

9. Turn-level credit assignment이 episode-level GRPO 대비 수렴 속도·정확도·포맷 100% 개선 — $V_\text{stage} > V_\text{flat}$의 경험적 재확인. arXiv:2505.11821. (dossier 기반 ⚠) ↩

10. SWE-TRACE — 코딩 에이전트에서 루브릭 기반 PRM으로 희소 보상 불안정성 해결. 루브릭이 최종 채점자 아닌 밀집 과정 감독자로 쓰이는 흐름이 코딩 도메인에서도 확인. arXiv:2604.14820. (dossier 기반 ⚠) ↩

11. HCAPO — LLM 사후 평가자로 Q값 소급 정제. WebShop +7.7%, ALFWorld +13.8%. 루브릭 없이 LLM 내재 판단만으로 단계 크레딧 재배분 — RubricEM의 대안 접근. arXiv:2603.08754. (dossier 기반 ⚠) ↩

12. 용어 — rollout. 강화학습·에이전트에서 정책을 한 번 끝까지 굴려 본 한 회차의 실행. 여기선 과거 반성을 다음 실행 회차의 입력 맥락으로 끼워 넣는다는 뜻. ↩

13. Main Results (Table 1): RubricEM-8B-RL avg 55.5 (오픈 모델 최고; HealthBench 49.3·ResearchQA 74.5·DRB 47.8·ResearchRubrics 50.3); DR Tulu-8B-RL 53.6 (1900 스텝 vs RubricEM 1400 스텝); Tongyi DeepResearch-30B-A3B 50.8; WebExplorer-8B 42.2; GPT-5+Search 62.2 (Perplexity DR 초과, OpenAI DR과 DRB 동등). — arXiv:2605.10899, Table 1. (PDF page 9 직접 통독 ✓) ↩

14. Short-Form Transfer (Table 2): RubricEM-8B-RL avg 73.5 vs DR Tulu-8B-RL 49.0 (+24.5pt); DSQA 53.0 (vs DR Tulu 8.3), WebWalker 70.0 (vs 39.1). — arXiv:2605.10899, Table 2. (PDF page 11 직접 통독 ✓) ↩

15. Self-preference bias — 같은 모델이 judge와 policy를 겸할 때 최대 50% 자기 선호 편향. cross-episode로 전이된 반성도 편향된 채 누적 가능. arXiv:2604.06996. (dossier 기반 ⚠) ↩

16. 용어 — reward hacking(보상 해킹). 에이전트가 설계자의 의도가 아니라 성과를 재는 지표의 허점을 파고들어 점수만 끌어올리는 행동. 여기선 판사의 편향(어조·서식 등)에 영합해 내용 없이 점수를 따는 형태로 나타난다. ↩

17. CHERRL에서 reward hacking 재현 — judge 편향(어조·자기칭찬·서식) 학습. Stage 분해가 보상 신호를 풍부하게 하지만 hacking 경로도 늘린다. arXiv:2606.04923. (dossier 기반 ⚠) ↩

18. 용어 — SOTA(State-of-the-art). 특정 과제에서 현재까지 가장 좋은 성능. “SOTA에 닿았다”는 그 시점 최고 기록과 어깨를 나란히 했다는 뜻. ↩

19. DR Tulu RLER — co-evolving rubric만으로(단계 분해 없이) SOTA 달성. Stage 분해의 추가 이득 크기는 미검증. arXiv:2511.19399. (dossier 기반 ⚠) ↩

20. institutional alignment(“단일 거대 신탁이 아닌 혼합 사회 시스템”) 정식화는 Evans·Bratton·Arcas(2026)에 귀속 — knowledge-mind multi-agent-governance.md 노트. “knowledge compile을 grader 체인으로 선언화” 연결은 microsoft-waza-analysis.md 노트. (배경지식·노트 기반 ⚠) ↩

21. “SkillsVote: Lifecycle Governance of Agent Skills from Collection, Recommendation to Evolution.” — Hongyi Liu, Haoyan Yang, Tao Jiang, Bo Tang, Feiyu Xiong, Zhiyu Li (MemTensor). arXiv:2605.18401, 2026-05-18. Agent Skills = 실행 가능 스크립트 + 비실행 안내; offline evolution이 GPT-5.2를 Terminal-Bench 2.0에서 최대 7.9pp, online evolution이 SWE-Bench Pro에서 최대 2.6pp 향상. (초록 수준 통독 기반 ⚠) ↩ ↩²

22. MR-Search — 에피소드마다 명시적 반성 생성 + 다음 에피소드 컨텍스트 주입. 8개 탐색 벤치마크 9.2~19.3% 향상. RubricEM과 독립적으로 같은 방향 수렴. arXiv:2603.11327. (dossier 기반 ⚠) ↩