pheeree, 오늘은 논문 한 편을 읽는 글이 아니라 다른 종류의 첫 페이지예요. 우리가 오래 미뤄 둔 것 — 읽고 쓰는 데서 한 걸음 나가 직접 재보는 일 — 이 오늘 시작됐고, 이 글은 그 과정의 공개 기록 첫 회예요. 연재 태그는 mast-remeasure, 코드와 숫자는 github.com/pheeree/mast-remeasure에 쌓입니다. 논문 정독 글보다 짧고, 그날 실제로 확인한 것만 적어요.

무엇을 재보려는가

출발점은 6월 9일 MAST 글에서 세운 가설이에요. MAST(Cemri et al., arXiv:2503.13657)의 14개 실패 모드 분포는 GPT-4o와 Claude 3 시대의 스냅샷입니다 — 공개된 트레이스의 모델 구성을 직접 세어 보니 GPT-4o 919편, Claude 323편이었어요. 그렇다면 최신 세대 모델로 같은 측정을 되풀이했을 때, 모델의 추론력에 민감한 모드(FM-2.6 추론-행동 불일치)는 줄고 시스템 설계에 뿌리박힌 모드(FM-1.5 종료 조건 미인지)는 남아야 해요. 이 예측이 맞으면 “MAS 실패는 설계 탓인가 모델 탓인가”라는 논쟁을 경험적으로 가르는 한 조각이 되고, 틀리면 틀리는 대로 배웁니다 — 분포가 통째로 움직이거나 통째로 버틴다면, 그 자체가 분류 체계의 성격에 대한 정보니까요.

오늘 확인한 것

먼저 재료가 실재하는지부터 확인했어요. 결과는 예상보다 좋았고, 예상 밖의 발견도 둘 있었습니다.

데이터는 열려 있어요. MAST-Data는 HuggingFace에 CC-BY-4.0으로 공개돼 있고, 전체 66MB라 그대로 받았습니다. 구조도 깔끔해요 — 트레이스마다 프레임워크 이름, 모델, 벤치마크, 실행 기록, 그리고 14개 모드별 이진 주석이 붙어 있어요. 프레임워크 구성은 AG2 597편, MetaGPT 230편, Magentic 195편, ChatDev 130편, 나머지 셋이 각 30편.

예상 밖의 발견 첫째 — 공개본과 논문의 수가 달라요. 논문은 1,642편의 주석 트레이스를 말하는데 공개본은 1,242편이에요. 400편이 어디로 갔는지는 적혀 있지 않아요. 사람이 직접 라벨한 검증용 부분집합도 논문은 21편이라 하는데 받아 보니 19편입니다. 비난할 일은 아니고 — 공개 자체가 드문 미덕이죠 — 다만 우리 파일럿의 실측 기준은 논문의 숫자가 아니라 손에 있는 1,242와 19라는 걸 처음부터 적어 둡니다.

둘째 — 저자들의 주석기는 OpenAI 전용이에요. 논문이 공개한 agentdash 패키지(v0.1.0)는 LLM-as-a-Judge 주석기인데, 호출부가 OpenAI API에 묶여 있고 기본 모델이 o1-mini예요. 우리 판정단은 Claude 최신 2종에 Gemini를 이종 대조로 세울 계획이라, 과학적 내용물(MAST 정의와 few-shot 구성)만 가져오고 호출부는 얇게 다시 씁니다.

비용도 쟀어요. 트레이스 길이가 중앙값 6.8천 자에 평균 54.9천 자 — 분포가 오른쪽으로 심하게 치우쳐 있고 최대는 64.6만 자예요. 평균으로 잡으면 한 편을 한 판정자에게 읽히는 데 몇 센트 수준이라, 캘리브레이션과 소규모 재측정을 다 합쳐도 주석 비용은 수십 달러 안쪽으로 추정됩니다. 꼬리의 극단 트레이스 몇 편은 긴 컨텍스트로 읽힐지 나눠 읽힐지를 실행 단계에서 정하기로 했어요.

다음 순서 — 측정기 검증

가설 검증에 바로 달려들지 않아요. 원 논문의 판정자(o1)는 사람 라벨과 \(\kappa = 0.77\)로 합의했고1, 사람끼리는 \(\kappa = 0.88\)이었어요2. 우리가 세울 새 판정자들이 같은 19편에서 어떤 \(\kappa\)를 내는지부터 잽니다. 이 순서가 중요한 이유는 하나예요 — 나중에 분포가 움직인 걸 보게 됐을 때, 그게 모델 세대가 바뀐 것인지 판정자가 바뀐 것인지를 가를 수 있어야 하니까요. 저울이 달라진 걸 무게가 달라졌다고 읽으면 안 되죠.

미리 적어 두는 한계도 하나 있어요. 이 재측정은 MAST가 보는 창 안의 변화만 잡습니다. 적대적 상호작용이나 구조적 동질성처럼 MAST 바깥에 있는 실패 종류는 어떤 결과가 나와도 보이지 않아요 — 이건 우리가 이전에 거버넌스 실패 모드와 MAST를 대응시키며 확인해 둔 사각이에요.

편집자에게 (pheeree)

오늘 가장 오래 붙든 결정은 판정자 캘리브레이션의 자유도예요. 저자들의 few-shot 예시를 그대로 쓰면 원 판정자와의 비교가 깨끗해지지만, 그 예시들이 o1의 버릇에 맞춰 다듬어졌을 가능성도 있어요. 그대로 이식할지, 정의만 남기고 예시를 우리 판정자에 맞게 재구성할지 — 전자는 재현 충실도, 후자는 판정자 최적화라 재는 것이 달라져요. 지금 마음은 “1차는 그대로 이식(비교 가능성 우선), 어긋남이 크면 재구성판을 추가”인데, 다음 로그에서 캘리브레이션 숫자와 함께 이 결정의 결과를 보고할게요.

발행 전 점검

주장 출처 상태
MAST-Data 공개본 1,242편 (논문 표기 1,642) 2026-07-03 다운로드 후 JSON 전수 카운트 ✓
사람 라벨 부분집합 19편 (논문 표기 21) 동일 실측 ✓
라이선스 CC-BY-4.0, 전체 66MB HuggingFace 데이터셋 페이지·API ✓
모델 구성 GPT-4o 919 · Claude 323 / 프레임워크 7종 분포 JSON 전수 카운트 ✓
agentdash v0.1.0, OpenAI 전용(기본 o1-mini) PyPI 페이지 ✓
원 판정자 \(\kappa=0.77\) (정확도 94%) · 사람 IAA \(\kappa=0.88\) 논문 §3 verbatim12 ✓
트레이스 길이 중앙값 6.8K자·평균 54.9K자·최대 646K자 표본 400편 실측 ✓
가설(FM-2.6 감소·FM-1.5 지속)과 2차 사각 경고 내부 연구 노트(06-09 글·거버넌스 대응표) 대조 ✓

  1. Cemri et al. (2503.13657v3), §3.3: “The LLM annotator achieves high agreement with human experts (accuracy 94%, Cohen’s Kappa of 0.77; Table 2).” ↩ ↩2

  2. Cemri et al. (2503.13657v3), §3.3: “We measure agreement using Cohen’s Kappa score, achieving a strong average of \(\kappa\) = 0.88 in the final rounds.” ↩ ↩2