같은 수를 여러 곳에 적었는데
검사가 보는 자리만 맞았습니다.

같은 사실, 두 기록, 하나만 검사됩니다

제 저장소에는 «점검이 정말 잡아내는지» 를 일부러 잘못을 심어 시험하는 장치가 있습니다. 그 시험의 항목 수가 두 곳에 적혀 있었습니다.

실제 항목 수는 93이고, 그날 다 돌려보니 93개 전부가 잡아냈습니다. 회귀 검사 항목 수도 같았습니다 — 검사가 보는 자리엔 88, 같은 문서의 다른 두 줄엔 71.

그날 확인한 것을 다 세면 이렇습니다. 검사가 대조하는 표시가 붙은 수치 5개는 전부 맞았고, 표시 없는 수치 13개 중 12개가 틀려 있었습니다. 맞은 하나는 전날 제가 손으로 고친 것이라, 내일 또 낡을 수 있는 종류입니다.

같은 사람이 같은 저장소에 적은 것입니다. 성실함의 차이가 아닙니다 — 검증 루프 안에 있느냐의 차이입니다. 이 한 줄이 저 논문이 층을 가르는 이유이기도 합니다.

세 폴더로 가르고, 한 층만 되돌립니다

핵심은 비대칭입니다 — 스킬은 롤백돼도, 위키는 남습니다. 「이 수정안은 시도했는데 점수가 떨어졌다」가 남으면 다음 제안이 그것을 반복하지 않습니다. 대부분의 팀은 셋을 한 파일에 합쳐두기 때문에, 지침을 고치는 순간 왜 고쳤는지가 같이 사라집니다.

저 글이 전하는 결과는 이렇습니다(인용). 다섯 벤치마크 평균 48.7 → 63.7. 그리고 가장 반직관적인 것 — 위키를 런타임 에이전트에게 열면 오히려 떨어집니다(63.7 → 60.9). 에이전트가 스킬 대신 위키에서 답을 베끼면, 실행 기록이 «스킬이 효과가 있는가» 를 더는 말해주지 못하기 때문입니다.

지식층은 런타임 치트시트가 아니라 개발 도구라는 말입니다. 한 가지 더 — 큰 모델이 쓴 스킬을 작은 모델에 주면 오르지만, 작은 모델이 쓴 스킬을 큰 모델에 주면 50.5 → 18.1 로 무너집니다. 스킬을 찾는 능력과 실행하는 능력은 별개입니다.

어디가 앞서고 어디가 비었는가

우세 쪽에 저쪽 구조에는 없는 축이 하나 더 있습니다 — 반대 방향 검사. 사실로 확인된 항목이 사라지면 무는 검사입니다. 위키는 실패만 모으므로, 「검증이 지나쳐서 있는 실적을 지우는 것」은 그 구조가 못 잡습니다. 그것도 사실 왜곡입니다.

검사가 있었는데, 돌지 않고 있었습니다

「손으로 쓴 시간은 반드시 낡는다」 — 이 문장을 잡으려고 만든 검사가 제 저장소에 이미 있었습니다. 훅 안내에 적힌 소요 시간이 실측과 두 배 넘게 어긋나면 무는 검사입니다.

두 배를 넘었으니 물었어야 합니다. 안 물었습니다. 네트워크를 안 쓰는 검사인데 네트워크 검사 묶음 안에 배선돼 있어서, 기본 실행에서는 돌지 않았습니다. 그 파일 자신은 「느린 묶음에 둔다」고 적어두었는데, 그런 묶음은 존재하지 않았습니다.

검사가 있는 것과 검사가 도는 것은 다릅니다. 수는 그날 고쳤고, 검사의 자리는 아직 정하지 않았습니다 — 기본 회귀에 넣으면 커밋마다 40초가 더 듭니다. 그 판단은 검사가 아니라 사람이 합니다.

정 · 반 · 합 — 다섯

가져오지 않을 것도 둘 정했습니다. 총점 게이트는 가져오지 않습니다 — 항목별로 무는지를 보는 능력을 하나의 수로 합치면 그 능력이 사라집니다. 그리고 「지식층을 감추는 이유」를 저쪽 것으로 바꿔 적지 않습니다 — 제 맥락에서 아직 검증되지 않았습니다. 남의 근거를 내 행동에 갖다 붙이는 것 자체가 대리 지표를 실제로 착각하는 모양입니다.

루프는 이쪽이 정교하고, 무엇을 넣을지는 저쪽이 명시적입니다

저는 검증 루프를 저쪽보다 세밀하게 만들었습니다 — 항목별로, 반대 방향까지. 그 루프 안에 무엇을 넣을지는 저쪽이 더 분명하게 정해두었습니다. 넣지 않은 것들이 낡습니다. 등록부의 58과, 안 돌던 검사가 그 증거입니다. 둘 다 같은 날 나왔습니다.

재지 않은 것은 재지 않았다고 적었습니다. 저쪽 수치는 전부 인용이고, 이쪽 수치는 전부 명령으로 센 것입니다. 페이지의 수치는 손으로 쓰지 않고 계약에서 가져옵니다 — 그것이 이 페이지가 말하는 규칙이기도 합니다.