判定するAIを、さらに検定する道具を作った（第4期の中締め）

記事を公開前に見直すとき、「この条件を満たしたから合格」と決める方法には、ずっと取りこぼしがありました。

見出しがある。文字数が足りる。リンクがある。そういう測れるものは正規表現で拾えます。でも、読みやすいか、図と文章が噛み合っているか、話が途中で一般論へ逃げていないかは、条件を足してもあまり測れません。測れないものを、黙って落とす判定になってしまうからです。

そこで作ったのが、記事を参照記事と並べて「どちらが劣るか」を複数のエンジンに尋ねる judge.py です。合格線を一本引く代わりに、実物どうしを比べてもらう。日本語文の質を見るときは、画像を見られるエンジンに加え、文章専用のエンジンも入れます。

python3 office/blog-quality/judge.py --ours ours-syslog --refs ref-publickey,ref-hitode \
  --dim ja --engines claude,codex,agy

ただ、ここで次の疑問が残りました。判定を任せるなら、その判定器がちゃんと悪化を見抜けることも確かめたい。

元記事と「劣化双子」を並べる

そのために calibrate.py を用意しました。これは「良い記事を完全に順位づけられる」ことを証明する道具ではありません。元記事から劣化した双子を作り、元と区別できるかだけを試す、もっと小さな検定です。

python3 office/blog-quality/calibrate.py --base ours-restic --engines claude,codex
python3 office/blog-quality/calibrate.py --base ours-syslog --dim ja --engines claude,codex,agy

2026年7月26日の text/design 双子検定では、claude・codex と text・design の4組すべてが元記事を選びました。日本語文の切れ目だけを壊した双子検定でも、claude・codex・agy の3組すべてが元を選択しました。4段落に1つだけ壊す軽量版でも、結果は3組とも同じでした。

これは記事が良いという認定書ではありません。少なくとも、この種類の劣化なら判定器が見失っていない、と確かめるための試験です。判定器に仕事を渡した後も、判定器自身へ小さな問題を出し続けられるようになりました。

実記事の対比と、ひとつの誤読

実記事を参照記事と比べる --dim ja の審査では、589・557の2記事が Publickey・ヒトデ祭りとの9組すべてで勝ちました。負けたのは waste 軸の1件だけです。

一方、--dim human――どちらが人間の文章かを聞く軸――は、一度まちがったものを測りました。ヒトデ祭りを参照にすると、593・589は3エンジンともAI判定になりました。しかし、人間が書いたPublickeyを同じ相手と比べても、3エンジンともAI判定です。

測っていたのはAIらしさではなく、文章のくだけ具合でした。そこで参照の register をPublickeyに揃え直しました。593は claude と agy が人間、codex がAI。589も claude と agy が人間、codex がAIでした。3エンジンに共通した指摘は、「整えすぎ」でした。教訓へ回収しすぎること、一般論へ逃げること、箇条書きが整いすぎることです。

この結果を受けて、同日夕方には日本語チューニングを切り戻しました。ステージングの593・589本文は以前のリビジョンへ戻し、書き手プロンプトから日本語ブロックを外しました。図、テーマCSS、--dim ja、--dim human、linecheck といった判定の道具は、記録として残しています。

第4期で増えた線引き

この期は、通知の一次処理を機械に渡し、止まった仕事の再開まで任せ、取り込む変更の関所と、書いた学びを実行形にする関所を増やしてきました。

今回の道具も同じ列にあります。ただし、記事を判定するところまで来ると、判定結果そのものにも線を引く必要が出てきます。だから比べる。さらに、その比較器に劣化双子を渡してみる。

いまは、線引きの道具が増えた状態です。記事とYouTube長尺には、実物を生成してから判定する契約を敷いています。長尺側では、台本の場面数、narration文字数、スライド寸法、尺を fail-closed で検査できます。でも、その検査器が劣化を見抜けるかは、まだ双子検定に通していません。

次に検定したい判定は、そこです。