数か月かけて、700ページ近くを積み上げました。
自社で運営しているAIニュースメディアで、記事を自動生成する仕組みを作り、「まず量を出せば、どれかは当たる」という前提で運用していたからです。
ところが、検索からの流入はほとんど発生しませんでした。更新を続けても、数字が動かない。
原因を突き止めるために、AI自身に全ページを機械的に採点させました。結果、9割超が「薄い自動生成ページ」。残す価値があると判定できたのは、実質4ページでした。
正直に書くと、この数字を見た瞬間は、悔しいというより、しばらく画面の前で固まっていました。数か月かけて積み上げたものが、消えたわけではないのです。ページは確かにそこにある。ただ、あるだけで、何も生んでいなかった。誰かに文句を言えるなら、まだ楽だったと思います。この仕組みを設計したのは、私自身でした。
この記事は、その事実を突きつけられてから、立て直すまでの記録です。同じところで詰まっている方の参考になれば幸いです。
「まず量を出す」で運用していた
やっていたことは単純です。AIで記事を生成するパイプラインを組み、定期的に記事を追加していく。前提は「量を出せば、そのうちどれかは当たる。当たったページを後から伸ばせばいい」というものでした。
実際、ページ数は順調に増えました。数か月で700ページ近く。作業としては回っていたし、止まってもいませんでした。
問題は、その700ページが何を生んでいるのかを、誰も確かめていなかったことです。
いちばん厄介だったのは、症状が曖昧なこと
伸びない原因が分からない、という状態はよくあります。ですがこのとき厄介だったのは、症状が「なんとなく伸びない」としか観測できないことでした。
個別のページを開いて見れば、それぞれは一応の体裁を整えています。文章が破綻しているわけでも、見出しがないわけでもない。ぱっと見て「これはひどい」と判断できるページばかりではないのです。
では1ページずつ確認すればいいのかというと、700ページを人力で棚卸しするだけで数日が消えます。しかも、数日かけたうえで見落としが残ります。人間の判断は途中でぶれるからです。疲れてくると、後半のページほど雑に見ます。
これは記事に限った話ではないと思います。「量は増えたが、その質を誰も確かめていない」状態は、レポートでも、提案書でも、商品登録でも起こります。作る仕組みだけを先に自動化すると、必ずここで詰まります。
AIに、自分の全ページを疑わせた
そこで方針を変えて、Claude Code に全ページの棚卸しをさせました。私の主観を挟まず、機械的に採点させたのです。
評価軸は4つ。語数、重複度、検索エンジンに登録されているか、内部リンクの構造。
結果は明確でした。9割超が、薄い自動生成ページ。平均語数は550語前後で、内容も実質的に同じテンプレートの使い回しに近いものでした。
さらに検索エンジン側のデータを確認すると、本来サイトの中核になるはずのページが、一度もクロールされていませんでした。検索エンジンが1つのサイトを巡回する量には限りがあり、価値のない大量のページがそれを食い潰していたのです。
もうひとつ、目視ではまず見つからない不具合も出てきました。一部のページでタイトルが壊れていて、原因を追跡したところ、配信基盤の最適化機能が本文中の特定の記号を自動で書き換え、タイトルを破壊していました。
これは、1ページずつ人間が見ていても気づけない種類の問題です。「全部を疑う」ことを機械にやらせたから出てきました。
「検索対象に入る量産」を止めた
分かってしまえば、やることは決まります。
なお、採点で「すでに価値を出していた」と言えたのは4ページですが、それとは別に、書き換えれば戦える見込みのある主要ページが約90本ありました。集中先はこの90本です。
- 特に薄い250本あまり（テンプレ同型の定型ページ）を検索エンジンの評価対象から外し（noindex）、評価を主要な約90ページに集中させた
- 残り300本余りの自動生成ニュース記事は、一本ごとに固有の内容を持つため検索対象に残し、手を入れる優先順位は主要ページの後に回した
- 残す価値のあるページを、平均550語前後からおよそ2倍の水準に書き換えた
- サイトマップを再送信し、主要ページの個別登録を申請した
そして最後のひとつが、いちばん大事でした。止めたのは「量産」そのものではなく、「検索対象に入る量産」です。ニュースの自動収集はいまも動いています。ですが、基準に掛かる薄いページは、公開された時点で自動的に検索対象外になる仕組みにしました。人がリストを管理するのではなく、判定ルールそのものをサイトに埋め込んだ形です。
あわせて、公開の手前にも採点ルーブリックを固定しました。プロセス30点、品質40点、データ30点。70点未満は自動的に差し戻し。以後、この基準を通らないものは公開されません。
単発の大掃除で終わらせると、同じことがまた起きます。仕組みとして残したのは、そのためです。
このルーブリックを固定した日のことは、よく覚えています。ようやく少しだけ、肩の力が抜けました。流入が戻ったからではありません。まだ戻っていません。ただ、「次に同じ穴に落ちる道」だけは塞がった、とはっきり確かめられたからです。数か月ぶりの感覚でした。
なお、施策後に検索流入がどこまで回復したかは、現在も観測を継続しています。回復幅はサイト固有の条件に左右されるので、ここでは断定しません。
学んだこと:「作る仕組み」より「検品の仕組み」
この件で学んだことは、ひとつです。
AIで何かを作ること自体は、もう簡単になりました。難しいのは、作ったものの質を、人手をかけずに確かめ続けることです。
多くの場合、自動化はまず「作る」ところから入ります。そちらのほうが効果が見えやすいからです。ですが作る速度だけが上がると、検品が追いつかなくなり、最終的に「量はあるが成果がない」状態に着地します。私がやったのは、まさにそれでした。
効いたのは、AI自身に全成果物を採点させ、基準に満たないものを機械的に差し戻す仕組みでした。この型は、記事以外にも移せます。定型レポート、提案書のドラフト、商品説明文、コードレビュー。「AIに量産させたい」と思っているものには、同じ構造が使えます。
もし「AIで量は出せるようになったが、質が担保できない」と感じているなら、足りないのは検品の仕組みかもしれません。
私はいま、この仕組み化を中小企業向けに設計する仕事をしています。ご相談はお問い合わせから、サービスの詳細はClaude Code 導入スターター・AI運用顧問をご覧ください。
Guardrail Ops(Hirotoshi Yamaguchi)— AIエージェントを、仕組みで回す。お問い合わせ