収益化研究所 — AI BENCH手順公開 2026-09-05
JIBUNMUKI AI BENCH測る前に、測り方を出します。
当研究所が知りたいのは、ベンチマークのスコアではありません。「同じ仕事を頼んだとき、何往復で使えるものが返ってきたか」です。 スペック表より、こちらのほうが実際の作業に近いと考えています。 このページは、その測り方だけを先に公開するものです。
🔴 2026年9月5日時点で、実施回数は0回です。このページに数字は1つもありません。先に手順を出しておくのは、測ったあとで自分に都合よく条件を変えないためです。結果が出たら別のページに置き、このページは手順の正本として残します。
- 実施回数
- 0回
- タスク数
- 7種
- 対象
- 3社
- 公開済みの数字
- 0件
主指標
「何往復で完成したか」を、いちばん上に置きます。
文脈長・パラメータ数・ベンチマークの点数は、公式や研究機関がすでに出しています。 当研究所が出しても価値が足されません。いっぽうで「その指示を出してから、使えるものが返ってくるまでに何回やり取りしたか」は、 実際に3つとも使っている人でないと出せません。そこだけを主指標にします。
⚠️ この指標には弱点があります。「そのまま使える」の判断が当研究所の主観であること、 そして指示の書き方がうまくなるほど回数が減ることです。だから毎回、判断理由と実施順を一緒に公開します。数字だけを切り出して引用されても検証できるようにするためです。
🔴 この指標をもって「どのAIが優れているか」を決めるつもりはありません。当研究所1人の、特定の7タスクでの記録にすぎません。あなたの仕事で同じ順番になる保証はありません。
課題
7つのタスク。
1文章作成
同じ条件（読者・目的・文字数・トーン）を書いた1つの指示から、記事の導入文を書かせる。
2文章修正
当研究所が実際に書いた既存の文章を渡し、同じ修正方針で直させる。元の文章は3社で同一。
3調べもの
答えが公式サイトに存在する事実を1つ調べさせ、出典URLを出させる。⚠️ 正誤は当研究所が公式ページで照合する。
4長文要約
同じ長さの日本語文書を渡し、決められた見出し構成で要約させる。
5サイト改善案
当研究所の実在ページのURLと目的を渡し、改善案を出させる。
6コーディング
同じ仕様書から、同じ小さな機能を書かせる。動くかどうかは当研究所が実行して確認する。
7ファイル理解
同じファイル（表を含む文書）を渡し、決められた3つの問いに答えさせる。
⚠️ 実際の課題文は、実施日に公開します。いま公開すると、各社が対策できる形になってしまうからではありません。当研究所がまだ課題文を確定していないためです。推測で書かないというだけのことです。
記録する項目
何を、どう数えるか。
| 項目 | 数え方 | 状態 |
|---|---|---|
| 往復回数主指標 | 最初の指示から「そのまま使える」と判断できるまでに送ったメッセージの数。指示1回目を1と数える。⚠️ 「そのまま使える」の判断は当研究所の主観なので、判断理由を毎回テキストで残す。 | 未検証 |
| 初回で使えたか | 往復回数が1だったかどうか。○ / ×の2値。 | 未検証 |
| 修正量 | 最終的に採用した文章のうち、当研究所が手で書き直した文字数の割合。 | 未検証 |
| 所要時間 | 最初の指示を送ってから完成と判断するまでの実時間（分）。⚠️ 待ち時間と考えている時間を分けない。分けると再現できないため。 | 未検証 |
| 指示の理解 | 与えた条件（文字数・トーン・構成）のうち、1回目で守られた数。分母は毎回同じ。 | 未検証 |
| 事実の誤り | タスク3・4で出た事実のうち、公式ページと食い違った箇所の数。 | 未検証 |
| 制限への到達 | 実施中に利用上限に当たったかどうか。当たった場合はその時点までを記録し、続きは別日に行わない（条件が変わるため）。 | 未検証 |
🔴 全項目が「未検証」です。1つも測っていません。 ⚠️ 月額費用は、この表に入れていません。金額は測るものではなく公式で確認するものだからです （→ 3社の料金は2026.09.05に確認済み）。
実施の条件
この7つを守れなかった回は、公開しません。
- 同じ日・同じ時間帯にまとめて実施する。 日をまたぐとモデルが更新される可能性があるため。
- 3社とも有料の主力プランで実施する。 ChatGPT Plus（¥3,000）／Claude Pro（$22）／Gemini Google AI Pro（¥2,900）。⚠️ 無料版と有料版を混ぜない。
- 課題文は1文字も変えずに、3社へ同じものを貼る。 途中で言い直したくなっても、それも往復回数として数える。
- 実施した順番を記録する。 後にやるほど当研究所側が慣れて指示がうまくなるため、順番は結果に影響する。
- 実施日のモデル名を記録する。 モデルが変われば結果も変わるので、モデル名の無い数字は無効とする。
- やり取りの全文を保存する。 数字だけでなく、その数字になった過程を出せるようにする。
- うまくいかなかった回も公開する。 都合の悪い回を捨てると、平均が意味を失う。
⚠️ 条件を守れなかった場合は、「守れなかった」と書いて実施をやり直します。条件のほうを緩めることはしません。
測るまで書かないこと
この記録が出るまで、AI選びのページに書かないこと。
- どのAIが賢いか・優れているか
- 日本語の自然さの比較
- 調査の正確さの比較
- コードの質の比較
- 「実際に使ってみた結果」という書き方（使ってはいますが、比べる形では使っていません）
- 他サイトのベンチマークスコアの引用（採点条件が書かれていないため）
現在の AI選びのページに書いてあるのは、 各社の公式料金ページで確認できる料金・請求通貨・プラン構成・同梱物・広告表示の記載だけです。