LAB — AI MEETING / PROTOCOL v1策定 2026.08.19 ／ 公開 2026.08.23
日本語文字起こし精度テストのやり方
まだ実施していません。これは結果のページではなく、測り方だけを先に公開するページです。 数字が出てから測り方を考えると、都合のいい測り方になるからです。
なぜ、測る前にこれを出すのか
2026年8月19日に、このジャンルの検索結果を調べました。「AI議事録 比較」「Notta Fireflies 比較」といった語で上位に並ぶ記事には、精度の数字が載っていました。
- 「Notta 98%」
- 「Fireflies 90%以上」
ところが、どの記事にも「どの音源で・何人の会議で・何を誤りと数えたのか」が書かれていませんでした。 出所をたどると、サービス側の公表値か、その孫引きに見えます。
測り方が分からない数字は、比較に使えません。 サービスAの98%とサービスBの90%が、違う音源・違う数え方で出ているなら、その2つを並べても意味がないからです。
だから当研究所は、この数字を引用しません。 代わりに、自分で測ります。そして測る前に、測り方を公開します。
この順番が、このジャンルにおける当研究所の立ち位置です。
先に基準を出しておけば、あとから自分に都合のいい数え方へ変えることができません。読む人も、出てきた数字をどう受け取るべきかを自分で判断できます。
用意するもの
- 同一の日本語会議音源を1本（目安30分・話者3名・実際の打ち合わせ録音）
- その音源の正解テキスト（自分で書き起こす。これが基準になります）
- 事前に決めた固有名詞リスト20語（人名・社名・サービス名・専門用語）
⚠️ 全サービスにまったく同じ音源を通します。 サービスごとに違う音源を使うと、比較になりません。当たり前に見えますが、これを書いている比較記事は見当たりませんでした。
⚠️ 正解テキストを先に作ります。 文字起こし結果を見てから正解を決めると、間違いを間違いと認識できなくなります。
⚠️ 固有名詞20語も先に決めます。 結果を見てから「この語ができた／できなかった」を選ぶと、恣意的になります。
測る6項目
| # | 項目 | 測り方 | 単位 | なぜこれを測るか |
|---|---|---|---|---|
| 1 | 誤変換 | 正解テキストと突き合わせ、置換・脱落・挿入を数える | 100文字あたりの件数 | 「精度◯%」より、100文字あたり何回直すことになるかのほうが、作業量に直結します |
| 2 | 話者分離 | 発言ブロック単位で、話者の割り当てが合っているかを数える | 正解率（%） | 議事録では「誰が言ったか」が本文と同じくらい重要です |
| 3 | 固有名詞 | 事前に決めた20語のうち、何語が正しく出たかを数える | n / 20 | 社名・人名・サービス名が崩れると、あとから一括置換もできません |
| 4 | 処理時間 | アップロード完了から結果表示までをストップウォッチで計る | 分:秒 | 「速い」という体感は比較になりません。AI音声の検証でここを取り逃しました |
| 5 | 要約に落ちたか | 正解テキストから決定事項と宿題を抜き出し、AI要約に含まれているかを数える | n / 件数 | 文字起こしが正しくても、要約が使えなければ議事録は完成しません |
| 6 | 実際の請求額 | その月の明細をそのまま記載する | 円（税込） | 為替と海外事務手数料が乗るため、公式の$表示だけでは実額が分かりません |
対象サービスと現在の状態
| サービス | 通貨 | テストの状態 | 解説ページ |
|---|---|---|---|
| Notta | 日本円 | 未実施 | /notta/ |
| Fireflies.ai | 米ドル | 未実施 | /fireflies/ |
| tl;dv | 日本円 | 未実施（受け皿ページも未作成） | ― |
| Fathom | 米ドル | 未実施（受け皿ページも未作成） | ― |
記録すること
- 検証日／プラン名／公式情報の確認日
- 音源の条件（長さ・話者数・録音環境）
- 測り方そのものを記事本文に書く（これが差別化の本体です）
- うまくいかなかったこと・想定外に手間取ったこと
書いてはいけないこと
この4つは、結果が出たあとも守ります。
- 他サイト・サービス公表の精度数字を、自分で測ったかのように書かない
- 1本の音源の結果を「このサービスの精度は◯%」と一般化しない。「この条件では◯件だった」と条件つきで書く
- 契約していないサービスに「実測」のラベルを付けない
- 総合点・ランキング点数を作らない。項目ごとの数字までにする
1本の音源で分かることには限界があります。
録音環境が良い会議で強いサービスと、雑音の多い会議で強いサービスは違うかもしれません。この手順で分かるのは「この1本の音源では、こうだった」までです。そこを超えて書かないために、先に宣言しておきます。
いつ実施するか
実施の条件は3つです。
- 実際の打ち合わせ録音を1本用意できたとき（作った音源ではなく、本物の会議を使います）
- 正解テキストを書き起こす時間を取れたとき（ここがいちばん重いです。30分の音源で数時間かかります）
- NottaとFirefliesを1か月ぶん契約したとき（一次検証の予算は月5,000円まで）
期限は決めていません。 決めると、間に合わせるために手順を緩めることになるからです。実施したら、このページの状態表示が変わります。
実施1回ぶんの内訳
| # | やること | どのサービスで | かかる時間（見積もり） | それで分かること |
|---|---|---|---|---|
| 1 | 本物の打ち合わせを1本録る（目安30分・話者3名） | 全サービス共通の入力 | 会議そのもの（追加作業なし） | 4社に同じ音源を通せる。ここが揃わないと比較が成立しません |
| 2 | 正解テキストを自分で書き起こす | — | 2〜3時間（ここがいちばん重い） | 6項目すべての採点基準。先に作らないと、誤りを誤りと認識できません |
| 3 | 固有名詞を20語、先に決める | — | 15分 | 固有名詞の n/20 を、あとから恣意的に選べなくなります |
| 4 | 無料枠に同じ音源を通す | Fireflies（文字起こし無制限）／ Fathom（録画・文字起こし無制限） | 1サービス30分ほど | 誤変換・固有名詞・処理時間の初回値。⚠️ Nottaの無料は1回3分までなので通せません |
| 5 | 有料を1か月ぶん契約して、同じ音源を通す | Notta Premium（¥1,980/月）／ Fireflies Pro（$18/月） | 1サービス30分ほど＋採点30〜60分 | 6項目すべて。⚠️ ドル建てぶんは為替で動くため、合計の円額は明細を見るまで確定しません |
重いのは 2番（正解テキストの書き起こし） だけです。ここさえ越えれば、あとは同じ音源を通して数えるだけになります。この手順は、そのままあなたの会議でも使えます。 4番までなら費用は¥0で、他人のレビューより自分の会議に効く数字が手に入ります。
結果はどこに出るのか
このページには結果を書きません。ここは手順のまま残します。
数字が出たら、各サービスのページにある測定票に入ります。いまはすべて ― 未実測 になっていますが、そこが埋まります。
- Notta の測定票
- Fireflies.ai の測定票
そして、その数字がそろってはじめて AI議事録・文字起こしサービスを比べる に「精度」の行が入ります。いまその行が空欄なのは、測っていないからです。