AIに「比べられません」と言わせるには？ BioBasicsBenchから学ぶ数字の見方

「今週の問い合わせは32件、先週は20件。仕事が増えましたね」。AIからそう返ってきたとき、数字の前に見るべきなのは、同じ範囲を数えたかどうかです。今週はメールとフォーム、先週はメールだけなら、合計を並べても増えたとは言えません。

1．AIは根拠の不足に気づけるか

OpenAIとLigoは2026年11月6日、BioBasicsBenchという評価を公表しました。実験の画像や測定器から取り出した表などを使い、生の資料を読めるか、誤りや判断材料の不足に気づけるかを100課題で測ります。課題によっては結論に加え、その根拠にも点をつけます。

図1｜生の資料を読み、根拠を項目ごとに確かめる

2．平均点と、実際の仕事での成功率は別

発表元によると、推論設定xhighでGPT-6 Astraは平均66.7%、GPT-5.6 Solは平均43.8%の配点を得ました。各設定で100課題を5回ずつ試した結果です。この点数は課題の採点基準に沿った平均で、現場での成功率や第三者による再現結果を示すものではありません。製品の新機能を提供し始めたという発表でもありません。

図2｜発表元が報告した平均得点

3．今日試せる短い指示

架空の問い合わせ表を用意し、「件数を比較する前に、集計期間・対象・数え方を照合してください。条件が違うか書かれていなければ、結論を出さずに不足を一つ返してください」と頼んでみます。冒頭の例なら、まず両週ともメールだけにそろえた件数を集めます。

図3｜比較条件が違うなら、結論をいったん保留

まとめ

数字が正しく読めたかと、その数字から結論を出せるかを分けて確かめる。まずは比較できる表と、条件が一つだけ違う表を用意すると、AIが違いに気づけるかを見比べられます。本稿は公式発表の解説で、ベンチマークを再現したものではありません。

出典：OpenAI「Measuring how AI agents handle everyday wet-lab science」（2026年11月6日）。

定型報告など、繰り返す文章業務の指示と確認手順を整理したい方へ。