MultiLangBenchを振り返る――書き換え前に「同じ結果」を決める

公式発表：2026年10月19日／記事作成：10月20日／再確認：11月2日（日本時間）。過去の評価報告を振り返る記事です。

AIに古いプログラムを書き換えてもらうとき、重要なのは「新しいコードが動く」だけではありません。「元の仕事を変えていないか」も確かめる必要があります。

OpenAIは10月19日、学習用コードや資料が比較的少ないCOBOL・Fortran・Visual Basicなどを対象に、開発と移行の評価結果を発表しました。今回は新モデルの発売ではなく、既存モデルの評価報告とMultiLangBenchの公開です。

作る能力と、振る舞いを保つ能力

MultiLangBenchは、20のプログラミング言語でSQLite互換のデータベースエンジンを作る評価です。一方、COBOL移行評価は、既存のプログラムをC++・Java・Kotlin・Python・Rustへ移し、出力の一致を調べます。

COBOL移行では、非公開テストの観測可能な出力がバイト単位で一致し、すべてのテストに合格することが成功条件です。たとえば小数の切り捨てを丸めへ変えると、エラーなく動いても結果が変わり得ます。

「できた」という説明ではなく、出力で照合

公開リポジトリのREADMEを確認すると、MultiLangBenchは初期データベースとSQLを入力し、実装が変更したデータベースを本物のSQLiteで検査します。期待出力との一致で採点する構成です。

変換済みテストは約2万4千件。通常評価には指定された272件を使い、全件を使う場合は明記するよう求めています。ネット接続禁止などの条件もあり、単にテストをダウンロードすれば同じ評価になるわけではありません。

性能値は、まだ企業側の報告

OpenAIは、COBOL移行評価でGPT-6.1 Solが低い推論設定で86.6%、高い設定で97.9%の正解率を記録したと報告しています。これは限定された評価の結果で、本番システム全般の移行成功率ではありません。

11月2日に公式発表と公開READMEを再確認しました。MultiLangBench本体の実行・実装コード全体の監査・性能値の独立再現はしていません。下の小数例は別に作成した説明用の確認であり、COBOL移行評価の再現でもありません。

実務では、何を残せばよい？

業務改善や既存コードの整理では、書き換える担当と、元の業務結果を照合する担当を分ける考え方が参考になります。ここからは記事側の提案です。Visual Basicの評価を、そのままExcel VBAの性能とみなすことはできません。

まとめ

注目点は、珍しい言語を扱えるという主張だけでなく、変更後の振る舞いを外部のテストで確かめる材料が公開されたことです。実務への採用には、対象システム固有の業務ルール・依存関係の検証と専門家のレビューが残ります。

今日できる小さな一歩：移行前に3点を記録する

・普段の入力例と、今のシステムが返す出力を1組保存する。

・小数の扱い、空欄、日付など、変えてはいけない業務ルールを文章にする。

・異常入力や境界値も加え、移行後の出力と比べる基準を決める。

小さな確認例（架空の仕様）：小数第2位まで残すと決めた場合、1.239をゼロ方向へ切り捨てると1.23、四捨五入すると1.24になります。負数-1.239はそれぞれ-1.23/-1.24、1.230は両方1.23です。Python標準のDecimalでこの3組を実行し期待値との一致を確認しました。実際の業務の端数規則は、別途その仕様で決めてください。

MultiLangBenchのリポジトリは公開されています。日本からの閲覧やローカル実行に関する地域限定はREADMEに記載されていませんが、本稿で日本の環境での実行は確認していません。モデルAPIの料金・利用条件は別途確認が必要です。

出典

・OpenAI公式発表（2026-10-19）

・公式MultiLangBenchリポジトリ・README

相談する：業務ルールを文章から整理したい方へ

移行前の説明資料や引き継ぎ文を「要点・やること・確認事項」に整理したい方へ。対象は手元の日本語文章の整理です。コード移行、コードの正しさや外部事実の保証を提供するサービスではありません。

現在のサービス名：長い会議メモや資料を「要点・やること」に整理します

詳細と現在の受付状況は、ココナラ内のサービスページで確認してください。

https://coconala.com/services/4395704

【図解で振り返る】