日本語LLMの出力評価とベンチマークレポートを作成します。
ご指定のモデル(複数モデルの比較も可)について、評価観点を設計し、サンプル出力の採点、弱点分析、改善案までをレポートにまとめます。
【納品物】
・評価レポート(評価観点、採点結果、典型的な失敗例、改善案)
・採点データ(CSV / JSON)
【料金に含まれる範囲】
・1モデル、評価100件まで(複数モデル比較や件数追加はオプションで対応します)
【購入前にご用意いただくもの】
・評価したいモデルと用途
・評価してほしい観点のご希望(なければこちらから提案します)
【実績】
日本語小説ドメインのLLM「J-Eucalyptus」を自作し、学習から評価までを一人で実施。ローカルLLM向けベンチマークや評価パイプラインをGitHubで公開しています(eightman999)。
・大学生のため、対応は非同期(チャット)となります。納期は購入前にすり合わせます
・第三者の権利を侵害するデータの学習・加工はお受けできません
・生成AIのチャット履歴そのものを外部に共有するようなご依頼はお受けできません
・お支払い確定前の作業開始はいたしません。まずは購入前の相談メッセージで内容を確認させてください
ご購入前に、必ず相談メッセージで内容をご連絡ください。評価したいモデルと用途、評価してほしい観点、ご希望の納期をお知らせください。内容を確認したうえで、対応可否と納期をお伝えします。権利関係が不明なデータや、第三者の権利を侵害するデータの学習・加工はお受けできません。対応は非同期(チャット)のみとなります。