スタンフォード大学などの研究グループが大規模言語モデルの有効的な使い方についての研究を発表したので分かりやすく解説したいと思います！
はじめに
今回紹介する論文は、人工知能（AI）の一種である言語モデルが、与えられた情報（プロンプト）をどのように理解し、それに基づいてどのように反応するかを調査した研究です。
プロンプトの長さについて
最近は、プロンプトというのがかなり長く作られています。ですがこの研究では長すぎるとパフォーマンスが低下するといった研究結果がでている。
おそらくプロンプトが長すぎると、どこが重要な情報なのか見つけにくくなるのだと思う。しかし、短すぎても何をしたらいいか分からなくなる。
なので、プロンプトはちょうどいい長さが大切。それは、お願いすることの内容や、どれだけの情報が必要かによります。それを考えながら、ちょうどいい長さのプロンプトを作ることが大切。
縦軸：正確さ
横軸：文章の数
ChatGPTではどうなの？
ChatGPTに対するプロンプトの最適な長さは、要求されるタスクや具体的な状況によります。しかし、一般的には、1-2文程度のプロンプトが効果的であることが多い。
ChatGPTは、質問や指示を明確に理解するために必要な情報を含むプロンプトを受け取ると、より良い結果を出力します。そのため、プロンプトは具体的で、必要な情報を簡潔に伝えることが重要です。
プロンプトの重要なところ
結論、大事な情報がプロンプトの「最初と最後」にあるときにい仕事をする。でも、大事な情報が真ん中にあるとき少し困ってしまう。これは、言語モデルが文章を読む時に最初と最後を重要視するから。
なので、プロンプトでいい回答を得たいのであれば大事な情報を真ん中に入れるのではなく、最初と最後に入れるように意識すると言いかもしれませんね。
縦軸：正確さ
横軸：文章の位置
複数の大規模言語モデルで実験済
MPT-30B-Instruct、LongChat-13B（16K）、GPT-3.5-Turboなどの言語モデルを研究で最初と最後が重要であることがわかった。
GPT-4の評価は？
他の言語モデルに比べて比較的高いパフォーマンスをだすが、やはり大事な情報が真ん中にあるときはパフォーマンスは低下する。
ピンクがGPT-4
僕の推測
僕自身いろんなプロンプトをつくっていてまた考え方が変わるような論文でした。これからこんな感じで作っていった方がいいのかなと思うことをお話してきます。
これからのプロンプト構成あくまでも今のイメージです。
最初に重要なこと
例えば、何をしてほしいのか
次に、そこまで重要視をしないこと
参考にしてほしい内容や構成、文章のくせ、フォーマットなど
最後に重要なこと
例えば、制限、文章のトーンなど
重要→簡潔→重要みたいの感じです。
まとめ
今回は、プロンプトの研究論文を簡単に解説しました。覚えておきたいところは、長い文章は苦手、最初と最後が重要、中間地点に情報のパフォーマンスは下がる。
.png)
.jpg)
