汎用的な質問応答用の大規模言語モデルをどのようにファインチューニングすればよいのでしょうか？ 興味深いアプローチの1つは、少数の高品質なサンプルに対する教師ありのファインチューニングです。 最近の LIMA（"Less Is More for Alignment" ） 研究では、1,000の多様で質の高い質問と回答のペアでトレーニングするだけで、汎用的な指示の追従が達成できると大胆に主張しました。同時期の他のいくつかの研究でも、この種の「スタイルアライメント」のファインチューニングは、少数の質の高いサンプルで達成できると主張しています（例えば 、Alpaca、 Vicuna 、 Alpagasus 、および Tülü 、しかし、 The False Promise of Imitating Proprietary...