プロンプトチューニングの勉強会と検証
プロンプトチューニングの勉強会 プロンプトチューニングの勉強会と検証 私は普段ローカルLLMの検証などを実施していますが、より活用するためにプロンプトチューニングを勉強しています。 そのため、今回は私が学んだ内容で資料を作成したので、公開したいと思います。 勉強会資料 この勉強会では、LLMやSLMの基本知識から説明し、プロンプトチューニングの原則と簡単なサンプルを紹介します。 なお、動画も公開しているので合わせて参考にしてください。 検証 今回勉強会で扱ったプロンプトチューニングについて、ローカルLLMで効果検証をしたいと思います。 利用するモデルは、以前公開した SB Intuitions のSarashina2.2の1Bモデルになります。 こちらのモデルについて、基本的なタスクは実行できるのですが、数値指定の処理が苦手で、「5つ抽出して」などのタスクで6つ以上抽出してしまうことが多々ありました。 そんなモデルであってもプロンプトをチューニングすることで、処理できるようになるのかを見ていきたいと思います。 なお、このモデルの紹介をした際のブログは下記です。 SB IntuitionsのSarashina2.2検証結果 検証準備 まず使用したプログラムは、以前の検証で利用したものをベースにプロンプトを見やすくするために一部変数管理するように改修を加えています。 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model_path = "sbintuitions/sarashina2.2-0.5b...