プログラミング研究所

Sarashina2.2の検証結果 SB IntuitionsのSarashina2.2検証結果 YouTubeで公開した、 Sarashina2.2を試してみる! でインプットに使ったデータと、出力された結果についてまとめているものです。 良ければ、動画も見てください！ 使用したプログラムコード 0.5b、1b、3bの検証については下記のコードを利用していました。 モデルパス部分だけ、それぞれのモデル名になるように変更しています。 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model_path = "sbintuitions/sarashina2.2-3b-instruct-v0.1" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto") model.eval() streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True) chat = [ {"role": "system", "content": "好奇心旺盛なユーザーと人工知能アシスタントとのチャット。アシスタントはユーザーの質問に対して、役立つ詳細で丁寧な回答を提供します。"}, # {"role": "user", "content": "LLMとは何ですか？"}, # {...

sbintuitionsのSLMを試す sbintuitionsのSLM（Sarashina2.2）を試す SB Intuitions （AIの研究開発などを手掛けるソフトバンクの子会社）が 小規模言語モデル（SLM） の「 Sarashina2.2 」を公開しました。 SLMとはLLMと似ていますが、SLMはパラメータ数が小さく特定タスクの処理を得意とする軽量型の言語モデルと言われています。 今回は、この Sarashina2.2 を試してみます。SLMなのでCPU環境でどれくらいど速度を出せるかなどを調べてみたいと思います。 検証環境 Sarashina2.2 の動作環境ですが、先日紹介した RakutenAI-2.0 と同じ環境で動作しました。 導入については、「 RakutenのLLMを試してみる 」を参考にしてください。なお、ざっくり記載すると下記が必要です。 Python3系（3.9以上推奨） pip ライブラリ 主に、transformers、pytorch、accelerate、protobuf、sentencepiece 0.5Bモデルの検証 まずは、今回公開されたモデルで一番最小の 0.5B を使ってみます。 利用するコードは下記になります。（サンプルコードではなく、RakutenAIのときのコードを流用しています。） from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model_path = "sbintuitions/sarashina2.2-0.5b-instruct-v0.1" tokenizer = AutoTokeni...

RakutenLLMの検証結果 RakutenLLMの検証結果 YouTubeで公開した、 RakutenAI-2.0を試してみる! でインプットに使ったデータと、出力された結果についてまとめているものです。 良ければ、動画も見てください！ インプットデータと結果 システムロール 好奇心旺盛なユーザーと人工知能アシスタントとのチャット。アシスタントはユーザーの質問に対して、役立つ詳細で丁寧な回答を提供します。 質問① 質問 LLとはなんですか？ 結果 LLM（Large Language Model）とは、人工知能（AI）技術の一つで、自然言語処理（NLP）の分野におけるモデルの一種です。LLMは、大量のテキストデータを学習することで、人間の言語を理解し、生成する能力を持つように設計されています。 以下は、LLMの基本的な特徴と機能です： 1. **言語理解**：ユーザーの入力テキストを解析し、文脈を理解して、意味を把握します。 2. **言語生成**：理解した意味に基づいて、自然な言語（テキスト、音声など）を生成します。 3. **知識ベース**：事前に学習した膨大なテキストデータベースから情報を引き出し、回答を生成します。 4. **多言語対応**：多くのLLMは、複数の言語をサポートしています。 LLMは、チャットボット、翻訳ツール、コンテンツ生成ツール、カスタマーサポートツールなど、幅広い分野で活用されています。例えば、カスタマーサポートでは、ユーザーの質問に自動で回答したり、翻訳したり、文章の校正を支援したりすることができます。 質問② 質問 Hugging Faceと...