sbintuitionsのSLM（Sarashina2.2）を試す

sbintuitionsのSLMを試す

sbintuitionsのSLM（Sarashina2.2）を試す

SB Intuitions（AIの研究開発などを手掛けるソフトバンクの子会社）が小規模言語モデル（SLM）の「Sarashina2.2」を公開しました。
SLMとはLLMと似ていますが、SLMはパラメータ数が小さく特定タスクの処理を得意とする軽量型の言語モデルと言われています。
今回は、このSarashina2.2を試してみます。SLMなのでCPU環境でどれくらいど速度を出せるかなどを調べてみたいと思います。


検証環境

Sarashina2.2の動作環境ですが、先日紹介したRakutenAI-2.0と同じ環境で動作しました。
導入については、「RakutenのLLMを試してみる」を参考にしてください。なお、ざっくり記載すると下記が必要です。

  1. Python3系（3.9以上推奨）
  2. pip
  3. ライブラリ

    4. 主に、transformers、pytorch、accelerate、protobuf、sentencepiece


0.5Bモデルの検証

まずは、今回公開されたモデルで一番最小の0.5Bを使ってみます。
利用するコードは下記になります。（サンプルコードではなく、RakutenAIのときのコードを流用しています。） 

  1. from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
  2.  
  3. model_path = "sbintuitions/sarashina2.2-0.5b-instruct-v0.1"
  4. tokenizer = AutoTokenizer.from_pretrained(model_path)
  5. model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto")
  6. model.eval()
  7.  
  8. streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
  9.  
  10. chat = [
  11.     {"role": "system", "content": "好奇心旺盛なユーザーと人工知能アシスタントとのチャット。アシスタントはユーザーの質問に対して、役立つ詳細で丁寧な回答を提供します。"},
  12.     {"role": "user", "content": "LLMとは何ですか？"},
  13. ]
  14.  
  15. input_ids = tokenizer.apply_chat_template(chat, tokenize=True, add_generation_prompt=True, return_tensors="pt").to(device=model.device)
  16. attention_mask = input_ids.ne(tokenizer.pad_token_id).long()
  17. tokens = model.generate(
  18.     input_ids,
  19.     max_length=2048,
  20.     do_sample=False,
  21.     num_beams=1,
  22.     pad_token_id=tokenizer.eos_token_id,
  23.     attention_mask=attention_mask,
  24.     streamer=streamer,
  25. )
  26. out = tokenizer.decode(tokens[0][len(input_ids[0]):], skip_special_tokens=True)
  27. print()

RakutenAIのときにも実施した質問ですが、まずは「LLMとは何ですか？」の回答を見てみます。 

  1. LLM（Large Language Model）とは、大規模な言語モデルを指し、特に自然言語処理（NLP）の分野で広く使用されているモデルです。これらのモデルは、大量のテキストデータから学習し、特定のタスクや質問に対して高度な言語理解と生成能力を発揮します。
  2.  
  3. LLMにはいくつかの種類がありますが、代表的なモデルとしてはBERT（Bidirectional Encoder Representations from Transformers）、GPT（Generative Pre-trained Transformer）シリーズなどが挙げられます。BERTは双方向の文脈を考慮することで、より正確な意味理解が可能であり、GPTシリーズは大規模なテキストコーパスから事前学習されたモデルを用いて、さまざまなタスクに適応できるように設計されています。
  4.  
  5. LLMは、チャットボット、カスタマーサポート、文書要約、翻訳、質問応答システムなど、さまざまなアプリケーションで活用されています。特に、ユーザーとの対話を通じて深い理解と適切な対応が求められる場面で非常に有用です。
このように回答が生成されました。
内容としてもしっかり説明できており、精度として問題はないかなと思います。

続いて「Hugging faceとは何ですか？」という質問をします。 

  1. Hugging Faceは、自然言語処理（NLP）や機械学習のライブラリやツールを提供するオープンソースのコミュニティです。特に、TransformersモデルやBERTなどの事前学習済みモデルを提供しています。これらのモデルは、多くのNLPタスクで高い性能を発揮し、研究者や開発者がすぐに利用できるように設計されています。Hugging Faceを利用することで、ユーザーはこれらのモデルを自分のプロジェクトに簡単に統合し、研究や開発を進めることができます。また、コミュニティサポートも充実しており、ユーザーが疑問や問題に直面した際にも助けを求めることができます。
生成された回答を確認しましたが、精度としては問題ないかと思います。
前回のRakutenAIよりも簡潔に説明することができている印象です。

問いに対する説明はできていそうなので、今度は要約をさせてみます。
対象の文章はYahooニュースの過去の記事で、前回のRakutenAIを紹介したYouTubeでも利用した記事です。 

  1. 次の文章を要約してください。長期化するコロナ禍で生活が苦しくなった人たちを支援するため、弁護士らのグループが31日、年越し支援コロナ被害相談村を東京都新宿区の大久保公園で開いた。自治体などの窓口の多くが閉まる年末年始に、労働や生活に関わる相談を受けたり、コメや野菜などの食料品を提供したりする場をつくっている。元日も午前10時~午後4時に同公園で開く。労働組合や弁護士らでつくる実行委員会が前年に続いて開催した。会場には、女性のためのブースも設けられ、女性スタッフだけで相談にのる態勢が整えられている。実行委によると、31日午後4時時点で、20代から90代の208人が訪れたという。前年の大みそかの2倍の人数だった。寄せられた相談の中には、システムエンジニアとして月収が100万円あったが、失職して今は野宿生活をしている男性や、3カ月前に解雇されてアパートの家賃を払えなくなったという男性など、仕事や住まいを失うケースが目立つという。共同代表の棗一郎弁護士は失業期間が長引く中で、今回は労働相談も増えている。行政は失業対策に取り組むべきだと話す。
実行した結果が下記になります。 
  1. 新宿区の大久保公園で、長期化するコロナ禍で生活苦に直面する人々を支援する「年越し支援コロナ被害相談村」が31日に開催されました。この村では、労働や生活に関わる相談を受け付けるとともに、コメや野菜などの食料品を提供する場が設けられています。実行委によると、相談に訪れた人は前年の大みそかの2倍となる208人に達し、特に仕事や住まいを失うケースが多く見られます。相談内容は、システムエンジニアから失職し野宿生活を送る男性や、3カ月前に解雇された男性など、失業期間が長引く中で影響を受けた人々が多くを占めています。共同代表の棗一郎弁護士は、失業期間が長引く中で労働相談が増えていることを指摘し、行政による失業対策の重要性を訴えています。会場には女性のためのブースも設けられ、女性スタッフだけで相談に対応する体制が取られています。
内容としては間違っていなそうですが、要約しているようでできていません。
文章の長さも、もとの文章とほとんど変わっていません。

他の文章でも検証してみます。
同じく過去のYahooニュースの記事を使います。 

  1. 次の文章を要約してください。明石家さんまが主演のお正月特別公演笑輪の笑い~Born ready達~が1日、大阪ミナミのなんばグランド花月で開かれた。さんまがNGK正月興行に出演するのは40年ぶりのこと。昨年も開催を予定していたが、新型コロナ禍で中止となった。冒頭、歌舞伎の口上スタイルで出演者が登場したが、満員の観客から大きな拍手を浴びると、さんまは立ち上がってパン。パン、パン、パンとお決まりの拍手を留める芸を披露。中川家礼二、剛がモノマネ。次長課長河本のツッコミも。さんまが出演者を、爆笑エピソードを交えて紹介した。さんまファミリーのジミー大西、松尾伴内との出会い、中川家、次長課長がさんまのハートを掴んだネタを解説。若手のアインシュタイン稲田直樹、河井ゆずるやアキナ秋山賢太、山名文和にはダメ出しを少々。さんまのレアなモノマネも飛び出し、国民的番組には辛口のコメントを発した。トークだけで盛り上がり、すでに予定時間をオーバーした。その後は漫才、コント、モノボケや、レトロな大阪を舞台にした爆笑喜劇。エンドレスの初笑いとなった。
生成された回答が下記です。 
  1. 明石家さんまが主演のお正月特別公演「笑輪の笑い～Born ready達～」が、大阪ミナミのなんばグランド花月で1日に開催されました。この公演には40年ぶりの出演となるさんまが参加し、多くの観客から大きな注目を集めました。冒頭、歌舞伎の口上で出演者が登場し、観客からの拍手に立ち上がったり、パンと拍手を留める芸を披露しました。
  2.  
  3. さんまは中川家礼二、剛、次長課長河本らと共にモノマネを披露し、audienceから大きな反応がありました。また、さんま自身がモノマネを披露することもあり、国民的番組ならではのパフォーマンスでした。
  4.  
  5. トークでは、さんまが出演者の爆笑エピソードを交えて紹介し、さんまファミリーのジミー大西や松尾伴内との出会い、中川家、次長課長のさんまへの愛のあるネタを解説しました。若手芸人にも厳しいコメントが飛び、さんまのレアなモノマネも披露されました。
  6.  
  7. トークは予定時間をオーバーするほど盛り上がり、漫才、コント、モノボケ、大阪を舞台にした爆笑喜劇など、 endlessな初笑いとなりました。さんまのユニークなトークと素晴らしいパフォーマンスで、観客は笑いの渦に巻き込まれました。
こちらも同様に、要約というよりは解説をしている感じで、元の文章を読むのとあまり負担が変わらない状況になってしまっています。

最後に、キーワード抽出もさせてみます。
使うニュース記事は先程と同じものを使います。 

  1. 次の文章からキーワードを5つ抽出してください。長期化するコロナ禍で生活が苦しくなった人たちを支援するため、弁護士らのグループが31日、年越し支援コロナ被害相談村を東京都新宿区の大久保公園で開いた。自治体などの窓口の多くが閉まる年末年始に、労働や生活に関わる相談を受けたり、コメや野菜などの食料品を提供したりする場をつくっている。元日も午前10時~午後4時に同公園で開く。労働組合や弁護士らでつくる実行委員会が前年に続いて開催した。会場には、女性のためのブースも設けられ、女性スタッフだけで相談にのる態勢が整えられている。実行委によると、31日午後4時時点で、20代から90代の208人が訪れたという。前年の大みそかの2倍の人数だった。寄せられた相談の中には、システムエンジニアとして月収が100万円あったが、失職して今は野宿生活をしている男性や、3カ月前に解雇されてアパートの家賃を払えなくなったという男性など、仕事や住まいを失うケースが目立つという。共同代表の棗一郎弁護士は失業期間が長引く中で、今回は労働相談も増えている。行政は失業対策に取り組むべきだと話す。
結果は下記です。 
  1. ・長期化するコロナ禍で生活が苦しくなった人たち
  2. ・年越し支援コロナ被害相談村の開催（新宿区の大久保公園で）
  3. ・弁護士らのグループによる実行委員会（労働組合や弁護士らで構成）
  4. ・窓口の閉まる年末年始に生活相談や支援を提供する場づくり
  5. ・労働や生活に関わる相談、食料品の提供（コメや野菜など）
  6. ・女性のためのブースの設置（女性スタッフだけで対応）
  7. ・実行委による前年との比較（特に仕事を失い、住居を失ったケースの相談増加）
  8. ・行政に対する失業対策の必要性を訴える声（棗一郎弁護士の発言
キーワードというには少し長めで、かつ8つ生成している状態です。
指示の「5つ」は守れていない状況です。

もう一つの文章でキーワード抽出をします。 

  1. 次の文章からキーワードを5つ抽出してください。次の文章を要約してください。明石家さんまが主演のお正月特別公演笑輪の笑い~Born ready達~が1日、大阪ミナミのなんばグランド花月で開かれた。さんまがNGK正月興行に出演するのは40年ぶりのこと。昨年も開催を予定していたが、新型コロナ禍で中止となった。冒頭、歌舞伎の口上スタイルで出演者が登場したが、満員の観客から大きな拍手を浴びると、さんまは立ち上がってパン。パン、パン、パンとお決まりの拍手を留める芸を披露。中川家礼二、剛がモノマネ。次長課長河本のツッコミも。さんまが出演者を、爆笑エピソードを交えて紹介した。さんまファミリーのジミー大西、松尾伴内との出会い、中川家、次長課長がさんまのハートを掴んだネタを解説。若手のアインシュタイン稲田直樹、河井ゆずるやアキナ秋山賢太、山名文和にはダメ出しを少々。さんまのレアなモノマネも飛び出し、国民的番組には辛口のコメントを発した。トークだけで盛り上がり、すでに予定時間をオーバーした。その後は漫才、コント、モノボケや、レトロな大阪を舞台にした爆笑喜劇。エンドレスの初笑いとなった。
結果は下記です。 
  1. ・明石家さんま
  2.   - 明石家さんまが主演のお正月特別公演笑輪の笑い~Born ready達~の主催者であり、メインキャストとして出演。
  3.  
  4. ・ńG（なんばグランド花月）
  5.   - 明石家さんまが正月興行を上演する舞台。
  6.  
  7. ・笑輪（わらい）
  8.   - 明石家さんまが演出するお正月特別公演のタイトル。
  9.  
  10. ・Born ready達（ Born Ready with さんま）
  11.   - 明石家さんまが参加する特別公演の名称。
  12.  
  13. ・ńK（大阪ミナミのなんばグランド花月）
  14.   - 明石家さんまが正月興行を上演する舞台がある場所。
  15.  
  16. ・正月特別公演
  17.   - 新年を祝う特別な公演。
  18.  
  19. ・${キーワード}（例：$さんま、ńG、$笑輪、$Born ready達、$Born readywithさんま、$ńK、$正月特別公演）
  20.   - 上記のキーワードの中から、特に重要なキーワードを抽出。
  21.  
  22. ・${コメント}
  23.   - アシスタントが抽出したキーワードに対する追加や補足的なコメント。
  24.  
  25. 上記の文章から、明石家さんま、ńG（なんばグランド花月）、笑輪（わらい）、Born ready達（Born Ready with さんま）、ńK（大阪ミナミのなんばグランド花月）、正月特別公演というキーワードが抽出できます。
キーワードは確かに5つ抽出できていますが、出力形式が微妙なのでこのあたりはプロンプトチューニングなどで対応する必要がありそうです。
ただ、よく見てみると変なキーワードを抽出しています。元の文章には「ńG」や「ńK」は存在しません。
なにかの文字化けを起こしている可能性もありますが、それ以外はしっかり抽出しているので、完璧な判断は難しそうです。

0.5Bのモデルについての検証は以上にします。
速度は申し分なく、精度についてもそれなりにはありそうでした。プロンプトチューニングでもどうにかできる範囲でもある気がするので、全く使えないということはなさそうです。
ただし、これを完全に頼り切るのは難しそうです。


1Bモデルの検証

続いて、今回公開されたモデルで真ん中の容量である1Bを使ってみます。
利用するコードは先ほどと同じで、モデル名の部分だけ修正します。

まずは「LLMとは何ですか？」の回答を見てみます。 

  1. LLM、つまりLarge Language Model（大規模言語モデル）は、大量のテキストデータから学習された人工知能モデルの一種です。特に自然言語処理（NLP）の分野で非常に強力なツールとされています。このモデルは、文章の意味理解、文脈の推測、生成、翻訳、質問応答など、幅広い言語タスクに高い性能を発揮します。
  2.  
  3. 具体的には、LLMは膨大なテキストコーパス（大量のテキストデータ集合）を用いて、文法、語彙、文脈、意味などの言語的特徴を学習します。これにより、新しいテキストを生成したり、既存のテキストを解析したりする際に、人間のような自然な言語使用が可能となります。例えば、GPT（Generative Pre-trained Transformer）やBERT（Bidirectional Encoder Representations from Transformers）といったモデルが代表的なLLMとして知られています。これらは様々な産業や研究分野で応用され、ユーザーインターフェースの向上、自動文書作成、カスタマーサポートなど多岐にわたる用途で活用されています。
こちらは問題なく回答できています。

続いて「Hugging faceとは何ですか？」という質問をします。 

  1. Hugging Faceは、主に自然言語処理（NLP）や機械学習の分野で使用されるオープンソースのプラットフォームとツールを提供する企業です。特に、深層学習モデルの開発、訓練、評価、およびデプロイmentにおいて広く利用されています。Hugging Faceのプラットフォームには、Transformersライブラリが含まれており、これはBERTやGPT-3などの高度な言語モデルを簡単に利用できるように設計されています。このライブラリは、研究者や開発者が高品質な事前学習済みモデルを自分のプロジェクトに統合し、効率的にモデルを訓練・微調整するためのツールやフレームワークを提供しています。また、Hugging Faceはコミュニティが活発で、モデルの共有、コラボレーション、およびサポートが充実しており、機械学習やNLPの研究開発において非常に有用なリソースとなっています。
こちらも精度としては問題ないかと思います。

問いに対する説明は問題ないので、今度は要約をさせてみます。
対象の文章は同じくYahooニュースの過去の記事です。 

  1. 次の文章を要約してください。長期化するコロナ禍で生活が苦しくなった人たちを支援するため、弁護士らのグループが31日、年越し支援コロナ被害相談村を東京都新宿区の大久保公園で開いた。自治体などの窓口の多くが閉まる年末年始に、労働や生活に関わる相談を受けたり、コメや野菜などの食料品を提供したりする場をつくっている。元日も午前10時~午後4時に同公園で開く。労働組合や弁護士らでつくる実行委員会が前年に続いて開催した。会場には、女性のためのブースも設けられ、女性スタッフだけで相談にのる態勢が整えられている。実行委によると、31日午後4時時点で、20代から90代の208人が訪れたという。前年の大みそかの2倍の人数だった。寄せられた相談の中には、システムエンジニアとして月収が100万円あったが、失職して今は野宿生活をしている男性や、3カ月前に解雇されてアパートの家賃を払えなくなったという男性など、仕事や住まいを失うケースが目立つという。共同代表の棗一郎弁護士は失業期間が長引く中で、今回は労働相談も増えている。行政は失業対策に取り組むべきだと話す。
実行した結果が下記になります。 
  1. この文章は、長期化するコロナ禍により生活が苦しくなった人々を支援するために、弁護士らによるグループが主催する年越し支援コロナ被害相談村のことが紹介されています。この相談村は、新宿区大久保公園で年末年始に開催され、労働や生活に関する相談だけでなく、食料提供も行われています。元日も午前10時から午後4時まで開村され、女性たちのためのブースも設けられています。実行委によると、前年の大みそかよりも多くの相談者（208人）が訪れ、その多くが仕事や住まいを失ったり、収入が減ったりした状況でした。特に、システムエンジニアで月収が100万円あった男性が失業後に野宿生活を送るようになったり、3か月前に解雇された男性がアパートの家賃を払えなくなっているケースが目立ちました。共同代表の棗一郎弁護士は、失業期間が長引くことで労働相談が増えていると指摘し、行政による失業対策の強化を訴えています。
要約というよりは、説明している感じですね。0.5Bのモデルと同じ感じがします。

他の文章でも検証してみます。
同じく過去のYahooニュースの記事を使います。 

  1. 次の文章を要約してください。明石家さんまが主演のお正月特別公演笑輪の笑い~Born ready達~が1日、大阪ミナミのなんばグランド花月で開かれた。さんまがNGK正月興行に出演するのは40年ぶりのこと。昨年も開催を予定していたが、新型コロナ禍で中止となった。冒頭、歌舞伎の口上スタイルで出演者が登場したが、満員の観客から大きな拍手を浴びると、さんまは立ち上がってパン。パン、パン、パンとお決まりの拍手を留める芸を披露。中川家礼二、剛がモノマネ。次長課長河本のツッコミも。さんまが出演者を、爆笑エピソードを交えて紹介した。さんまファミリーのジミー大西、松尾伴内との出会い、中川家、次長課長がさんまのハートを掴んだネタを解説。若手のアインシュタイン稲田直樹、河井ゆずるやアキナ秋山賢太、山名文和にはダメ出しを少々。さんまのレアなモノマネも飛び出し、国民的番組には辛口のコメントを発した。トークだけで盛り上がり、すでに予定時間をオーバーした。その後は漫才、コント、モノボケや、レトロな大阪を舞台にした爆笑喜劇。エンドレスの初笑いとなった。
生成された回答が下記です。 
  1. 明石家さんまが主演するお正月特別公演「笑輪の笑い～Born ready達～」が、大阪ミナミのなんばグランド花月で1日開催されました。このイベントは40年ぶりのNGK（なんばグランド花月）正月興行であり、さんま氏は40年前の自身の出演以来、再び同舞台に立ちました。冒頭、出演者は歌舞伎の口上スタイルで登場し、観客から大きな拍手を受けました。さんま氏は続いて、定番のパン！パン！パン！という拍手を留める芸を披露し、観客を沸かせました。
  2.  
  3. この公演では、さんま氏が出演者を爆笑エピソードを交えて紹介し、各ファミリーの個性を活かしたネタを解説しました。特に、ジミー大西と松尾伴内との出会いや、中川家、次長課長がさんまのハートを掴んだネタについて詳しく話しました。また、若手芸人であるアインシュタイン稲田直樹、河井ゆずる、アキナ秋山賢太、山名文和にもダメ出しを少々行い、さんまの厳しい視線が向けられました。
  4.  
  5. さんま氏のレアなモノマネも披露され、国民的番組の辛口コメントも交えながら、トークは continued していきました。漫才、コント、モノボケ、レトロな大阪を舞台にした爆笑喜劇など、様々なネタでaudienceを魅了し、予定時間を大幅に超える endless な初笑いとなりました。この公演は「エンドレスの初笑い」として、多くの観客に楽しんでされました。
こちらも同様に、要約というよりは解説をしている感じで、むしろ元の文章よりも長くなってしまっている気がします。

最後に、キーワード抽出もさせてみます。
使うニュース記事は先程と同じものを使います。 

  1. 次の文章からキーワードを5つ抽出してください。長期化するコロナ禍で生活が苦しくなった人たちを支援するため、弁護士らのグループが31日、年越し支援コロナ被害相談村を東京都新宿区の大久保公園で開いた。自治体などの窓口の多くが閉まる年末年始に、労働や生活に関わる相談を受けたり、コメや野菜などの食料品を提供したりする場をつくっている。元日も午前10時~午後4時に同公園で開く。労働組合や弁護士らでつくる実行委員会が前年に続いて開催した。会場には、女性のためのブースも設けられ、女性スタッフだけで相談にのる態勢が整えられている。実行委によると、31日午後4時時点で、20代から90代の208人が訪れたという。前年の大みそかの2倍の人数だった。寄せられた相談の中には、システムエンジニアとして月収が100万円あったが、失職して今は野宿生活をしている男性や、3カ月前に解雇されてアパートの家賃を払えなくなったという男性など、仕事や住まいを失うケースが目立つという。共同代表の棗一郎弁護士は失業期間が長引く中で、今回は労働相談も増えている。行政は失業対策に取り組むべきだと話す。
結果は下記です。 
  1. 抽出したキーワードは以下の5つです。
  2.  
  3. 1. 長期化するコロナ禍
  4. 2. 生活困窮者支援
  5. 3. 年越し支援コロナ被害相談村
  6. 4. 弁護士らによるサポート
  7. 5. 相談場の提供（労働・生活関連）
  8.  
  9. これらのキーワードは、質問文に含まれる重要な情報を抽出し、ユーザーが求めている内容を明確にしています。特に、コロナ禍における生活困窮者への支援、具体的な相談の場の提供、そして弁護士らによる専門的なサポートが重要なポイントとして強調されています。
キーワード抽出においては、1Bのモデルは正しく抽出できています。
前後の文章はプロンプトチューニングでどうにかできると思うので、問題ないと思います。

もう一つの文章でキーワード抽出をします。 

  1. 次の文章からキーワードを5つ抽出してください。次の文章を要約してください。明石家さんまが主演のお正月特別公演笑輪の笑い~Born ready達~が1日、大阪ミナミのなんばグランド花月で開かれた。さんまがNGK正月興行に出演するのは40年ぶりのこと。昨年も開催を予定していたが、新型コロナ禍で中止となった。冒頭、歌舞伎の口上スタイルで出演者が登場したが、満員の観客から大きな拍手を浴びると、さんまは立ち上がってパン。パン、パン、パンとお決まりの拍手を留める芸を披露。中川家礼二、剛がモノマネ。次長課長河本のツッコミも。さんまが出演者を、爆笑エピソードを交えて紹介した。さんまファミリーのジミー大西、松尾伴内との出会い、中川家、次長課長がさんまのハートを掴んだネタを解説。若手のアインシュタイン稲田直樹、河井ゆずるやアキナ秋山賢太、山名文和にはダメ出しを少々。さんまのレアなモノマネも飛び出し、国民的番組には辛口のコメントを発した。トークだけで盛り上がり、すでに予定時間をオーバーした。その後は漫才、コント、モノボケや、レトロな大阪を舞台にした爆笑喜劇。エンドレスの初笑いとなった。
結果は下記です。 
  1. 1. 明石家さんま
  2. 2. NGK（なんばグランド花月）
  3. 3. お正月特別公演笑輪の笑い～Born ready達～
  4. 4. 口上スタイル
  5. 5. パン・拍手（さんまのお決まり芸）
  6. 6. 出演者紹介
  7. 7.  laughs（笑い）
  8. 8. バブル時代（過去の思い出）
  9. 9. 中川家礼二、剛
  10. 10. 次長課長河本
  11. 11. ジミー大西、松尾伴内
  12. 12. さんまファミリー
  13. 13. 爆笑エピソード
  14. 14. さんまのハートを掴んだネタ
  15. 15. アインシュタイン稲田直樹、河井ゆずる、アキナ秋山賢太、山名文和
  16. 16. モノボケ
  17. 17. レトロ
  18. 18. 大阪
  19. 19.  laughs again（Endless laughs）
  20. 20. 漫才、コント、モノボケ、 laughs beyond（ endlessly）

こちらはキーワードを20個も抽出してしまっています。
なかなか数値の指定は難しいのかもしれません。

1Bのモデルについての検証は以上にします。
1Bであっても速度はそれなりには早く生成できていました。一部のタスクは0.5Bと比較し、正しく生成できていたものの、全部が正しく生成できているわけではありませんでした。


さいごに

今回は、sbintuitionsの公開したSLMモデルを試してみました。
3Bのモデルもありますが、記事が長くなってしまうので別枠で実施しようと思います。

0.5Bも1Bもどちらも精度として、全く使えないということはなかったです。
質問に対する説明生成は問題ないかと思います。ただ数値を指定するような指示は少し苦手なようでした。
プロンプトチューニングなどでできる範囲もあると思うので、工夫次第では化けるモデルかもしれません。
なお速度については、どちらもCPU環境でそれなりの速度で生成できているので、十分だと思います。

最近はLLMモデルやSLMモデルなど色々なモデルが出てきて、選択肢が増えてきて良い傾向だなと思います。
また、新しいモデルがでてきたら検証してみたいと思います。
今回はこのへんで、ではまた！

コメント

コメントを投稿

このブログの人気の投稿

PowerAppsで座席表を作成する

イメージ
PowerAppsで座席表を作成する。 PowerAppsで座席表を作成する。 昨今、会社では指定された先がなく、自由に席を選んで仕事ができる フリーアドレス が増えてきているのではないでしょうか。 私の会社も フリーアドレス を採用しているのですが、その日の気分によって座る場所を変えることができるので私は気に入っています。 ただ自由で便利な反面、困る場面もあるかと思います。 フリーアドレス は自由に座れるのですが、だれがどこに座っているのか分からなくなる状況があります。 さらに テレワーク が重なると出社していない人もいるため、より分からなくなるかと思います。 みなさんの会社でも同様の状況になっていないでしょうか。 もちろん最近は便利なアプリなどによって改善されていたり気がしますが、そのアプリの利用料などがかかるため導入にためらってしまったりするかと思います。 なので今回は、この課題を Power Apps で改善をしていきます。 アプリの概要 アプリの概要を簡単に説明します。 Labelを複数配置していき、机や椅子、その他会議室やロッカーなどを表現 席用のLableの「OnSelect」メソッドにフロー起動の処理を追加 上記だけで簡易な座席表を作成できます。 別途データベース用のListsを作成しておきます。 それでは、Listsの作成から進めています。 下準備 今回のアプリのデータベースはMicrosoft Listsを使用します。 適当な場所にListsを下記内容で作成します。 必要なカラムは「Title(Id)」「Name」です。 今回は適当に数個座席を作成しておきます。「Name」部分は空...
続きを読む

Power Automateでファイル名から拡張子を取得

イメージ
Power Automateでファイル名から拡張子を取得 Power Automateでファイル名から拡張子を取得 以前、 Power Automateで自動ファイルバックアップ（OneDrive） という記事で ファイル名から拡張子を取得する方法 をまとめました。 その際には複数の変数を用意して、かつ関数も使用して取得していましたが、これはフロー作成にかなり手間がかかるものです。 そのため、どうにか簡略化できなかと検討したところ新しい取得方法で、より簡潔に作成できることがわかったので、今回はファイル名から拡張子を取得する方法について新しい手法をまとめたいと思います。 作成方法を解説 まず取得する方法を説明する前に、以前の方法ではどのように取得していたかというと、 ファイル名から拡張子までの文字数を取得 ファイル名の拡張子部分の長さを取得する 拡張子の開始位置から、拡張子の文字数分だけ切り取って取得する といった手順を踏んでいました。 詳細は先程リンクを貼っているブログか、文字列抽出方法をまとめたブログがあるので参考にしてください。 Power Automateで文字列抽出 このように以前の方法ですと、ステップ数が増えるため作成も手間ですし、メンテナンス性も良くない状況です。 なのでもっと簡略化して実装する方法を紹介します。また2つの関数を使用するものの、シンプルなため可読性は高いです。さらに、今回の方法で実装すると事前準備していた変数3つが不要になります！！ では、いよいよ本題に入ります。 今回使用する関数は split と last の2つになります。 split関数 split関数 は文字列を指定の文字で 分割 する関数です。 ...
続きを読む

Power Automateで文字列抽出

イメージ
PowerAutomateで文字列抽出 Power Automateで文字列抽出 最近 Power Automate の記事をよく書いますが、基本的に何か一連の機能を作成する流れを説明していることが多いです。 その中で出てくる各機能の詳細についてはあまり触れられていない事が多いので、今回は機能の詳細について説明する機会があっても良いかなと思いました。 なので今回は前回作成した Power Automateでファイルバックアップ（OneDrive） で使用した「 ファイル名の文字列から拡張子を抽出する機能 」について、詳細をまとめようと思います。 正規表現のような機能を作るのはまだ難しいですが、拡張子のようにある程度事前に抽出する文字列が定まっていれば数ステップで機能実装が可能です。 ステップや使用している関数の内容について説明していきます！！ 各関数の説明 それでは、文字列を抽出するために使用する関数の説明をしていきます。今回は分かりやすくするためにファイル名から拡張子を抽出する流れで説明します。 lastIndexOf まず文字列を抽出するためには、抽出対象の文字列の開始位置が必要になります。なので開始位置が文字列の何番目から開始するのかを取得します。 その際に使用する関数が lastIndexOf になります。 引数は2つ指定します。 ・第一引数：対象文字列 ・第二引数：抽出したい文字列 ※抽出したい文字列が対象文字列に複数存在する場合は、最後に検知された開始位置が戻り値として返されます。最初に見つかった場所が欲しい場合には indexOf を使用します。 それでは lastInde...
続きを読む