投稿

ローカルLLMとWhisperで作る、完全オフライン議事録作成ツール

イメージ
ローカルLLM(gemma-3-12b-it)とWhisperで作る、完全オフライン議事録作成ツール ローカルLLMとWhisperで作る、完全オフライン議事録作成ツール 最近のAIの進化、特に大規模言語モデル（LLM）の発展には目を見張るものがあります。クラウドベースの強力なモデルが次々と登場する一方で、「ローカル環境で動くLLM」も驚くべきスピードで進化しています。 今回は、そんなローカルLLMの「今」とそれを使ってプライバシーも安全な完全ローカル環境で動作する「音声からの議事録作成プログラム」を紹介します。 なおこの記事は、Pythonのプログラムを元に生成AIがベースを作成したものです。最終的には人が手直しをしていますがご認識おきください。 ローカルLLMでセキュリティとカスタマイズ性を手元に 「LLMって便利だけど、会社の機密情報を含むデータを外部APIに送信するのはちょっと、、」と感じる方も多いのではないでしょうか。 ローカルLLMなら、その心配は無用です！ セキュリティ・プライバシー データが外部に出ないため、機密情報を扱う業務にも安心して利用できます。 オフライン動作 インターネット接続がない環境でも利用可能です。 コスト API利用料を気にせず、好きなだけ試行錯誤ができます。（初期のハードウェア投資は考慮が必要） カスタマイズ性 モデルによっては、特定のタスクに合わせてファインチューニングすることも可能です。 ...
コメントを投稿
続きを読む

プロンプトチューニングの勉強会と検証

イメージ
プロンプトチューニングの勉強会 プロンプトチューニングの勉強会と検証 私は普段ローカルLLMの検証などを実施していますが、より活用するためにプロンプトチューニングを勉強しています。 そのため、今回は私が学んだ内容で資料を作成したので、公開したいと思います。 勉強会資料 この勉強会では、LLMやSLMの基本知識から説明し、プロンプトチューニングの原則と簡単なサンプルを紹介します。 なお、動画も公開しているので合わせて参考にしてください。 検証 今回勉強会で扱ったプロンプトチューニングについて、ローカルLLMで効果検証をしたいと思います。 利用するモデルは、以前公開した SB Intuitions のSarashina2.2の1Bモデルになります。 こちらのモデルについて、基本的なタスクは実行できるのですが、数値指定の処理が苦手で、「5つ抽出して」などのタスクで6つ以上抽出してしまうことが多々ありました。 そんなモデルであってもプロンプトをチューニングすることで、処理できるようになるのかを見ていきたいと思います。 なお、このモデルの紹介をした際のブログは下記です。 SB IntuitionsのSarashina2.2検証結果 検証準備 まず使用したプログラムは、以前の検証で利用したものをベースにプロンプトを見やすくするために一部変数管理するように改修を加えています。 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model_path = "sbintuitions/sarashina2.2-0.5b...
コメントを投稿
続きを読む

SB IntuitionsのSarashina2.2検証結果

イメージ
Sarashina2.2の検証結果 SB IntuitionsのSarashina2.2検証結果 YouTubeで公開した、 Sarashina2.2を試してみる! でインプットに使ったデータと、出力された結果についてまとめているものです。 良ければ、動画も見てください！ 使用したプログラムコード 0.5b、1b、3bの検証については下記のコードを利用していました。 モデルパス部分だけ、それぞれのモデル名になるように変更しています。 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model_path = "sbintuitions/sarashina2.2-3b-instruct-v0.1" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype="auto", device_map="auto") model.eval() streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True) chat = [ {"role": "system", "content": "好奇心旺盛なユーザーと人工知能アシスタントとのチャット。アシスタントはユーザーの質問に対して、役立つ詳細で丁寧な回答を提供します。"}, # {"role": "user", "content": "LLMとは何ですか？"}, # {...
コメントを投稿
続きを読む

sbintuitionsのSLM（Sarashina2.2）を試す

sbintuitionsのSLMを試す sbintuitionsのSLM（Sarashina2.2）を試す SB Intuitions （AIの研究開発などを手掛けるソフトバンクの子会社）が 小規模言語モデル（SLM） の「 Sarashina2.2 」を公開しました。 SLMとはLLMと似ていますが、SLMはパラメータ数が小さく特定タスクの処理を得意とする軽量型の言語モデルと言われています。 今回は、この Sarashina2.2 を試してみます。SLMなのでCPU環境でどれくらいど速度を出せるかなどを調べてみたいと思います。 検証環境 Sarashina2.2 の動作環境ですが、先日紹介した RakutenAI-2.0 と同じ環境で動作しました。 導入については、「 RakutenのLLMを試してみる 」を参考にしてください。なお、ざっくり記載すると下記が必要です。 Python3系（3.9以上推奨） pip ライブラリ 主に、transformers、pytorch、accelerate、protobuf、sentencepiece 0.5Bモデルの検証 まずは、今回公開されたモデルで一番最小の 0.5B を使ってみます。 利用するコードは下記になります。（サンプルコードではなく、RakutenAIのときのコードを流用しています。） from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer model_path = "sbintuitions/sarashina2.2-0.5b-instruct-v0.1" tokenizer = AutoTokeni...
コメントを投稿
続きを読む

RakutenLLMの検証結果

イメージ
RakutenLLMの検証結果 RakutenLLMの検証結果 YouTubeで公開した、 RakutenAI-2.0を試してみる! でインプットに使ったデータと、出力された結果についてまとめているものです。 良ければ、動画も見てください！ インプットデータと結果 システムロール 好奇心旺盛なユーザーと人工知能アシスタントとのチャット。アシスタントはユーザーの質問に対して、役立つ詳細で丁寧な回答を提供します。 質問① 質問 LLとはなんですか？ 結果 LLM（Large Language Model）とは、人工知能（AI）技術の一つで、自然言語処理（NLP）の分野におけるモデルの一種です。LLMは、大量のテキストデータを学習することで、人間の言語を理解し、生成する能力を持つように設計されています。 以下は、LLMの基本的な特徴と機能です： 1. **言語理解**：ユーザーの入力テキストを解析し、文脈を理解して、意味を把握します。 2. **言語生成**：理解した意味に基づいて、自然な言語（テキスト、音声など）を生成します。 3. **知識ベース**：事前に学習した膨大なテキストデータベースから情報を引き出し、回答を生成します。 4. **多言語対応**：多くのLLMは、複数の言語をサポートしています。 LLMは、チャットボット、翻訳ツール、コンテンツ生成ツール、カスタマーサポートツールなど、幅広い分野で活用されています。例えば、カスタマーサポートでは、ユーザーの質問に自動で回答したり、翻訳したり、文章の校正を支援したりすることができます。 質問② 質問 Hugging Faceと...
コメントを投稿
続きを読む

RakutenのLLMを試してみる

RakutenのLLMを試してみる RakutenのLLMを試してみる 先日、 Rakuten が LLMモデル 公開したニュースを見ました。 2種類公開されており、性能は高そうだったので、今回試してみたいと思います。 環境構築 LLMを試すために、まずは環境開発を行います。 今回使う環境は、 OracleLinux9 をHyper-V上に構築して実行してみたいと思います。 なお、Hyper-V上の仮想OSなのでGPUは接続されておらず、CPUのみの環境になります。恐らく大容量モデルの方はGPUが必須だと思うので、その場合はホストのWindowsで実行します。 pythonのバージョンを確認する OracleLinuxなので、デフォルトでPython3がインストールされているはずです。 下記コマンドを実行しバージョンを確認します。 python3 -V バージョンが3.9以上であれば、そのまま進めます。 pipをインストールする ライブラリインストールでpipを使うのでインストールします。 sudo dnf install python3-pip インストール後にバージョンの確認を行います。 pip3 -V python3系のpipがインストールできていれば大丈夫です。 必要ライブラリをインストールする Hugging FaceでRakutenのサイトを確認するとサンプルコードが記載されてい...
コメントを投稿
続きを読む

初心者向けPowerAppsの使い方

イメージ
初心者向けPowerApps 初心者向けPowerAppsの使い方 私は普段、 PowerPlatform を使ったサンプルアプリや各種機能の使い方を紹介しています。 ただ、いままではアプリで使う機能のみを紹介しており、初心者向けというよりはある程度触ったことのある人向けのものでした。 なので今回、 PowerApps について、 初心者向け の解説をする資料を作成したので、それを公開します！ なお、2回分の資料を公開しますが、それぞれ YouTube でも解説やデモを紹介しているので、合わせて参考にしてみてください。 第一回 第一回は、PowerAppsでプロジェクトを作成する方法から、簡単な編集、アプリを公開、共有する方法を紹介しています。 第二回 第二回は、PowerAppsで使う機能を紹介しています。 データやPowerAutomateフローの接続、ギャラリー表示の方法や画面遷移を紹介しています。 さいごに 今回は PowerApps の初心者向け資料を公開しました！ そのうち、 PowerAutomate なども初心者向けに資料作成していければと思います。 こんな機能も紹介してほしい！みたいなものがあれば、コメントなどいただけると嬉しいです。 ブログや動画で紹介していこうと思います！ 今回はこの辺で、ではまた！
コメントを投稿
続きを読む