CPUで処理できるLLM、BitNetを試してみる
CPUで処理できるLLM、BitNetを試してみる CPUで処理できるLLM、BitNetを試してみる 近年、 LLM や 生成AI が流行っており、これらを導入するソフトウェアなどが増えてきました。 さらに、当初は企業のサーバに接続するAPI通信が主体でしたが、ローカル環境でも動作するモデルが出てきており、環境が整っている人であれば個人PC内でも実行できるようになりました。 しかしLLMの推論にはCPUでは処理が遅くGPUが必須となっていました。ゲーミングPCなどを持っている人であればある程度のスペックのGPUを持っているかと思いますが、そうでない人がほとんどかと思います。 そんな中、Microsoftは CPUでも処理できるLLMモデル を公開し、さらにGithubにも公開されました。 このあたりの専門ではないので詳細は省きますが、本来32ビットの浮動小数点数で表現するものを、1ビットで表現することでモデル容量を減らし、処理を高速化するもののようです。 モデルサイズが小さくなるので、どうしても精度低下は発生しますが、CPUでも処理をさせることができるようです。 今回はそんな BitNet をローカル環境で実行して、精度などを確認していきたいと思います。 ただし、まだ日本語には対応していなそうなので、英語のみでの確認になります。 導入手順 早速導入をしていきます。基本的にはGithubのReadmeに従って準備をしていきます。 なお、今回は CentOS Stream9 の環境で構築します。 Pythonをインストールする まずはプログラミング言語である、 Python をインストールします。 ※3.9以上が必要になります。 sudo dnf
