BitNetをローカル環境構築してcondaで始める方法！

BitNetは、Microsoftが開発した革新的な量子化技術で、大規模な言語モデルをCPUだけで動かすことができます。

今回は、condaを使ってBitNetをローカルで動かす方法を詳しく解説します。

Contents

環境構築の準備

まずは必要なツールをインストールしていきましょう。

基本的な開発環境が必要になります。

まずはBitNet用の専用環境を作成します。

conda create -n bitnet-cpp python=3.9
conda activate bitnet-cpp

この環境は他のプロジェクトと分離されているので、依存関係の競合を心配する必要はありません。

BitNetのソースコードを取得します。

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet

--recursiveオプションを忘れないようにしましょう。これは必要なサブモジュールも一緒にクローンするためです。

必要なパッケージをインストールします。

pip install -r requirements.txt

Hugging Faceからモデルをダウンロードし、BitNet用に変換します。

python setup_env.py --hf-repo HF1BitLLM/Llama3-8B-1.58-100B-tokens -q i2_s

セットアップが完了したら、実際にモデルを動かしてみましょう。

python run_inference.py -m models/Llama3-8B-1.58-100B-tokens/ggml-model-i2_s.gguf -p "Hello, how are you?" -n 6 -temp 0

Windows:

macOS:

Linux:

パフォーマンスを最適化させるために、以下の調整も有効です。

BitNetの環境構築は、順序立てて行えば難しくありません。

基本的な手順を押さえて、自分の用途に合わせた調整を加えていきましょう。