ローカルLLMのモデル選びはVRAM容量でほぼ決まります。Q4_K_M量子化を前提にすると、8GBで7〜8B、16GBで12〜14B、24GBで32B、70Bには48GB以上。量子化の劣化は、llama.cppの公式の一覧（Llama-3-8B）でQ4_K_Mのperplexityの増加が+0.1754と、Q3_K_M（+0.6569）やQ2_K（+3.5199）より小さく、VRAMが限られるならQ4_K_M〜Q5_K_Mが実用的な線です。
「32Bを動かしたいけど自分のGPUで足りるのか」「量子化すると馬鹿になるのでは」——この2つが分かれば選定は終わります。この記事ではVRAM別の適正サイズと、用途から逆算した選び方を整理します。
まず量子化を理解する
量子化はモデルの重みを圧縮してVRAM使用量を下げる手法です。llama.cppの公式の例では、Llama 3.1 8BはF16で約15GiB（14.96GiB）、Q4_K_Mなら4.58GiBまで下がります。
| モデルサイズ | Q4量子化時のファイルサイズ |
|---|---|
| 7Bクラス | 約4〜5GB |
| 14Bクラス | 約8〜10GB |
| 32Bクラス | 約18〜20GB |
（Ollamaの公式ライブラリのQwen2.5では、7bが4.7GB・14bが9.0GB・32bが20GB。2026年10月11日確認）
量子化でどのくらい精度が落ちる？
llama.cppの量子化ツールの一覧には、Llama-3-8Bでの perplexity（予測のしにくさ。低いほど良い）の増加量が次のように示されています（2026年10月11日確認）。
| 方式 | サイズ（Llama-3-8B） | perplexity増加 |
|---|---|---|
| Q5_K_M | 5.33GB | +0.0569 |
| Q4_K_M | 4.58GB | +0.1754 |
| Q3_K_M | 3.74GB | +0.6569 |
| Q2_K | 2.96GB | +3.5199 |
Q4_K_Mまでは増加が小さく、Q3以下で大きく悪化するのが分かります。VRAMが限られるなら、実用ラインはQ4_K_M〜Q5_K_Mです。
VRAM別の適正サイズは？
| VRAM／メモリ | 動かせるサイズ（Q4_K_M） | 該当GPUの例 |
|---|---|---|
| 8GB | 7〜8B | RTX 5060クラス |
| 16GB | 12〜14B | RTX 5070 Tiクラス |
| 24GB | 32B | RTX 4090／3090 |
| 48GB以上 | 70B | 24GB×2枚など |
実際にはコンテキスト長を伸ばすとKVキャッシュぶんのVRAMが追加で必要になるため、表の数値ぴったりでは長い会話が破綻します。1〜2GBの余裕を見ておいてください。
用途から選ぶとどうなる？
- 趣味で試したい・雑談や要約——8Bクラス＋4bit量子化でVRAM 5GB程度。RTX 5060クラスで十分です。
- コード補完や日常的な作業補助——14Bクラス。16GBあれば快適に回ります。
- 仕事で本格的に使う——32Bクラス＋4bitでVRAM 20GB前後。24GB搭載GPUが必要です。
- クラウドAPIの代替を狙う——70Bクラス。48GB以上が必要で、家庭用としてはかなり重い構成になります。
「大きいほど良い」で選ばない
VRAMに収まらないモデルを無理に動かすと、収まらない分をCPUとシステムメモリで動かすことになり大きく遅くなります（Ollamaならollama psにCPUとGPUの割合が出ます＝公式のFAQ）。動くことと実用になることは別です。まず収まるサイズで試し、物足りなければ上げてください。
GPUをどう選ぶか
用途が固まったら逆算できます。VRAM 16GBが「日常的に使える」の分水嶺で、24GBあれば32Bクラスまで一枚でこなせて長く使えます。
「24GBを中古のRTX 3090で安く」という選択肢もありますが、ローカルLLMはVRAMを長時間フルに使う用途なので、中古特有のリスクが最も出やすい使い方でもあります。判断材料は中古GPUは買っていいかにまとめました。
GPUを買う前に試す方法
どのサイズが自分の用途に足りるかは、実際に触ってみないと分かりません。8Bで十分だった、あるいは32Bでも物足りなかった——どちらもよくあります。
VPS上でOllamaを動かせば、GPUを買う前に各サイズの答えの質を確かめられます（VPSはCPUで動くので、速さはGPUとは別です）。手順はVPSでローカルLLMを動かすにまとめました。常時稼働させるなら電気代の試算も先にしておくと判断を誤りません（生成AIの電気代）。
まとめ
選定の手順はこれだけです。①Q4_K_M量子化を前提にする → ②VRAMから動くサイズを確定する → ③用途に足りるか実際に試す。
量子化の劣化は、Q4_K_M〜Q5_K_Mなら小さく抑えられます（llama.cppの公式の一覧）。VRAMに収まる範囲で、このあたりの量子化から試すのがローカルLLMの選び方の基本です。
コメント