ローカルLLMのモデル選びはVRAM容量でほぼ決まります。Q4_K_M量子化を前提にすると、8GBで7〜8B、16GBで12〜14B、24GBで32B、70Bには48GB以上。そして4bit量子化（Q4_K_M）の劣化はごくわずかで、対話用途ではほぼ判別できないため、実用上は量子化一択です。フル精度にこだわる理由はほとんどありません。
「32Bを動かしたいけど自分のGPUで足りるのか」「量子化すると馬鹿になるのでは」——この2つが分かれば選定は終わります。この記事ではVRAM別の適正サイズと、用途から逆算した選び方を整理します。
まず量子化を理解する
量子化はモデルの重みを圧縮してVRAM使用量を下げる手法です。効きが劇的で、7Bモデルはフル精度（BF16）で約14GB必要なところ、Q4_K_M量子化なら約4.7GBまで下がります。
| モデルサイズ | Q4量子化時のファイルサイズ |
|---|---|
| 7Bクラス | 約4〜5GB |
| 14Bクラス | 約8〜10GB |
| 32Bクラス | 約18〜20GB |
精度劣化を心配しなくていい理由
llama.cpp の量子化方式の比較では、7Bクラスにおける perplexity（予測のしにくさ。低いほど良い）の増加量が次のように報告されている。
| 方式 | サイズ(7B) | perplexity増加 |
|---|---|---|
| Q5_K_M | 4.45GB | +0.0142 |
| Q4_K_M | 3.80GB | +0.0535 |
| Q3_K_M | 3.06GB | +0.2437 |
| Q2_K | 2.67GB | +0.8698 |
Q4_K_M までは増加がごくわずかで、Q3以下から急に悪化するのが分かる。だから実用ラインは Q4_K_M〜Q5_K_M になる。同じVRAMなら、フル精度の小さいモデルより量子化した大きいモデルのほうが賢い——これが実用上の結論です。
VRAM別の適正サイズは？
| VRAM／メモリ | 動かせるサイズ（Q4_K_M） | 該当GPUの例 |
|---|---|---|
| 8GB | 7〜8B | RTX 5060クラス |
| 16GB | 12〜14B | RTX 5070 Tiクラス |
| 24GB | 32B | RTX 4090／3090 |
| 48GB以上 | 70B | 24GB×2枚など |
実際にはコンテキスト長を伸ばすとKVキャッシュぶんのVRAMが追加で必要になるため、表の数値ぴったりでは長い会話が破綻します。1〜2GBの余裕を見ておいてください。
用途から選ぶとどうなる？
- 趣味で試したい・雑談や要約——8Bクラス＋4bit量子化でVRAM 5GB程度。RTX 5060クラスで十分です。
- コード補完や日常的な作業補助——14Bクラス。16GBあれば快適に回ります。
- 仕事で本格的に使う——32Bクラス＋4bitでVRAM 20GB前後。24GB搭載GPUが必要です。
- クラウドAPIの代替を狙う——70Bクラス。48GB以上が必要で、家庭用としてはかなり重い構成になります。
「大きいほど良い」で選ばない
VRAMに収まらないモデルを無理に動かすと、システムメモリへスワップして体感で数十倍遅くなります。動くことと実用になることは別です。まず収まるサイズで試し、物足りなければ上げてください。
GPUをどう選ぶか
用途が固まったら逆算できます。VRAM 16GBが「日常的に使える」の分水嶺で、24GBあれば32Bクラスまで一枚でこなせて長く使えます。
「24GBを中古のRTX 3090で安く」という選択肢もありますが、ローカルLLMはVRAMを長時間フルに使う用途なので、中古特有のリスクが最も出やすい使い方でもあります。判断材料は中古GPUは買っていいかにまとめました。
GPUを買う前に試す方法
どのサイズが自分の用途に足りるかは、実際に触ってみないと分かりません。8Bで十分だった、あるいは32Bでも物足りなかった——どちらもよくあります。
VPS上でOllamaを動かせば、GPUを買う前に各サイズの実力を確かめられます。手順はVPSでローカルLLMを動かすにまとめました。常時稼働させるなら電気代の試算も先にしておくと判断を誤りません（生成AIの電気代）。
まとめ
選定の手順はこれだけです。①Q4_K_M量子化を前提にする → ②VRAMから動くサイズを確定する → ③用途に足りるか実際に試す。
量子化の精度劣化を過度に恐れる必要はありません。同じVRAMなら、フル精度の小さいモデルより量子化した大きいモデルを選ぶ。これがローカルLLMの基本戦略です。
コメント