LM Studio version03.15 (03.15)でgemma-3-27b-itを使用しての
ローカルLLMで一旦は上手く動作していたのだが、
Macを再起動したら此のモードがフリーズした。
質問事項は「gemma3のモデルの種類を教えてください。加えてそのモデルごとの強みや使い分けの方法も教えてください。」だったのだが?
其処でgemma-3-12b-itでは動くので、問題の解決方法を質問してみた。
最初の質問
「LM Studio のダウンロードサイトには3.15-11ですが?
最新の物は何れですか?」
回答『ご指摘ありがとうございます。
LM Studioのダウンロードページに表示されているバージョンは
3.15-11が最新です。』
表示されたURLをコピーしたが接続先が間違っていた。
質問『安定板のgemma-3-27bを試しましたがフリーズしました。
対策を教えてください。』
回答は
「Mac Studio M1 Max (32GBメモリ, macOS Ventura 13.7.5) の環境であれば、Gemma-3-12BとGemma-3-27Bの両方をLM Studioで扱うことは十分に可能です。
フリーズする場合でも、モデルの再ダウンロードが必ずしも解決策とは限りません。」
「LM Studio で Gemma 3.27B を試す際にコンテキストサイズを縮小する場合、どの程度縮小するかは、VRAM の容量と、どのようなタスクを実行したいかによって異なります。
目安となる縮小率:
VRAM がギリギリの場合 (例: 24GB):
50% 縮小: コンテキストサイズを元のサイズの 50% に設定します。
例えば、元のコンテキストサイズが 3072 トークンであれば、
1536 トークンに設定します。
効果: VRAM の使用量を大幅に削減できますが、
モデルの応答の長さや精度に影響が出る可能性があります。
VRAM がやや不足している場合 (例: 32GB):
25% 縮小: コンテキストサイズを元のサイズの 75% に設定します。
例えば、元のコンテキストサイズが 3072 トークンであれば、
2304 トークンに設定します。
効果: VRAM の使用量をある程度削減でき、
応答の長さや精度への影響も比較的少ないです。
VRAM が十分にある場合 (例: 48GB 以上):
10% 縮小: コンテキストサイズを元のサイズの 90% に設定します。
例えば、元のコンテキストサイズが 3072 トークンであれば、
2765 トークンに設定します。
効果: VRAM の使用量をわずかに削減できますが、
応答の長さや精度への影響はほとんどありません。」
質問：「又CPU Offload が62と有りますが設定は何の位にすると良いでしょうか?
目下のcontents lengthは18950 でした」
答 ：「CPU Offload の値が 62 と表示されているとのことですが、
これは LM Studio が GPU にオフロードするレイヤー数を表しています。
現在のコンテキスト長 (Contents Length) が 18950 トークンであるという
情報も考慮すると、この値を調整することでパフォーマンスを改善できる
可能性があります。
CPU Offload の設定に関するアドバイス:
VRAM 容量の確認: VRAM 容量が少ない場合 (23GB)、
GPU にオフロードするレイヤー数を減らすことで、
CPU での処理負荷を軽減できます。
コンテキスト長の考慮: コンテキスト長が長いほど、
GPU での処理負荷が増加します。
コンテキスト長が 18950 トークンという比較的長い値であるため、
GPU にオフロードするレイヤー数を減らすことを検討してください。」
『具体的な設定例:
VRAM がギリギリの場合 (23GB):
CPU Offload を 62 から 32 または 16 に設定してみる。
VRAM がやや余裕がある場合:
CPU Offload を 62 のままにして、パフォーマンスを確認する。
もしフリーズや遅延が発生する場合は、CPU Offload を少し減らしてみる
(例: 50, 40)。』
小生の返事『Contents Lengthを15000台に修正したら、
回答速度が十分に速く成りました。
キャッシュファイルサイズも1.72 GB使用されて快適に動作しています。』
等、など。
現在のgemma-3-27b-it環境では
CPU Offload 32/62
Contents length : 15000台
に変更してまあまあ快適にLLM環境が使えている。