【ローカルAI】MacでローカルLLM

miniスレで16GBや24GBでもローカルLLM活用してるって人いるよね
どう使ってるのか具体的に聞いてみたい気はする
どんなモデル使ってるの？用途は？

>>19
現状は>>15のしか候補がないんだよね
Qwen3.8-122B-A10Bが出るという噂はあったけど出てないし
結局1台ローカルLLM専用に出来るなら32GBで間に合うし、他の仕事をしても48GBで足りそう

DGX Sparkが128GBなので合わせたものを作りそうなものなのに意外に出てこない
M5 ProでもDGX Sparkより速い、MaxやUltraは更に速いと思われるので良いモデルが出ると面白いね

>>20
Qwen3.5 9B, Gemma4 E4Bと12B, Ornith1.5 9Bは16GBは十分動く
翻訳や文法、誤植のチェックとかに使えるよ
化学や物理の問題もまあまあ出来るし自分でやらないと勉強にならんとかお断りされない非検閲モデルもある

>>21
ありがとう。現状別PCでqwen3.8 27B q4使ってて、それを別用途に使いたいから、LLM専用で買おうと思ってるんだよね
64GBを超えると馬鹿高いし、48か64が妥協点なのかな
凄いモデルあるなら96以上狙ってもいいんだけど

>>22
軽いモデルだと速度がめちゃくちゃ速いから、それはそれで使い所ありますよね

>>20
miniスレの言ってる事アテにするな
推論やるにしても最低32GB、可能なら64GB
64GB構成で30Bクラスが回せるから一番コスパいいのがこれ
LLMやるならstudio買えっていうアホがたまにいるけど
企業がLLM用に大量購入してるのがmac mini

32GBはどこまでやれるの？

LLMって単純にいうけど具体的には何のために何をするの？

JC,JKのエロ動画作成じゃないの？ローカルじゃないと危ないからな

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適