【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

>>21
ありがとう。現状別PCでqwen3.8 27B q4使ってて、それを別用途に使いたいから、LLM専用で買おうと思ってるんだよね
64GBを超えると馬鹿高いし、48か64が妥協点なのかな
凄いモデルあるなら96以上狙ってもいいんだけど

>>22
軽いモデルだと速度がめちゃくちゃ速いから、それはそれで使い所ありますよね

>>20
miniスレの言ってる事アテにするな
推論やるにしても最低32GB、可能なら64GB
64GB構成で30Bクラスが回せるから一番コスパいいのがこれ
LLMやるならstudio買えっていうアホがたまにいるけど
企業がLLM用に大量購入してるのがmac mini

32GBはどこまでやれるの？

LLMって単純にいうけど具体的には何のために何をするの？

JC,JKのエロ動画作成じゃないの？ローカルじゃないと危ないからな

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適

ローカルLLMで何ができるかって？
自分がやりたいことをやれば良いだけ。
それができる機材を買えば良いだけ。
大金がつぎ込めないなら、クラウドでサブスクすれば良いだけのはなし。
あと、メモリが多いと、細かいところを気にしなくてもよくなるので、無駄な時間が減る。
それから、複数台あると、クラスタ以外でも使い分けができて幸せになる？

ちなみに32GB構成でもそこまで悪くない、それ以下になると逆にコスパ悪いってだけ
32GB構成で学割で20万円、これで30B級が普通に回るからコスパはめっちゃ良い
企業は大口契約で学割よりも安く大量購入できるからmac miniが一番コスパええんやろね