【ローカルAI】MacでローカルLLM

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適

ローカルLLMで何ができるかって？
自分がやりたいことをやれば良いだけ。
それができる機材を買えば良いだけ。
大金がつぎ込めないなら、クラウドでサブスクすれば良いだけのはなし。
あと、メモリが多いと、細かいところを気にしなくてもよくなるので、無駄な時間が減る。
それから、複数台あると、クラスタ以外でも使い分けができて幸せになる？

ちなみに32GB構成でもそこまで悪くない、それ以下になると逆にコスパ悪いってだけ
32GB構成で学割で20万円、これで30B級が普通に回るからコスパはめっちゃ良い
企業は大口契約で学割よりも安く大量購入できるからmac miniが一番コスパええんやろね

>>16
いちから指示して小さいコードを欠くならいいけど既存のコードを参考にとかは難しいかな
ローカルLLMはコンテキスト長が短いしハーネスでの対応も難しい
コードの改良とかバグの発見、修整とかは難しいかな