【ローカルAI】MacでローカルLLM

>>20
miniスレの言ってる事アテにするな
推論やるにしても最低32GB、可能なら64GB
64GB構成で30Bクラスが回せるから一番コスパいいのがこれ
LLMやるならstudio買えっていうアホがたまにいるけど
企業がLLM用に大量購入してるのがmac mini

32GBはどこまでやれるの？

LLMって単純にいうけど具体的には何のために何をするの？

JC,JKのエロ動画作成じゃないの？ローカルじゃないと危ないからな

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適

ローカルLLMで何ができるかって？
自分がやりたいことをやれば良いだけ。
それができる機材を買えば良いだけ。
大金がつぎ込めないなら、クラウドでサブスクすれば良いだけのはなし。
あと、メモリが多いと、細かいところを気にしなくてもよくなるので、無駄な時間が減る。
それから、複数台あると、クラスタ以外でも使い分けができて幸せになる？

ちなみに32GB構成でもそこまで悪くない、それ以下になると逆にコスパ悪いってだけ
32GB構成で学割で20万円、これで30B級が普通に回るからコスパはめっちゃ良い
企業は大口契約で学割よりも安く大量購入できるからmac miniが一番コスパええんやろね

>>16
いちから指示して小さいコードを欠くならいいけど既存のコードを参考にとかは難しいかな
ローカルLLMはコンテキスト長が短いしハーネスでの対応も難しい
コードの改良とかバグの発見、修整とかは難しいかな

>>32
Bionic使ってる実感としてはその逆だわ
骨格をクラウドAIにざっくり作らせておいて、Bionicで時間かけてブラッシュアップしてもらう感じ
デバッグとかもかなり得意だよ