【ローカルAI】MacでローカルLLM

>>12
それは蒸留じゃなく量子化では
もうllamaは全然駄目で本質的にGemma4に劣る
Metaも分かってるから開発者を変えてMuse Sparkにしたわけで

64GBならQwen3.8 27B、Gemma4-31B、Gemma4-28B A4B，Ornith 1.5 35Bあたりがいいと思う
Llamaはもう古いし誰も使ってない

コーディングにはQwen強いよね
LMStudio BionicでQwen 3.8 27Bに「こういうアプリ作って」とか「このアプリをこう直しといて」みたいなことお願いして一晩回しとくと、だいたいできてる
翻訳だと圧倒的にQwenよりGeminiの方が上手いけど

>>15
Gemma4 26B A4Bだね（そこだけ数字が違う）
うちもQwen, Gemma4, Ornithに落ち着いた
QwenとGemma4の非検閲版も入れてる

>>16
Bionicはいまいちだったけど良くなったなら試してみようかな
Gemma4の日本語は砕けすぎな感じのときもあるのでQwenの正確な翻訳も好き

私は文芸翻訳だからかもしれないけど、QwenよりGemma4の方が翻訳家的な仕事をちゃんとしてくれる
Gemmaは場面や話者で文のスタイルを適切に切り替えるのが本当に上手い

マイナー言語から日本語に翻訳してるという特殊事情があるからかもしれないけど

>>15
96GB、128GBならどうなる？
どこまでメモリ積むか悩むわ

miniスレで16GBや24GBでもローカルLLM活用してるって人いるよね
どう使ってるのか具体的に聞いてみたい気はする
どんなモデル使ってるの？用途は？

>>19
現状は>>15のしか候補がないんだよね
Qwen3.8-122B-A10Bが出るという噂はあったけど出てないし
結局1台ローカルLLM専用に出来るなら32GBで間に合うし、他の仕事をしても48GBで足りそう

DGX Sparkが128GBなので合わせたものを作りそうなものなのに意外に出てこない
M5 ProでもDGX Sparkより速い、MaxやUltraは更に速いと思われるので良いモデルが出ると面白いね

>>20
Qwen3.5 9B, Gemma4 E4Bと12B, Ornith1.5 9Bは16GBは十分動く
翻訳や文法、誤植のチェックとかに使えるよ
化学や物理の問題もまあまあ出来るし自分でやらないと勉強にならんとかお断りされない非検閲モデルもある

>>21
ありがとう。現状別PCでqwen3.8 27B q4使ってて、それを別用途に使いたいから、LLM専用で買おうと思ってるんだよね
64GBを超えると馬鹿高いし、48か64が妥協点なのかな
凄いモデルあるなら96以上狙ってもいいんだけど

>>22
軽いモデルだと速度がめちゃくちゃ速いから、それはそれで使い所ありますよね

>>20
miniスレの言ってる事アテにするな
推論やるにしても最低32GB、可能なら64GB
64GB構成で30Bクラスが回せるから一番コスパいいのがこれ
LLMやるならstudio買えっていうアホがたまにいるけど
企業がLLM用に大量購入してるのがmac mini

32GBはどこまでやれるの？

LLMって単純にいうけど具体的には何のために何をするの？

JC,JKのエロ動画作成じゃないの？ローカルじゃないと危ないからな

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適

ローカルLLMで何ができるかって？
自分がやりたいことをやれば良いだけ。
それができる機材を買えば良いだけ。
大金がつぎ込めないなら、クラウドでサブスクすれば良いだけのはなし。
あと、メモリが多いと、細かいところを気にしなくてもよくなるので、無駄な時間が減る。
それから、複数台あると、クラスタ以外でも使い分けができて幸せになる？

ちなみに32GB構成でもそこまで悪くない、それ以下になると逆にコスパ悪いってだけ
32GB構成で学割で20万円、これで30B級が普通に回るからコスパはめっちゃ良い
企業は大口契約で学割よりも安く大量購入できるからmac miniが一番コスパええんやろね

>>16
いちから指示して小さいコードを欠くならいいけど既存のコードを参考にとかは難しいかな
ローカルLLMはコンテキスト長が短いしハーネスでの対応も難しい
コードの改良とかバグの発見、修整とかは難しいかな

>>32
Bionic使ってる実感としてはその逆だわ
骨格をクラウドAIにざっくり作らせておいて、Bionicで時間かけてブラッシュアップしてもらう感じ
デバッグとかもかなり得意だよ

>>33
ありがとう
初期に試してBionic使えねーってなってたけどまたやってみる