【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

>>22
軽いモデルだと速度がめちゃくちゃ速いから、それはそれで使い所ありますよね

>>20
miniスレの言ってる事アテにするな
推論やるにしても最低32GB、可能なら64GB
64GB構成で30Bクラスが回せるから一番コスパいいのがこれ
LLMやるならstudio買えっていうアホがたまにいるけど
企業がLLM用に大量購入してるのがmac mini

32GBはどこまでやれるの？

LLMって単純にいうけど具体的には何のために何をするの？

JC,JKのエロ動画作成じゃないの？ローカルじゃないと危ないからな

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適

ローカルLLMで何ができるかって？
自分がやりたいことをやれば良いだけ。
それができる機材を買えば良いだけ。
大金がつぎ込めないなら、クラウドでサブスクすれば良いだけのはなし。
あと、メモリが多いと、細かいところを気にしなくてもよくなるので、無駄な時間が減る。
それから、複数台あると、クラスタ以外でも使い分けができて幸せになる？

ちなみに32GB構成でもそこまで悪くない、それ以下になると逆にコスパ悪いってだけ
32GB構成で学割で20万円、これで30B級が普通に回るからコスパはめっちゃ良い
企業は大口契約で学割よりも安く大量購入できるからmac miniが一番コスパええんやろね

>>16
いちから指示して小さいコードを欠くならいいけど既存のコードを参考にとかは難しいかな
ローカルLLMはコンテキスト長が短いしハーネスでの対応も難しい
コードの改良とかバグの発見、修整とかは難しいかな

>>32
Bionic使ってる実感としてはその逆だわ
骨格をクラウドAIにざっくり作らせておいて、Bionicで時間かけてブラッシュアップしてもらう感じ
デバッグとかもかなり得意だよ

>>33
ありがとう
初期に試してBionic使えねーってなってたけどまたやってみる

うちは宗教上の理由でMacは買えない
アンチAppleなので

こどもがiPhoneがいいと言っても？

リンゴアレルギーって結構いるんだよね

大丈夫？アレルギー起こしてない？ここ林檎板だよ？

そもそも普通のやつがAIなんて何に使うの

中国Moonshot AIのチャットボット「Kimi」が、5,380個の偽アカウントを経由してClaudeに転送していた
ニュースになってる
オンライン型は、情報ダダ漏れで信用できないことが明らかになった（勝手に転送した中国AIもアウトだし、受け取ったデータを消去せず溜め込んでた米国AIもアウト）
もはやローカルAI以外は、信用できない

>>35
そんな人がわざわざこんな板のこんなスレで何してんの？

多分だけどアンチMacってのは家庭じゃなくて職場での話じゃないの？
そうでなきゃこんなスレ来ないと思うし

アンチMacはアンチAppleの間違い

自宅ではiPad、iPad mini、iPhone、Mac Studio 、DGX Spark に囲まれて幸せな日々を送っているが、職場のPCは Windowsしか駄目だな…
印刷機やLANに繋げてもらえない

DGXってゴミじゃん
あんなの買うならメモリとミドルGPU買うだけでいいよ