【ローカルAI】MacでローカルLLM

ボットの内容を消費期限切れの生肉が喋るだけのスレ

ローカルLLMなど愚の骨頂！！

exoクラスタ組んでもMLXしか対応してないからHuggingFaceのモデルを入れる時点で限られる

会社で使ってるchatbotがクソなんでローカルAIをローカルサーバーに入れて、社内のナレッジ共有に利用とか出来たら嬉しい
chatbot入れた担当は首にしろ

なんでLLM限定？

スレ立てた奴がアホでAIの事何もしらんから
クソスレなんてこのまま放置でOK

スレタイに、mini studioを入れないあたり
隔離スレと見せかけて過疎スレを作って、本スレでLLMの話題を封じるアリバイ作りですか

>>7はコンプラ違反で告発されればいいと思うよ。

64GB Mac mini M4 ProでローカルAI使ってる、その印象

キャパのギリギリを狙って​Llama3.3 70B Q4試してみたけど、思考の深さはさすがの70Bながら4bitまで蒸留したのがかなり悪い方向に効いていて「思考力は高いけど知識の少ない人」みたいな感じになってる

逆にメモリ的にかなり余裕のあるGemma4 32B Q8の方が賢い感じがする
蒸留で消えてしまった知識が案外大事だったんだなと気付いた

この辺り、実際に使ってみないと分からんよね
こういう情報交換できるといいなと思ってます

個人用途ならSearXNG MCPは導入したいところ

>>12
それは蒸留じゃなく量子化では
もうllamaは全然駄目で本質的にGemma4に劣る
Metaも分かってるから開発者を変えてMuse Sparkにしたわけで

64GBならQwen3.8 27B、Gemma4-31B、Gemma4-28B A4B，Ornith 1.5 35Bあたりがいいと思う
Llamaはもう古いし誰も使ってない

コーディングにはQwen強いよね
LMStudio BionicでQwen 3.8 27Bに「こういうアプリ作って」とか「このアプリをこう直しといて」みたいなことお願いして一晩回しとくと、だいたいできてる
翻訳だと圧倒的にQwenよりGeminiの方が上手いけど

>>15
Gemma4 26B A4Bだね（そこだけ数字が違う）
うちもQwen, Gemma4, Ornithに落ち着いた
QwenとGemma4の非検閲版も入れてる

>>16
Bionicはいまいちだったけど良くなったなら試してみようかな
Gemma4の日本語は砕けすぎな感じのときもあるのでQwenの正確な翻訳も好き

私は文芸翻訳だからかもしれないけど、QwenよりGemma4の方が翻訳家的な仕事をちゃんとしてくれる
Gemmaは場面や話者で文のスタイルを適切に切り替えるのが本当に上手い

マイナー言語から日本語に翻訳してるという特殊事情があるからかもしれないけど

>>15
96GB、128GBならどうなる？
どこまでメモリ積むか悩むわ

miniスレで16GBや24GBでもローカルLLM活用してるって人いるよね
どう使ってるのか具体的に聞いてみたい気はする
どんなモデル使ってるの？用途は？