【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

スレ立て乙
高度なやり取りが見れて勉強になることを望みます

ここからAIのコピペばかりになるのか

ボットの内容を消費期限切れの生肉が喋るだけのスレ

ローカルLLMなど愚の骨頂！！

exoクラスタ組んでもMLXしか対応してないからHuggingFaceのモデルを入れる時点で限られる

会社で使ってるchatbotがクソなんでローカルAIをローカルサーバーに入れて、社内のナレッジ共有に利用とか出来たら嬉しい
chatbot入れた担当は首にしろ

なんでLLM限定？

スレ立てた奴がアホでAIの事何もしらんから
クソスレなんてこのまま放置でOK

スレタイに、mini studioを入れないあたり
隔離スレと見せかけて過疎スレを作って、本スレでLLMの話題を封じるアリバイ作りですか

>>7はコンプラ違反で告発されればいいと思うよ。

64GB Mac mini M4 ProでローカルAI使ってる、その印象

キャパのギリギリを狙って​Llama3.3 70B Q4試してみたけど、思考の深さはさすがの70Bながら4bitまで蒸留したのがかなり悪い方向に効いていて「思考力は高いけど知識の少ない人」みたいな感じになってる

逆にメモリ的にかなり余裕のあるGemma4 32B Q8の方が賢い感じがする
蒸留で消えてしまった知識が案外大事だったんだなと気付いた

この辺り、実際に使ってみないと分からんよね
こういう情報交換できるといいなと思ってます

個人用途ならSearXNG MCPは導入したいところ

>>12
それは蒸留じゃなく量子化では
もうllamaは全然駄目で本質的にGemma4に劣る
Metaも分かってるから開発者を変えてMuse Sparkにしたわけで

64GBならQwen3.8 27B、Gemma4-31B、Gemma4-28B A4B，Ornith 1.5 35Bあたりがいいと思う
Llamaはもう古いし誰も使ってない

コーディングにはQwen強いよね
LMStudio BionicでQwen 3.8 27Bに「こういうアプリ作って」とか「このアプリをこう直しといて」みたいなことお願いして一晩回しとくと、だいたいできてる
翻訳だと圧倒的にQwenよりGeminiの方が上手いけど

>>15
Gemma4 26B A4Bだね（そこだけ数字が違う）
うちもQwen, Gemma4, Ornithに落ち着いた
QwenとGemma4の非検閲版も入れてる

>>16
Bionicはいまいちだったけど良くなったなら試してみようかな
Gemma4の日本語は砕けすぎな感じのときもあるのでQwenの正確な翻訳も好き