【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

スレ立て乙
高度なやり取りが見れて勉強になることを望みます

ここからAIのコピペばかりになるのか

ボットの内容を消費期限切れの生肉が喋るだけのスレ

ローカルLLMなど愚の骨頂！！

exoクラスタ組んでもMLXしか対応してないからHuggingFaceのモデルを入れる時点で限られる

会社で使ってるchatbotがクソなんでローカルAIをローカルサーバーに入れて、社内のナレッジ共有に利用とか出来たら嬉しい
chatbot入れた担当は首にしろ

なんでLLM限定？

スレ立てた奴がアホでAIの事何もしらんから
クソスレなんてこのまま放置でOK

スレタイに、mini studioを入れないあたり
隔離スレと見せかけて過疎スレを作って、本スレでLLMの話題を封じるアリバイ作りですか

>>7はコンプラ違反で告発されればいいと思うよ。

64GB Mac mini M4 ProでローカルAI使ってる、その印象

キャパのギリギリを狙って​Llama3.3 70B Q4試してみたけど、思考の深さはさすがの70Bながら4bitまで蒸留したのがかなり悪い方向に効いていて「思考力は高いけど知識の少ない人」みたいな感じになってる

逆にメモリ的にかなり余裕のあるGemma4 32B Q8の方が賢い感じがする
蒸留で消えてしまった知識が案外大事だったんだなと気付いた

この辺り、実際に使ってみないと分からんよね
こういう情報交換できるといいなと思ってます

個人用途ならSearXNG MCPは導入したいところ