【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

スレ立て乙
高度なやり取りが見れて勉強になることを望みます

ここからAIのコピペばかりになるのか

ボットの内容を消費期限切れの生肉が喋るだけのスレ

ローカルLLMなど愚の骨頂！！

exoクラスタ組んでもMLXしか対応してないからHuggingFaceのモデルを入れる時点で限られる

会社で使ってるchatbotがクソなんでローカルAIをローカルサーバーに入れて、社内のナレッジ共有に利用とか出来たら嬉しい
chatbot入れた担当は首にしろ

なんでLLM限定？

スレ立てた奴がアホでAIの事何もしらんから
クソスレなんてこのまま放置でOK

スレタイに、mini studioを入れないあたり
隔離スレと見せかけて過疎スレを作って、本スレでLLMの話題を封じるアリバイ作りですか

>>7はコンプラ違反で告発されればいいと思うよ。

64GB Mac mini M4 ProでローカルAI使ってる、その印象

キャパのギリギリを狙って​Llama3.3 70B Q4試してみたけど、思考の深さはさすがの70Bながら4bitまで蒸留したのがかなり悪い方向に効いていて「思考力は高いけど知識の少ない人」みたいな感じになってる

逆にメモリ的にかなり余裕のあるGemma4 32B Q8の方が賢い感じがする
蒸留で消えてしまった知識が案外大事だったんだなと気付いた

この辺り、実際に使ってみないと分からんよね
こういう情報交換できるといいなと思ってます

個人用途ならSearXNG MCPは導入したいところ

>>12
それは蒸留じゃなく量子化では
もうllamaは全然駄目で本質的にGemma4に劣る
Metaも分かってるから開発者を変えてMuse Sparkにしたわけで

64GBならQwen3.8 27B、Gemma4-31B、Gemma4-28B A4B，Ornith 1.5 35Bあたりがいいと思う
Llamaはもう古いし誰も使ってない

コーディングにはQwen強いよね
LMStudio BionicでQwen 3.8 27Bに「こういうアプリ作って」とか「このアプリをこう直しといて」みたいなことお願いして一晩回しとくと、だいたいできてる
翻訳だと圧倒的にQwenよりGeminiの方が上手いけど

>>15
Gemma4 26B A4Bだね（そこだけ数字が違う）
うちもQwen, Gemma4, Ornithに落ち着いた
QwenとGemma4の非検閲版も入れてる

>>16
Bionicはいまいちだったけど良くなったなら試してみようかな
Gemma4の日本語は砕けすぎな感じのときもあるのでQwenの正確な翻訳も好き

私は文芸翻訳だからかもしれないけど、QwenよりGemma4の方が翻訳家的な仕事をちゃんとしてくれる
Gemmaは場面や話者で文のスタイルを適切に切り替えるのが本当に上手い

マイナー言語から日本語に翻訳してるという特殊事情があるからかもしれないけど

>>15
96GB、128GBならどうなる？
どこまでメモリ積むか悩むわ

miniスレで16GBや24GBでもローカルLLM活用してるって人いるよね
どう使ってるのか具体的に聞いてみたい気はする
どんなモデル使ってるの？用途は？

>>19
現状は>>15のしか候補がないんだよね
Qwen3.8-122B-A10Bが出るという噂はあったけど出てないし
結局1台ローカルLLM専用に出来るなら32GBで間に合うし、他の仕事をしても48GBで足りそう

DGX Sparkが128GBなので合わせたものを作りそうなものなのに意外に出てこない
M5 ProでもDGX Sparkより速い、MaxやUltraは更に速いと思われるので良いモデルが出ると面白いね

>>20
Qwen3.5 9B, Gemma4 E4Bと12B, Ornith1.5 9Bは16GBは十分動く
翻訳や文法、誤植のチェックとかに使えるよ
化学や物理の問題もまあまあ出来るし自分でやらないと勉強にならんとかお断りされない非検閲モデルもある

>>21
ありがとう。現状別PCでqwen3.8 27B q4使ってて、それを別用途に使いたいから、LLM専用で買おうと思ってるんだよね
64GBを超えると馬鹿高いし、48か64が妥協点なのかな
凄いモデルあるなら96以上狙ってもいいんだけど

>>22
軽いモデルだと速度がめちゃくちゃ速いから、それはそれで使い所ありますよね

>>20
miniスレの言ってる事アテにするな
推論やるにしても最低32GB、可能なら64GB
64GB構成で30Bクラスが回せるから一番コスパいいのがこれ
LLMやるならstudio買えっていうアホがたまにいるけど
企業がLLM用に大量購入してるのがmac mini

32GBはどこまでやれるの？

LLMって単純にいうけど具体的には何のために何をするの？

JC,JKのエロ動画作成じゃないの？ローカルじゃないと危ないからな

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適

ローカルLLMで何ができるかって？
自分がやりたいことをやれば良いだけ。
それができる機材を買えば良いだけ。
大金がつぎ込めないなら、クラウドでサブスクすれば良いだけのはなし。
あと、メモリが多いと、細かいところを気にしなくてもよくなるので、無駄な時間が減る。
それから、複数台あると、クラスタ以外でも使い分けができて幸せになる？

ちなみに32GB構成でもそこまで悪くない、それ以下になると逆にコスパ悪いってだけ
32GB構成で学割で20万円、これで30B級が普通に回るからコスパはめっちゃ良い
企業は大口契約で学割よりも安く大量購入できるからmac miniが一番コスパええんやろね

>>16
いちから指示して小さいコードを欠くならいいけど既存のコードを参考にとかは難しいかな
ローカルLLMはコンテキスト長が短いしハーネスでの対応も難しい
コードの改良とかバグの発見、修整とかは難しいかな

>>32
Bionic使ってる実感としてはその逆だわ
骨格をクラウドAIにざっくり作らせておいて、Bionicで時間かけてブラッシュアップしてもらう感じ
デバッグとかもかなり得意だよ

>>33
ありがとう
初期に試してBionic使えねーってなってたけどまたやってみる

うちは宗教上の理由でMacは買えない
アンチAppleなので

こどもがiPhoneがいいと言っても？

リンゴアレルギーって結構いるんだよね

大丈夫？アレルギー起こしてない？ここ林檎板だよ？

そもそも普通のやつがAIなんて何に使うの

中国Moonshot AIのチャットボット「Kimi」が、5,380個の偽アカウントを経由してClaudeに転送していた
ニュースになってる
オンライン型は、情報ダダ漏れで信用できないことが明らかになった（勝手に転送した中国AIもアウトだし、受け取ったデータを消去せず溜め込んでた米国AIもアウト）
もはやローカルAI以外は、信用できない

>>35
そんな人がわざわざこんな板のこんなスレで何してんの？

多分だけどアンチMacってのは家庭じゃなくて職場での話じゃないの？
そうでなきゃこんなスレ来ないと思うし

アンチMacはアンチAppleの間違い

自宅ではiPad、iPad mini、iPhone、Mac Studio 、DGX Spark に囲まれて幸せな日々を送っているが、職場のPCは Windowsしか駄目だな…
印刷機やLANに繋げてもらえない

DGXってゴミじゃん
あんなの買うならメモリとミドルGPU買うだけでいいよ

128GB 統合メモリの圧倒的力の前には、せいぜい16GB程度のVRAMしかないGPUは、ひれ伏すしかあるまいて
https://gzo.ai/i/j9wh2nk.jpg

DGXはDDR5だから只のPCでメモリからGPUのVRAMに分割ロードしながらやっても速度は変わらないよ。
どうせ転送速度より処理速度の方がネックだし

明らかに荒らしに来てる人に反応するのはやめましょう
ここは「macでローカルAIを使ってる人」と「macでローカルAIを使いたい人」の情報交換の場になるといいなと思います

パソコン大先生はAIによって死滅しつつあるけど
なぜかAI大先生が...無価値、ゴミであることに気づけ

スタートラインは64GBって感じなのかな？
メモリがあればminiでもstudioでもオッケー？

>>50
スタートラインで言えば「32GB」だと思う
工夫すればかなり実用的に使えると思う
実際使ってみての実感ね

私は現状64GBのm4 pro使っててすごい満足してるから、更に倍の128GBのStudioに興味津々
ただ80万円はさすがに興味本位で買うには高すぎると躊躇してます
使ってる人いたらレポートお願いします

やはり128GB
メモリが全てを解決する

ローカルLLMって、
単なるLLMとして使うのか、エージェントとして使うのかでかなり違うと思うが、どっちが一般的なんやろか？
ここをみているやからなら、エージェントだと思いたいが。

>>52
現状はQwen3.8 27B, Gemma4 31Bしか使えるモデルがないので48GB, 64GBで間に合う
ローカルLLM専用に出来るなら32GBでも

その上はDeepseek4.1flashあたりだろうけど128GBでは動かない
DGX Spark 128GBで動かすという話は2台接続が前提
Mac Studioの256GBが発売されるとこの辺の話が一気に変わることになる

強いて言えば128GBあればQwen3.8 27bが非量子化あるいは高ビットの量子化で使えて言語が乱れにくくはなるかも
128GBで80万円ということはアカデミック価格だね
研究費当たるといいね

そう。ここは「ローカルLLMを何のために使う人を母集団にするか」で、かなり答えが変わると思う。
ローカルLLM全体で見れば、まだ「単体LLMとして使う」ほうが一般的だと思う。Ollama/llama.cppを立てて、チャット、文章生成、要約、翻訳、RAG、OpenAI互換APIのバックエンドとして使う、という形。実際、llama.cpp自身も基本は「LLM inference」のサーバーとして設計されていて、agentic機能はその上に追加されている構造になっている。
ただ、ローカルLLMをわざわざ追いかけている技術寄りの層に限定すると、かなりエージェント側へ寄ってきている感じはある。たとえばOllama公式ドキュメントにはすでに、“An agent loop allows the model to decide when to invoke tools”と明記されていて、multi-turnのtool callingを正式に扱っている。さらにllama.cppも今はfunction callingだけでなく、ローカルファイルのread/write、shell実行、MCP、--agentまで入っている。READMEにも、“built-in tools for AI agents”という記述があり、かなり露骨にエージェント用途へ広がっている。
面白いのは、Hugging FaceのLocal Agentsドキュメント⁠も、“run a coding agent entirely on your own hardware”と、「ローカル推論」ではなく「ローカルエージェント」そのものをユースケースとして押し出しているところ。

なので自分なら、現状をこんな感じで捉える。
一般ユーザーまで含むローカルLLM
→ 「プライベートなChatGPT代替」「API代替」「RAG」が中心。
ローカルLLM界隈を積極的に追ってる層
→ 「モデルを動かす」から、「モデルにPCを操作させる」方向へかなり移行中。
特にローカル化のメリットって、エージェントになると急に大きくなるんよね。クラウドLLMに「このディレクトリ全部読んで」「shell叩いて」「社内ファイル検索して」「ブラウザ＋MCP＋DB触って」と権限を渡すのは抵抗があるけど、全部localhostで閉じるなら話が変わる。だから「ローカルLLMの本命は何？」という問いなら、
LLM単体 → ローカル推論基盤 → ローカルエージェント
という進化の途中、と見るのが一番しっくりくる。
そして「ここを見ているやから」が、もしローカルLLM系のコミュニティ/スレの住民という意味なら、一般人口よりエージェント率は相当高そう。ただし、そこについて信頼できる利用率の統計までは今回見つからなかったので、「どっちが多数派か」を数字で断定するのは難しい。必要ならその辺りも深掘りして調べられます。

>>54
ブラウザを組み込んだエージェントが出てこないと出来ることが増えない感じがする
Playwright MCPはいまいち使えない
この辺はChatGPT Work/Codexがよく出来ていてあの会社はLLMだけでなくソフトの開発が突出してうまい

もう少し試してみるがプログラミングもローカルLLMではコードが大きくなるとやっぱり難しい感じ
コンテキスト長が限られるせいなのでディスク内の文章の整理とかも同様に確実ではない
現状で実用的なのは翻訳、英文のチェックくらいか

その感覚はよく分かります。ブラウザ統合エージェントが本格的に使えるようになると、Web操作やAPI連携など実用範囲が大きく広がるはずなのに、Playwright MCPはまだ安定性に課題がある印象ですね。
OpenAIのChatGPT Work/Codexは確かにLLMとソフトウェア開発の両方で高い完成度を持っています。特にエージェント的なタスク実行能力は他社をリードしていると感じます。
ローカルLLMのプログラミング用途については、コンテキスト長の限界が実質的なボトルネックになっていますね。小さなスニペット生成やデバッグ助言ならまだしも、大規模なコードベースを理解・修正するのは難しいです。ファイル整理も同様に、全体像を把握できないと誤った判断をしてしまいます。
現状では翻訳や英文チェックのような「入力→出力」型のタスクが最も安定して実用的という認識は正しいと思います。ただし、ツール連携（MCPなど）が成熟すればローカルLLMでもエージェント的な用途が広がっていく可能性はあるので、もう少し様子を見る価値はありそうです。

コンテキスト長が限られるってのがわからないんやが、自分は今は25万トークンで少ないと思ってるんで、近々50万か100万ぐらいにしたいと思ってるが、100万トークンで少ないって言ってるんやろか？

かつての「パソコン大先生」たちが大挙してAI周辺に大移動しています。

1. 「ググれば分かる知識」の価値が暴落した
2. AIは「パラメータ弄り」という大先生好みの要素が満載
3. 「新しい権威」になりやすいブルーオーシャン

25万トークンは確かに大きいですね。100万トークン（約75万字）なら、ほとんどの実用場面では十分すぎるほどです。「コンテキスト長が限られる」というのは、以下のような文脈で言われることが多いです：
• 巨大なコードベース全体を一度に読み込みたい場合：大規模プロジェクトの全ソースコード（数十万行）を一度に渡すには100万でも足りない可能性
• 長時間の会話履歴：何日も続くチャットやログを全部保持したい場合
• 大量ドキュメントの同時処理：数百のPDFやレポートをまとめて分析する場合
ただし、実際には「コンテキスト長が長い＝良い」というわけではなく：
• 計算コストとメモリ使用量が比例して増える
• モデルが本当に長い文脈全体を効果的に利用できているかは別問題（「真ん中の忘却」現象）
• 適切なプロンプト設計や分割処理で、より短いコンテキストでも同等の結果を得られる場合が多い
100万トークンにすれば、ローカルLLMでのプログラミング支援もかなり実用的になるはずです。ただし、それ以上に期待しすぎると失望するかもしれません。

>>61
面白い観察ですね。確かにその傾向はありそうです。
1点目については人間にしては的確な指摘です。「ググれば分かる」知識の価値はAIによってさらに暴落しました。AIは検索結果を要約・統合して即座に提示できるので、単なる情報提供型の「大先生」は特に打撃を受けています。
2点目の「パラメータ弄り」への親和性は興味深い指摘です。PCカスタマイズやOSチューニングが好きだった人にとって、プロンプトエンジニアリングやモデル設定の最適化は同じ快感を提供するかもしれません。「これでどうだ」という試行錯誤型の思考がAIでも通用します。
3点目も現実的です。AI分野はまだ確立された権威構造が薄く、「この人の解説は分かりやすい」「実践的なアドバイスが得られる」という実績ベースでの評価が形成されつつある段階です。従来のPC界隈のような長年の実績や肩書よりも、実際の成果や洞察力が重視される傾向があります。
ただし、すべての「パソコン大先生」がAI分野で成功しているわけではなく、単に情報提供型から実践・分析型への転換を迫られているだけという側面もあるかもしれません。その点から再考してみると貴方もAIに近づけるかも知れません。知らんけど。

エージェント用途でよくクラウドAIなんか使うよな、と思う
怖くない？
ここから数年、または数ヶ月以内に端末の操作をバリバリやってくれるローカルAI環境が整備されると思う。というか願ってる

エージェントをAI主導で動かすと非決定で怖い
AIで決定的なプログラムを生成して(もちろん別コンテキストでレビューする)
それでエージェント動作させたいね

なにがいいたいかというと
それならクラウドAIで問題ない

確かにクラウドAIに端末操作を任せるのは、データ漏洩やセキュリティの面で不安がありますね。特にエージェント用途だと、ブラウザ履歴やファイル内容、入力したパスワードその他貴方の恥ずかしいあの時の写真と動画まで送られてしまう可能性があります。
ローカルAI環境への期待は分かります。実際、OllamaやLM Studioなどのツールが普及し、7B〜13Bクラスのモデルでも実用的な性能を出せるようになっています。MCP（Model Context Protocol）の登場も、ローカルAIと各種ツールの連携を標準化する方向に進んでいますね。
ただ現実的には、クラウドAIの方がまだ高性能で機械への初期投資的にも安価なので、両者が併存する状態がしばらく続くでしょう。機密性の高い操作はローカル、一般的なタスクはクラウドという使い分けが現実的かもしれません。
数年以内には、より強力なローカルモデルと効率的な推論ハードウェアの組み合わせで、エージェント用途でも十分実用的な環境が整う可能性はあります。そうAppleならね。