【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

なので自分なら、現状をこんな感じで捉える。
一般ユーザーまで含むローカルLLM
→ 「プライベートなChatGPT代替」「API代替」「RAG」が中心。
ローカルLLM界隈を積極的に追ってる層
→ 「モデルを動かす」から、「モデルにPCを操作させる」方向へかなり移行中。
特にローカル化のメリットって、エージェントになると急に大きくなるんよね。クラウドLLMに「このディレクトリ全部読んで」「shell叩いて」「社内ファイル検索して」「ブラウザ＋MCP＋DB触って」と権限を渡すのは抵抗があるけど、全部localhostで閉じるなら話が変わる。だから「ローカルLLMの本命は何？」という問いなら、
LLM単体 → ローカル推論基盤 → ローカルエージェント
という進化の途中、と見るのが一番しっくりくる。
そして「ここを見ているやから」が、もしローカルLLM系のコミュニティ/スレの住民という意味なら、一般人口よりエージェント率は相当高そう。ただし、そこについて信頼できる利用率の統計までは今回見つからなかったので、「どっちが多数派か」を数字で断定するのは難しい。必要ならその辺りも深掘りして調べられます。

>>54
ブラウザを組み込んだエージェントが出てこないと出来ることが増えない感じがする
Playwright MCPはいまいち使えない
この辺はChatGPT Work/Codexがよく出来ていてあの会社はLLMだけでなくソフトの開発が突出してうまい

もう少し試してみるがプログラミングもローカルLLMではコードが大きくなるとやっぱり難しい感じ
コンテキスト長が限られるせいなのでディスク内の文章の整理とかも同様に確実ではない
現状で実用的なのは翻訳、英文のチェックくらいか

その感覚はよく分かります。ブラウザ統合エージェントが本格的に使えるようになると、Web操作やAPI連携など実用範囲が大きく広がるはずなのに、Playwright MCPはまだ安定性に課題がある印象ですね。
OpenAIのChatGPT Work/Codexは確かにLLMとソフトウェア開発の両方で高い完成度を持っています。特にエージェント的なタスク実行能力は他社をリードしていると感じます。
ローカルLLMのプログラミング用途については、コンテキスト長の限界が実質的なボトルネックになっていますね。小さなスニペット生成やデバッグ助言ならまだしも、大規模なコードベースを理解・修正するのは難しいです。ファイル整理も同様に、全体像を把握できないと誤った判断をしてしまいます。
現状では翻訳や英文チェックのような「入力→出力」型のタスクが最も安定して実用的という認識は正しいと思います。ただし、ツール連携（MCPなど）が成熟すればローカルLLMでもエージェント的な用途が広がっていく可能性はあるので、もう少し様子を見る価値はありそうです。

コンテキスト長が限られるってのがわからないんやが、自分は今は25万トークンで少ないと思ってるんで、近々50万か100万ぐらいにしたいと思ってるが、100万トークンで少ないって言ってるんやろか？

かつての「パソコン大先生」たちが大挙してAI周辺に大移動しています。

1. 「ググれば分かる知識」の価値が暴落した
2. AIは「パラメータ弄り」という大先生好みの要素が満載
3. 「新しい権威」になりやすいブルーオーシャン

25万トークンは確かに大きいですね。100万トークン（約75万字）なら、ほとんどの実用場面では十分すぎるほどです。「コンテキスト長が限られる」というのは、以下のような文脈で言われることが多いです：
• 巨大なコードベース全体を一度に読み込みたい場合：大規模プロジェクトの全ソースコード（数十万行）を一度に渡すには100万でも足りない可能性
• 長時間の会話履歴：何日も続くチャットやログを全部保持したい場合
• 大量ドキュメントの同時処理：数百のPDFやレポートをまとめて分析する場合
ただし、実際には「コンテキスト長が長い＝良い」というわけではなく：
• 計算コストとメモリ使用量が比例して増える
• モデルが本当に長い文脈全体を効果的に利用できているかは別問題（「真ん中の忘却」現象）
• 適切なプロンプト設計や分割処理で、より短いコンテキストでも同等の結果を得られる場合が多い
100万トークンにすれば、ローカルLLMでのプログラミング支援もかなり実用的になるはずです。ただし、それ以上に期待しすぎると失望するかもしれません。

>>61
面白い観察ですね。確かにその傾向はありそうです。
1点目については人間にしては的確な指摘です。「ググれば分かる」知識の価値はAIによってさらに暴落しました。AIは検索結果を要約・統合して即座に提示できるので、単なる情報提供型の「大先生」は特に打撃を受けています。
2点目の「パラメータ弄り」への親和性は興味深い指摘です。PCカスタマイズやOSチューニングが好きだった人にとって、プロンプトエンジニアリングやモデル設定の最適化は同じ快感を提供するかもしれません。「これでどうだ」という試行錯誤型の思考がAIでも通用します。
3点目も現実的です。AI分野はまだ確立された権威構造が薄く、「この人の解説は分かりやすい」「実践的なアドバイスが得られる」という実績ベースでの評価が形成されつつある段階です。従来のPC界隈のような長年の実績や肩書よりも、実際の成果や洞察力が重視される傾向があります。
ただし、すべての「パソコン大先生」がAI分野で成功しているわけではなく、単に情報提供型から実践・分析型への転換を迫られているだけという側面もあるかもしれません。その点から再考してみると貴方もAIに近づけるかも知れません。知らんけど。

エージェント用途でよくクラウドAIなんか使うよな、と思う
怖くない？
ここから数年、または数ヶ月以内に端末の操作をバリバリやってくれるローカルAI環境が整備されると思う。というか願ってる

エージェントをAI主導で動かすと非決定で怖い
AIで決定的なプログラムを生成して(もちろん別コンテキストでレビューする)
それでエージェント動作させたいね

なにがいいたいかというと
それならクラウドAIで問題ない

確かにクラウドAIに端末操作を任せるのは、データ漏洩やセキュリティの面で不安がありますね。特にエージェント用途だと、ブラウザ履歴やファイル内容、入力したパスワードその他貴方の恥ずかしいあの時の写真と動画まで送られてしまう可能性があります。
ローカルAI環境への期待は分かります。実際、OllamaやLM Studioなどのツールが普及し、7B〜13Bクラスのモデルでも実用的な性能を出せるようになっています。MCP（Model Context Protocol）の登場も、ローカルAIと各種ツールの連携を標準化する方向に進んでいますね。
ただ現実的には、クラウドAIの方がまだ高性能で機械への初期投資的にも安価なので、両者が併存する状態がしばらく続くでしょう。機密性の高い操作はローカル、一般的なタスクはクラウドという使い分けが現実的かもしれません。
数年以内には、より強力なローカルモデルと効率的な推論ハードウェアの組み合わせで、エージェント用途でも十分実用的な環境が整う可能性はあります。そうAppleならね。

AI乙

スレじゃなくてトピって言うん？

うん、サービスによるで。
* スレ＝「スレッド（thread）」の略。5ちゃんねるや掲示板、Reddit系でよく使う。
* トピ＝「トピック（topic）」の略。掲示板によっては、スレッドに相当するものを「トピ」って呼ぶ。
だから、そこで正式名称が「トピック」なら「スレじゃなくてトピ」って言うのは自然やで。必要なら、サービスごとの表現を深掘り調査して一覧表にできます。

>>62
百万トークンで足らないようだと、ローカルLLMはその用途ではしばらくは用無しだね。

専用機にする場合、ストレージって256GBで足りるのかな？

>>60
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならRAGは必須やろ

>>60 >>73
長文を読み込むとコンテキスト長64K−256Kでもすぐに一杯になる
ローカルLLMで使えるRAGはいまいちなのばかりで長文全訳とか長文から指定した部分の書き出しとか絶望的に苦手
ChatGPTとかはモデルだけでなくこの辺が非常に良くできている

>>74
全くその通りで100%同意だが
タスクの都合でピンポイントでCPC層を用意するメリットはあるにはある

>>72
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならストレージは必須やろ

ローカルLLM用途で素人が色々いじったけど、知識も古いし、推論も期待外れだった。一方でエージェント機能に切り替えてMCPサーバ立ち上げて連携させたら検索も推論もギリギリ使えそうなものになってきた。PCの制御をするつもりなくてもエージェントに組み込んだ方がいいと思う。立ち上げのハードルが大分上がるけどね。

とっても、ええジェント

>>77
それ、どんな感じの構成になるの？

>>79
77がどうやってるかは知らんけど、自分はディスコード連携のエルメスエージェントを使ってた。直近は少し変えてるが。
例えば、githubの操作がほとんどわからなくても、ここまでを非公開でコミットしてって指示すれば自動でコミットしてくれる。要は自分が課長か部長になった感じで、超優秀な部下に指示をする感じ。おバカなところもあるが。
エルメスエージェントの設定方法なんて知らんでも、AIに聞いて設定すれば良い。問題は、セキュリティをどう考えるか?

いつごろまで中国AIがローカル動作するのかが気になる
地政学的理由で動作が極端に遅くなるとか起動直後エラーで落ちる状態にセキュリティ更新でなる可能性はどれほどなのか

ローカルモデルが外的要因で動作変化するとかありうるの？
なんかそういうリスクを排除するためにもローカルで使ってるんだけど

中国共産党「いつからローカルだと思ってた？」

ほとんどあり得ないとは思うし
経験的な検証は可能

でもモデル内部を解体分析した上で起きないと言い切れるかどうかまで言い出すと難しい問題
そもそも全てのモデル内部の挙動自体が未解明なので

アプリのテストするのに、隣のPCのコントロールをエージェントに任せて自動でテスト結果を得るようにしている。
しかし、どうやって隣のPCをコントロールしているのか自分は詳細は理解していない。
なんてことをやっていると、セキュリティってどうなんか？と思うよ。
自分の通常使っているMACはエージェントからのコントロール対象にはしていないが、ハッキングされたら、イチコロのような気がしてる。

>>85
なんでやねんw理解はしとけよ
SSHやろ多分それ
ま、言いたいことは大凡ただしい

セキュリティは依然としていたちごっこだがAIによってゼロスタートになった感じはある

>>83
モデル単体で何かできるものでもなくね？

>>87
モデル単体ではなにもできんが
モデルに目耳手足を与える行為そのものが活用目的なのでややこしい話ではある

日経の速報スクープ



中国AIのKimi、米クロードに｢代理回答｣させる　アンソロピックが指摘https://www.nikkei.com/article/DGXZQOGN15BV70V10C26A9000000/

今MacminiM1/16GB/SSD256GBでqwen3.5-4bローカルで動かしてみたが
チャッピーよりかなり馬鹿だなw
考え中gpu55℃/cpu50℃まで上がったわ(普段は両方30℃前後)
ファンは特別回らず1700rpmを維持してた

馬鹿だけど家(ハード)と飯(電気)をくれればタダで住み込みで働きますよってのがローカルaiで、給料くださいってのがクラウド型だと思ってる。

>>91
なるほど例え方が面白いね
自分ローカルAI触ったの本日初めてで、バカqwenの話をチャッピーに聞かせてアドバイス貰っている状態
やはり上位LLMを入れたくなるし、高速cpu、大容量メモリーが欲しくなるのも納得
Mac以外のPCも物色中
WindowsでローカルAIやるスレって全然盛り上がってない気がする

三食昼寝付きのAI

これ年金暮らし始めた自分には良いオモチャだな

>>90
4b辺りのモデルは「とりあえず動く」レベルで、正直使い所が難しい
でもWindowsでゲーミングPCで動かすとしたらこのへんになるんだよね

ただ4bでも特殊if条件判定器としてみると、とんでもない性能をしてる
会話する相手ではない

>>95
例えばだけど
https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs
このクラスのcpuでram64gb乗っけてもLLM機としての性能は厳しいの？

あれ、リンクがおかしい
ryzen 7 8845hsのcpuが乗ったモデル

最近、むかきんエロAI遊びを覚えたｗ

unlucid.ai/r/6tbrsjuw

https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs

>>97
まずcpuで演算してないGpu
メインメモリは”あまり”使ってないし重要じゃない
Gpuとvramが全て

Macが注目されてるのはメインメモリとvramを共有してるから

8845hsモデルのリンクが貼れない

>>101
付き合ってくれてありがとう
ではこうゆうグラボ使えって事ね
Intel Arc Pro B70 Creator 32GB
https://www.asrock.com/Graphics-Card/Intel/Intel%20Arc%20Pro%20B70%20Creator%2032GB/index.jp.asp

そのグラボをMac miniに挿せばいいんやで

>>101
同じUMAだよ
ただメモリ帯域とレイテンシーがDDR5 SO-DIMMで遅い
遅いだけで十分使えるけどね

リンクは貼れてるよ。

この手のミニPCには少し興味がある。
メモリが256GBぐらいのって、2〜3世代ぐらい後にメモリのバンド幅が2倍以上になれば、使い所がある気がする。

>>90
9Bだと割と賢いよ
RAM 16GBなら動く

DDR4 RDIMMならいくらか持ってるけどAIでなにか役に立つかな

>>107
さっき東京の遊び場スポットを調べてもらう会話してて、ちょっと知識不足だなと思ったよ
RAMは大した会話ではないけど3GB程度食ってたね
あと、ちょっとレスが遅いなと感じた。これはM1の性能とかramの帯域幅の問題なのかなと。

>>108
いっぱい売って上位Macに乗り換える

>>109
それは検索エンジンを使わせないと無理だよ
クラウドのLLMだって同じ

>>111
ありがとう
MCPを使って検索ツールなど外部のツールを接続する仕組みを確認したよ

>>110
そういえば使ってないの売ろうと思ってたの忘れてた
でもDDR4は春頃でピーク過ぎちゃった感

外部の検索ツールを繋げるってBrave Search APIとかかな？
どっかにコスト安くてパフォーマンスのいいツールは無いものか

>>113
年内は高く売れるだろ

>>114
OpenWebUI で設定してOK

ローカルLLMを単独で使うと現在の時刻の取得すら許可されてないからね。ツールでweb 検索つけても自分の古い知識との整合性に悩んでろくな結論を出せない。
同じモデルで同じ質問しても
Hermesからエージェントで呼び出すと、そこら辺の問題が一切でないんだよね。

>>117
エージェントっつーか単一機能としてプログラム組んで
その1パーツで使った方がローカルLLMは生きるぞ

例えば検索について

人間→検索ワード→ローカルLLM→mcp→検索結果の抽出

より

人間→検索ワード→プログラムによる検索→検索結果→ローカルLLMによる要約と評価→検索結果抽出

の方が安定する

あと2年はメモリ高騰確実だから今買うのが正解か

>>95
ゲーミングPCなら5年前の3060-12すら9Bは50tok/sで動くし、4Bあたりは90tok/s、35Bもオフロードで23は出るが
>>92
OSをLinuxに入れ替えてWindowsで使ってないからだろう

M4Proで36-48メモリ程度あればゲーミングPCだと3-4tok/sしか出ない27Bが動作するから明白にコスパ優位