【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

>>60
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならRAGは必須やろ

>>60 >>73
長文を読み込むとコンテキスト長64K−256Kでもすぐに一杯になる
ローカルLLMで使えるRAGはいまいちなのばかりで長文全訳とか長文から指定した部分の書き出しとか絶望的に苦手
ChatGPTとかはモデルだけでなくこの辺が非常に良くできている

>>74
全くその通りで100%同意だが
タスクの都合でピンポイントでCPC層を用意するメリットはあるにはある

>>72
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならストレージは必須やろ

ローカルLLM用途で素人が色々いじったけど、知識も古いし、推論も期待外れだった。一方でエージェント機能に切り替えてMCPサーバ立ち上げて連携させたら検索も推論もギリギリ使えそうなものになってきた。PCの制御をするつもりなくてもエージェントに組み込んだ方がいいと思う。立ち上げのハードルが大分上がるけどね。

とっても、ええジェント

>>77
それ、どんな感じの構成になるの？

>>79
77がどうやってるかは知らんけど、自分はディスコード連携のエルメスエージェントを使ってた。直近は少し変えてるが。
例えば、githubの操作がほとんどわからなくても、ここまでを非公開でコミットしてって指示すれば自動でコミットしてくれる。要は自分が課長か部長になった感じで、超優秀な部下に指示をする感じ。おバカなところもあるが。
エルメスエージェントの設定方法なんて知らんでも、AIに聞いて設定すれば良い。問題は、セキュリティをどう考えるか?

いつごろまで中国AIがローカル動作するのかが気になる
地政学的理由で動作が極端に遅くなるとか起動直後エラーで落ちる状態にセキュリティ更新でなる可能性はどれほどなのか

ローカルモデルが外的要因で動作変化するとかありうるの？
なんかそういうリスクを排除するためにもローカルで使ってるんだけど

中国共産党「いつからローカルだと思ってた？」

ほとんどあり得ないとは思うし
経験的な検証は可能

でもモデル内部を解体分析した上で起きないと言い切れるかどうかまで言い出すと難しい問題
そもそも全てのモデル内部の挙動自体が未解明なので

アプリのテストするのに、隣のPCのコントロールをエージェントに任せて自動でテスト結果を得るようにしている。
しかし、どうやって隣のPCをコントロールしているのか自分は詳細は理解していない。
なんてことをやっていると、セキュリティってどうなんか？と思うよ。
自分の通常使っているMACはエージェントからのコントロール対象にはしていないが、ハッキングされたら、イチコロのような気がしてる。

>>85
なんでやねんw理解はしとけよ
SSHやろ多分それ
ま、言いたいことは大凡ただしい

セキュリティは依然としていたちごっこだがAIによってゼロスタートになった感じはある

>>83
モデル単体で何かできるものでもなくね？

>>87
モデル単体ではなにもできんが
モデルに目耳手足を与える行為そのものが活用目的なのでややこしい話ではある

日経の速報スクープ



中国AIのKimi、米クロードに｢代理回答｣させる　アンソロピックが指摘https://www.nikkei.com/article/DGXZQOGN15BV70V10C26A9000000/

今MacminiM1/16GB/SSD256GBでqwen3.5-4bローカルで動かしてみたが
チャッピーよりかなり馬鹿だなw
考え中gpu55℃/cpu50℃まで上がったわ(普段は両方30℃前後)
ファンは特別回らず1700rpmを維持してた

馬鹿だけど家(ハード)と飯(電気)をくれればタダで住み込みで働きますよってのがローカルaiで、給料くださいってのがクラウド型だと思ってる。

>>91
なるほど例え方が面白いね
自分ローカルAI触ったの本日初めてで、バカqwenの話をチャッピーに聞かせてアドバイス貰っている状態
やはり上位LLMを入れたくなるし、高速cpu、大容量メモリーが欲しくなるのも納得
Mac以外のPCも物色中
WindowsでローカルAIやるスレって全然盛り上がってない気がする

三食昼寝付きのAI

これ年金暮らし始めた自分には良いオモチャだな

>>90
4b辺りのモデルは「とりあえず動く」レベルで、正直使い所が難しい
でもWindowsでゲーミングPCで動かすとしたらこのへんになるんだよね

ただ4bでも特殊if条件判定器としてみると、とんでもない性能をしてる
会話する相手ではない

>>95
例えばだけど
https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs
このクラスのcpuでram64gb乗っけてもLLM機としての性能は厳しいの？

あれ、リンクがおかしい
ryzen 7 8845hsのcpuが乗ったモデル

最近、むかきんエロAI遊びを覚えたｗ

unlucid.ai/r/6tbrsjuw

https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs

>>97
まずcpuで演算してないGpu
メインメモリは”あまり”使ってないし重要じゃない
Gpuとvramが全て

Macが注目されてるのはメインメモリとvramを共有してるから

8845hsモデルのリンクが貼れない

>>101
付き合ってくれてありがとう
ではこうゆうグラボ使えって事ね
Intel Arc Pro B70 Creator 32GB
https://www.asrock.com/Graphics-Card/Intel/Intel%20Arc%20Pro%20B70%20Creator%2032GB/index.jp.asp

そのグラボをMac miniに挿せばいいんやで

>>101
同じUMAだよ
ただメモリ帯域とレイテンシーがDDR5 SO-DIMMで遅い
遅いだけで十分使えるけどね

リンクは貼れてるよ。

この手のミニPCには少し興味がある。
メモリが256GBぐらいのって、2〜3世代ぐらい後にメモリのバンド幅が2倍以上になれば、使い所がある気がする。

>>90
9Bだと割と賢いよ
RAM 16GBなら動く

DDR4 RDIMMならいくらか持ってるけどAIでなにか役に立つかな

>>107
さっき東京の遊び場スポットを調べてもらう会話してて、ちょっと知識不足だなと思ったよ
RAMは大した会話ではないけど3GB程度食ってたね
あと、ちょっとレスが遅いなと感じた。これはM1の性能とかramの帯域幅の問題なのかなと。

>>108
いっぱい売って上位Macに乗り換える

>>109
それは検索エンジンを使わせないと無理だよ
クラウドのLLMだって同じ

>>111
ありがとう
MCPを使って検索ツールなど外部のツールを接続する仕組みを確認したよ

>>110
そういえば使ってないの売ろうと思ってたの忘れてた
でもDDR4は春頃でピーク過ぎちゃった感

外部の検索ツールを繋げるってBrave Search APIとかかな？
どっかにコスト安くてパフォーマンスのいいツールは無いものか

>>113
年内は高く売れるだろ

>>114
OpenWebUI で設定してOK

ローカルLLMを単独で使うと現在の時刻の取得すら許可されてないからね。ツールでweb 検索つけても自分の古い知識との整合性に悩んでろくな結論を出せない。
同じモデルで同じ質問しても
Hermesからエージェントで呼び出すと、そこら辺の問題が一切でないんだよね。

>>117
エージェントっつーか単一機能としてプログラム組んで
その1パーツで使った方がローカルLLMは生きるぞ

例えば検索について

人間→検索ワード→ローカルLLM→mcp→検索結果の抽出

より

人間→検索ワード→プログラムによる検索→検索結果→ローカルLLMによる要約と評価→検索結果抽出

の方が安定する

あと2年はメモリ高騰確実だから今買うのが正解か

>>95
ゲーミングPCなら5年前の3060-12すら9Bは50tok/sで動くし、4Bあたりは90tok/s、35Bもオフロードで23は出るが
>>92
OSをLinuxに入れ替えてWindowsで使ってないからだろう

M4Proで36-48メモリ程度あればゲーミングPCだと3-4tok/sしか出ない27Bが動作するから明白にコスパ優位

>>114
LM StudioならBrius Web Searchとか
Openwebuiなら内蔵されてる
https://lmstudio.ai/brius/web-search

Macで中国AIって何時までサポートされるのだろう
アメリカ側から見て中国はライバルだよな

今日のOpus5.5とGPT-6-SolでもコスパすげえのにローカルLLMとか、秘密情報扱う公務員、医者、弁護士、銀行、一流企業以外需要ないだろ
チャイナモデルがClaudeの蒸留でしかなかったこともバレたし、API接続でも学習させない筈の情報が蓄積されてることばれたし
もはやローカルLLMに投資しても中小企業や個人零細には元が取れない

>>124
まずClaudeを使いこなして「アプリのチャットから指示する」のではなく「勝手にClaudeが日々自動処理する」方法をやってみよう
なんでもいいが、毎日やってる君のコンテンツ消費以外の作業を全部自動化しようと試みるとする

そうすればClaudeでは足りないものが見えてくる

落とし穴を作ってみよー
https://youtu.be/SXGuJolSK84

野良モデルを無防備に使ってるやつらが
クラウドはセキュリティ云々てｗｗｗｗｗ

しかもエージェントてｗｗｗシェルまでつかまれてる
AI大先生のセキュリティ意識はすごいですね

macOS 27のターミナルのfmでApple純正LLM触ったら、こういうので良いんだよって気分がしました。

>>129
まだOS27にしてないからオレもこれ気になる
どこまで出来るのか

https://qiita.com/chibicco/items/ef1a9e40c4cdf15d8e21

これか
使ってるマシンのスペックによるけどこの記事のマシンだと8192トークン

Sequoia以降のApple Intelligenceってオンデバイス（ローカルLLM）の3Bのモデルが動いてたんだけどな
macOS 27 Golden Gateで20Bのモデルも採用された
以前はコマンドラインから呼び出す機能とかなかったけど他のアプリから使うことは出来たのかな？

ttps://gigazine.net/news/20260924-google-heir/
なんだこれ？

ローカル環境を構築しなくてもクラウドだけでビジネス用途顧客情報なども扱えるようになるのかな？
これGoogleは黒字化出来るの？

どうせトランプ大統領令でバックドアとか付いてんだろ？
AIP接続では顧客情報見ないとか言ってたのに、「中国AIからこんな質問転送受けてました〜軍事秘密も〜」とか発表するくらいだから、日常的にユーザーデータ見て保存してると考えられる。

「学習には使わない」と言ったな
あれは嘘じゃない

但し、データは蓄積して、人間やAIが定期的にチェックしてます。
将来的に規約変更して「学習にも使います」となったときは、知らんけど。

macmini m632GBと m4maxだったらどっちがAI向き？

そんなにやりたいならStudio買えよ
miniでやっても捗らん

Large Language Mini

>>137
M4 Maxって言ってる時点でStudioだから安心しようぜ

>>136
studio。
どうせ買わないんでしょ。

M5U 256GB待ち
各所のLLM情報見てるがかなり良さそう

買いMAX

https://i.imgur.com/pnao4YZ.jpeg
これ争奪戦になるよきっと。多分100万ちょい位

転売ヤーに買い占められそう

>>143
これ買うならmac スタジオの最上位をみんな買うだろ…

だーかーらー、MacStudio買う金持ちならこれもついでに買えるだろって話

GMKテック…
最近ニュースで出てたな

頭悪そう…

AMDは一番中途半端じゃね？
NVIDIAのRTX SparkならCUDAも使えるし
Macは汎用性が高いし

後出しでメモリ帯域がRTX Spark相当なのが罪

>>148
もっと他に煽り方ないの？

Adobe はWindows にかなり最適化シフトしてるからまあ売れるわな

>>146
月賦で買ったのでそんなお金無いです

ついでで100万買えるわけないでしょ

こういうのでいいんだよ
https://youtube.com/shorts/JdzS8274gps

>>155
２～３年後はこれがスマホでできるようになるかな

そうAppleならね

Appleはアメリカ独裁だからアップデートで後から中国AIの挙動変更があり得るのではないのか
オフラインだから安全とも言い切れない

100万はやはり高いか、、、
１年前、いや半年前なら安く買えたのになーって思っている人沢山いると思います

何でもかんでも投機対象になってしまってメモリ価格がおかしなレベルまで来てしまった
このまま高値安定なのか、それとも価格崩壊が起こるのか誰か教えて欲しいよ

半導体は一度生産体制を整えたら簡単には止まれない
各社が増産始めたら余って価格が下がることはありうる
が、それが過去に何度も起きててババ抜きになるので、各社様子見してたり様子見してるフリをしてるのが現状

なので上げ下げどちらもありうるが需要自体は簡単には落ちないとは明言できる

>>155 >>156
それローカルLLMではないよ

多くの人はそれで足りる

AI3人に一日中雑談させてる。
最新ニュースの当事者をゲストに迎えて体験談を語らせたり、
故人を降霊させたりする予定。

三人はどうゆうキャラ設定？

オスとメスとふたなり

やあ大川さん久しぶり

>>164
自由に設定できるけどJK、タクシー運転手、爺さん
ちなみにコード手書きはガードの解除くらいで後はclaude任せ。

m5 max 64gbじゃ27b 8bitでも厳しいね
こんにちはって言っても2分かかって返答してくる

>>168
んなわけない
多分設定がなにかおかしい

まあテストなんだろうけどLocal LLMでチャット会話しようとするのはちょっとね

​数日前にリリースされた
Qwen3.8-27B-Splash
​Qwen3.6-35B-A3B-Splash
これら使ってみた人いる？
LMStudio Bionicで使ってみたものの、今ひとつ速度アップがよく分からなかった
話によるとMLXの倍の速度出るとか

>>171
なんでわからないのか謎すぎる
明らかに早いでしょ

>>155
こういう驚き屋を真に受けるの笑っちゃうからやめて