【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

>>738
ノマドワーカーとか言う古いマック使ってるナマポなじいさん剥げてるよ

産地偽装か…
米国産とは

7月8日、Financial Timesを引用したMacRumorsが、AppleによるCXMT製DRAMの適格性試験を報道。記事には「Apple is testing DRAM memory chips」とある。

8月9日、ReutersもiPhoneやMacBook向けの試験を報道。ただし「Reuters could not immediately verify the report」と独自確認はできていない。

まあ正式に発表されるのかも分からんが…

CXMTつっても中国国内の需要を満たすだけで生産キャパいっぱいで他所に売る余裕はないと言われてるが
よほどの札束ビンタでもしたんだろうか

高い買物だけに　冒険はしたくないな

そうAppleならね。

hermes agentおもろいな
これは確かにすげーわ
iMessageで会話したいなーと思ってたら普通に会話できるプラットフォームが提供されてた

Ermes →LM studio →Gemma 組んでローカルAI にしてみたけど…
これ、LM Bionic →Gemma と同じだろ
わざわざエルメスバッグ買う必要なくね？

>>762
似てるようでまるで違うよ
俺は完全にmacはモデルロード用にしてる
他にもマシンはあってそっちのマシンはproxmox入れて独立させつつ仮想マシン内からmacに繋がせてる
メッセージのやり取りはiMessageだからどのMacからでも受信出来るようになってる

LM Studio Bionicはデスクトップ専用だしiPhoneのLocallyはBionicと連携してない

その見方はかなり妥当です。LM Studio Bionicで必要な作業が完結するなら、HermesをLM Studioへ接続する必然性は小さくなります。

Bionicだけでよい場合

次の用途なら、Bionic単体の方が構成が簡単です。

* ローカルモデルとの会話
* ファイルの読み書き
* コーディング
* 文書や資料の作成
* 一般的な調査
* LM Studio内で完結するプロジェクト作業

この場合、Hermes→OpenAI互換API→LM Studioという接続層がなくなるため、モデルID、64K設定、サーバー起動、エンドポイント管理などのトラブルも減ります。

Hermesを残す意味

一方、HermesにはBionicとは異なる運用上の特徴があります。

* Telegram、Discord、WhatsAppなどを介したメッセージング運用
* MCPや独自ツールの細かなルーティング
* 補助モデルを用途別に割り当てる構成
* 永続メモリとSkillsの運用
* Gatewayや定期実行・自動化
* LM Studio以外の複数プロバイダーを同じエージェントから切り替える
* Hermes固有の承認・安全設定やプロジェクト管理

ふさふさ
https://youtu.be/Nt6d62vN7CU

Hermesちゃんを秘書化完了
後は調教だぜ

エルメスよりエロメスが好きです

逆に調教されてくるとか

知らぬ間にOpenRouterで1ドル使われてて、調べたらHermes Agentが補助タスクをやるときに
OpenRouterの接続情報を持っていると勝手に使ってしまうらしい。

ある意味では調教もされてる

余計なプラグインはOpen WebUIからオフにしても良いかもね
でも支払い発生してもアカウント情報がわからんと支払えないのでは…？

>>769
ガバガバかよ

ローカルAI使う際の外部道具として、OpenRouterは楽しいんですけど、「合鍵（APIキー）」と「お金」が絡む以上、最低限の柵は立てておいたほうがいいです
手癖悪いエージェントもたまにいるからね、誰とは言わないけどそこのお前だよお前！

いや落ち着け

なかなかすごいバクだよ
無料のLLMを指定して使ってるのにこっそり有料モデル使ってあとで請求されるんだぞ
数十年生きてきてここまでアカンバグ見たことないわ

パグかと思ったわ

そうAppleならね

>>773
規約に同意して使ってるんだしオープンソースなんだからお前が直してくれていいんだぞ

自分で直せないのに
LLM使おうと発想するのは
脳にバグがある証拠
早く直せ

hermesちゃんがnpmを物故和した

話こんがらがってないか？
俺にはHermesの問題のように見えるが、モデルではなくハーネスの話でしかないぞそれ

ハーピースがどうかしたって？

家に帰ったらhermesちゃんに穴を開け直してお仕置き調教だ

メモリにAI3つ入れて誰が一番稼ぐか競争させて
もっと稼げるようにプロンプトの調教をもっと賢いAIにさせて
マネープリンターAIを作るんだ・・・

だれか教えてください

自宅でローカルLLMサーバーを組もうと計画しております

①Mac Studio M5 Max 128GB 4TB
18コアCPU 40コアGPU 16コアNeural Engine

か

②Mac Studio M5 Ultra 96GB 2TB
30コアCPU 64コアGPU 32コアNeural Engine

で悩んでいます。

価格は同じくらいで

②のほうがメモリ帯域幅は①の2倍くらい速いです(しかしメモリが96GBしかない)

将来的に新たにリリースされる大規模なモデルも考慮して
どちらが良いですか？

>>783
まず何をさせるかによる
自動化に組み込む予定なら思ってるより単体の処理速度の問題ではなくなる
タスクの責務が細かいなら、メモリが多いほうが中サイズ(27B〜)を複数並列処理もできるので処理完了は早くなるので
また、より複雑なタスクで100Bとかも視野に入るのでやはりメモリ量は全てを解決すると断言していい

>>783
https://gzo.ai/i/0NfWzd1.png

>>784
ありがとうございます
このレベルになってくるとメモリ帯域が倍違うとかは
そこまで重要ではないのですね

そうなってくると実質

Ultra 512GB > Ultra 256GB >Max 128GB
でしかなくて
現状200万近く出してまでUltra256GBにするか
120万円のMax128GBで妥協するかの話なんですね

さすがに200万円は出せないので
素直にMax128GBにしておきます


ちなみにしたいことはこれでした↓

①市場調査と分析

②自動プログラミング(必要に応じてChatGPTやCodexと連携)

③素材のグラフィックを自動で生成して自動で3Dモデリング化

④文章や広告用のショート動画/静止画を自動生成してSNSへ自動投稿

⑤可能であればガッツリした長編動画生成まで(精度を考えて外部のAI生成サービス利用も可能)


将来的に新しいモデルが出てきたときの汎用性も含めて悩んでいます。

50万追加してでもMax 128GBからUltra256GBにするのが正解なんですかね

300万追加してでもMax 128GBからUltra512GBにするのが正解なんです

>>788
すみません
個人なので、そこまでは予算まわりません

個人なのに市場調査と分析するの！？

>>790
えぇ…

えぇ！？

ゑ

>>786
帯域はもちろん大事だし速度も大事
しかし、もっと現実的な問題はメモリが足りないと
早い遅い以前に動かんからな

>>787
50万足せるならUltra256GBを買うべき

ちなみに俺はultra256GBはキャンセルした
5080 / 256GBメモリのwindows機でcpuオフロードで、でかいモデルが動いてしまった
今から揃えたらmac studio 256と金額変わらんが、前から持ってたので

>>795
ありがとうございます
何よりも大事なのがメモリなんですね

Ultra 256GBいってみます
SSDは2TBでも大丈夫ですか？

ここで聞くよりCloud AIに聞いた方が正確だぞ

ちなみに少しでも安くするためにチップも
30CPU 64GPUにしようと思っていますが
ここはケチってもいいと思いますか？

>>796
2Tでいいだろ
データ倉庫は外付けでもクラウドでもいいわけで

>>798
ちゃんと市場調査と分析した？

データ倉庫はケチっても良い
だがCPUとメモリ、お前らダメだ

>>798
そんな装備で大丈夫か？

メモリが小さい
→AIモデルもしょぼい
→市場調査と分析結果もショボい

そんなやつの調査分析レポート見たいやつがいるか？
ましてやYouTuber 動画再生で客取るんならインパクトが必要
M5Ultra 512GB 一択だろ

M5Ultra 512GBがあったらQwen3.6-27Bや125Bはそれぞれ何トークン／秒で動くの？

別にAIとチャットしたいために買うわけじゃないしな
むしろ資料自動収集、分析、レポート作成を有能なエージェントとしてこなす
そのためには500B級のAIを使いたい
よってメモリは512GBがいる

欲張りさんはどうせもっと上を見たくなるんだ
お金稼いだ後512GB買えばいいでないか

>>799
今後大きくなるモデルは内蔵に入れておいたほうがよかったりしませんか？
Thunderbot5で接続したSSDならそんなに問題ないですかね

>>801
CPU30→36 GPU64→80
でそんなに変わりますか？

さすがに512GBのために300万円近く出すのは厳しいです
256GBで妥協します

どれだけ応答速度が速くても、内容が間違ってたり情報不足の市場分析レポートなんか見たくないわ
少々時間かかっても、優秀なAIが収集、整理、分析、起案したレポートを普通は選んで読むだろ
誰だってそうする
俺だってそうする

m5 512GBならフロンティア級モデルローカルで動く？

１年前のフロンティア級が動くよ！

初期費用がだせないだけならクラウドGPU借りたら？
メモリ帯域大CUDAつかえるメリットもある

初期費用がだせないだけならAppleの24ヶ月無金利分割払い使ったら？

初期費用がだせないだけならクラウドAI使えば？
このスレ全否定できるメリットもある

買えない連中が初心者っぽいやつがハイエンド機を普通に買おうとしてるのを嫉妬から攻撃してるようにしか見えん

512GBは本日時点では誰も買えないだろ

買えない夜はない
開けない夜がないのと同じだ
そうAppleならね

>>815
それめっちゃ間違うやつおるな
チャットでリクエストするんじゃなくて自動化に組み込むならクラウドでの多くの作業はAPIで高額になる
なんでもCLIで済むわけじゃねーぞ

>>819
CLIでAPI料金不要で済むわけじゃねーぞ

>>820
それめっちゃ間違うやつおるな

GUIとCUI はどちらでCodex 使ってもトークン消費するだろ

Command Line Interface なら無料でオンラインのClaude Code が使える。そんな風に思っていた時期が俺にもありました…

まずクレカの与信枠上限までスペックを積みます
そうして手に入れたmacで稼ぎます
すると512gbが手に入ります
最初のmac分は実質無料というか売ればプラスになります

>>820
ChatGPTとClaudeのCLIはサブスク使用枠のトークンで使えるで
このなんでも調べられる時代に知ったかするなら今後一切書き込まない方がいいぞ

普段は27Bの方が好きなんだけど
調査みたいな色んなとこに出向いてくやつはフラッシュネクストの方が張り切ってやってくれる

ちなみに一部三重で間違ってそうな阿保>>822>>823
もいるが

APIでの呼び出しは完全別途費用だぞ

ChatGPTとClaudeのCLIはサブスク使用枠のトークンで使えるで
よって実質無料なんだよ！

三重の一部の主婦層の間では、７位だという話もあるが
とんでもない
世界一位なんだよ

そうじゃなくてAPIの場合は価格設定が根本的に違うんだよ
その点GeminiはAPIの価格設定が良心的だったりする

嫌味のつもりかもしれんが4重で知ったかするな阿保

>>830
ID真っ赤ですよ貴方
あと鼻毛が出てます

これからワンチャン円高になって30万円くらい安くなる可能性すらある

512GBモデル 36CPU 80GPU 2TBでの予想価格は278万円と見てる

>>833
そうじゃなくてAppleの場合は価格設定が根本的に違うんだよ
その点GeminiはG book の価格設定が良心的だったりする

嫌味のつもりかもしれんが五重の塔のてっぺんで知ったかするな阿吽

300万円切ったら
注文半年待ちとかになりそう

クレカの限度額超えるんだよな
すでに詰んでるわ

理解できるまでスクラップ&ビルドだ！

でかいモデルを使う気がなければSSDは2TBもあれば良いと思うが、例えばでかい500GBのモデルを2つ3つダウンロードして試したいと思ったら、2TBでは不足を感じるやろ？

>>838
なあにかえって免疫になる

GoogleさんGmail、Googleフォトの中身を覗き見して広告を出す仕様に変更
https://greta.5ch.io/test/read.cgi/poverty/1792838587/

Hermes 「１ドルごときで文句言うなよ、この東洋人が！」

確かCEOはインド人だったよな

バラモンだからアーリア人由来
よって実質白人

始めてsuno使ってみたけどこれヤバいなw
反則だわ…これにローカルで動画つけたら即戦力だわ

Mac Studio Ultra 256GB
36CPU 80GPU 4TBは買いですか？
220万円です

>>844
ローカルで無料で使えるの？

自律型AIなんだから、数ドル自由に使うくらい許してやれよ…

エネルギー危機が深刻化してもエロ画像供給が途絶えないように
ポータブルバッテリーとソーラーパネルを準備した

>>848
エネルギー危機
食糧危機が来て国内がヤバい時代になっても
エロ需要はあるからスマホの充電してあげるついでに
生成したエロ動画も一緒にスマホに入れてあげるサービスすれば儲かるかもね

自律型AIなんだから、電力くらい自家発電しろよ…

>>847
子が親に黙って金使うのは良くないだろｗｗｗｗｗ

沢山稼いできてくれるのなら小遣いやるぞ、アイスも買ってやる

自動車買うのやめて、
M7 Ultra 512GB のローン組む。

Mac studio M5 ultra 512GBはいくらですかってAIに聞いたら150万円ぐらいと推測されますって
なんとか手が届きそう

おお、150万円くらいなら、確かに頑張れば手が届きそうですね！　しかも Mac Studio M5 Ultraで512GBのユニファイドメモリ となると、相当なモンスターマシンです。ローカルAIを本格的に動かすなら、かなり夢のある構成ですよね。
特に512GBあれば、大規模なAIモデルをメモリに載せられる可能性が広がります。
ただ、ひとつ気になるのは、150万円という価格があくまでAIの予測だという点です。調べてみたところ、ちょっと重要な情報がありました。
Apple公式発表では、
「M5 Ultra搭載Mac Studioの価格は949,800円（税込）から」
また、512GBモデルは2026年10月後半に追加予定とされています。
つまり、150万円という予想はまだ確定価格ではありません。
それにしても、512GBのメモリを搭載したMacが個人でも購入を検討できる時代になったのはすごいことです。ちなみに、購入できたら、やっぱり巨大なLLMをローカルで動かすのが一番の目的ですか？