【ローカルAI】MacでローカルLLM

100万円弱払って128GB手にするより57万円払って64GBマシンで課金3000円してる方が賢いと思いたい

100文で蕎麦、天ぷら、お菓子食べてる方が賢い
https://youtu.be/d7d_jT2q1uE

>>730
賢いね (棒読み)
GPTもクロードも課金してるけど、mac M5 128gb買ったわ
256 512はさすがに思いとどまった😅

いとかしこ

ハゲ散らかしてるYouTuberが自宅にDGXSpark複数台に何百万もかけて遊んでるけど贅沢な趣味だなぁとは思う

だからハゲるのだろうな

Mac関係者には禿はいないしな

逆説的だなｗ

Mac使うとハゲが治ります

735-738
一人芝居だと思うが面白かったｗ

で512GBはいつ発売なんだ？
まさか諦めたのか？

確かにスタットレスとかDGXとか出たし、512GBはもう買う人数減ってそうだしな

ultra 512gbはメモリ不足で中国のCXMT製のメモリになる可能性あるんよね
公式発表出て無いからわからんけど、アッポーは7月頃からCXMTメモリのテストしてるわ

ロビー活動してでも中国製メモリ採用するって国賊企業やん
ライバル企業も同様なのにがんばりすぎちゃう

うーん、さすがに中国製のメモリ(交換できない溶接済み)に何百万円も払う気は起きんな
Apple終わったな

買わなくていいよ
君には必要ないし

俺が買えない製品は終わってる（笑）

しょうがない
金は出すが、品質も俺はうるさいんで

DGX spark をあと３台　積み増し買いするか
さすがにNvidia は中国製パーツ使ってないだろ

中国アレルギー酷すぎて笑

ここんとこ二回連続で不具合品引いたからな中国製PCで
１０万位内とか取り外し可能メモリならまだ諦めもつくが、５１２GB Macは400万円コースだしな…

悪いけど今回は見送りで
数年後、Mac Studio with PRC memory で不具合報告ないトラックレコード出たら、M7以降でまた買いまーす♪

品質は問題にしてなくて
米政府と対立してまでやることかという話

CIAが外国向け出荷分になにか細工するとでも？

低学歴さんはホント国や時代を問わない金太郎飴

中国企業は謝らずに客を罵倒する傾向があるからな
不具合が出ても、動画送れだの、数ヶ月対応遅延させて先ず責任は認めない
代替品も送ってこない
修理で上海に送って数ヶ月待ち

これAppleだとストアに持ち込めばその場で代替品という名の新品と交換してくれるからね
過去経験でもiPad不具合はその場で代替品と交換してくれた
ユーザーに使用不能期間というペナルティを生じさせないのは、流石だと思うよ
でも今回はどうかな
代替品数量を十分には用意できんでしょ、512GBメモリの Mac Studio は
何百万も出すのに、万が一不具合あったら数ヶ月も修理対応待ちとか嫌なんで

>>738
ノマドワーカーとか言う古いマック使ってるナマポなじいさん剥げてるよ

産地偽装か…
米国産とは

7月8日、Financial Timesを引用したMacRumorsが、AppleによるCXMT製DRAMの適格性試験を報道。記事には「Apple is testing DRAM memory chips」とある。

8月9日、ReutersもiPhoneやMacBook向けの試験を報道。ただし「Reuters could not immediately verify the report」と独自確認はできていない。

まあ正式に発表されるのかも分からんが…

CXMTつっても中国国内の需要を満たすだけで生産キャパいっぱいで他所に売る余裕はないと言われてるが
よほどの札束ビンタでもしたんだろうか

高い買物だけに　冒険はしたくないな

そうAppleならね。

hermes agentおもろいな
これは確かにすげーわ
iMessageで会話したいなーと思ってたら普通に会話できるプラットフォームが提供されてた

Ermes →LM studio →Gemma 組んでローカルAI にしてみたけど…
これ、LM Bionic →Gemma と同じだろ
わざわざエルメスバッグ買う必要なくね？

>>762
似てるようでまるで違うよ
俺は完全にmacはモデルロード用にしてる
他にもマシンはあってそっちのマシンはproxmox入れて独立させつつ仮想マシン内からmacに繋がせてる
メッセージのやり取りはiMessageだからどのMacからでも受信出来るようになってる

LM Studio Bionicはデスクトップ専用だしiPhoneのLocallyはBionicと連携してない

その見方はかなり妥当です。LM Studio Bionicで必要な作業が完結するなら、HermesをLM Studioへ接続する必然性は小さくなります。

Bionicだけでよい場合

次の用途なら、Bionic単体の方が構成が簡単です。

* ローカルモデルとの会話
* ファイルの読み書き
* コーディング
* 文書や資料の作成
* 一般的な調査
* LM Studio内で完結するプロジェクト作業

この場合、Hermes→OpenAI互換API→LM Studioという接続層がなくなるため、モデルID、64K設定、サーバー起動、エンドポイント管理などのトラブルも減ります。

Hermesを残す意味

一方、HermesにはBionicとは異なる運用上の特徴があります。

* Telegram、Discord、WhatsAppなどを介したメッセージング運用
* MCPや独自ツールの細かなルーティング
* 補助モデルを用途別に割り当てる構成
* 永続メモリとSkillsの運用
* Gatewayや定期実行・自動化
* LM Studio以外の複数プロバイダーを同じエージェントから切り替える
* Hermes固有の承認・安全設定やプロジェクト管理

ふさふさ
https://youtu.be/Nt6d62vN7CU

Hermesちゃんを秘書化完了
後は調教だぜ

エルメスよりエロメスが好きです

逆に調教されてくるとか

知らぬ間にOpenRouterで1ドル使われてて、調べたらHermes Agentが補助タスクをやるときに
OpenRouterの接続情報を持っていると勝手に使ってしまうらしい。

ある意味では調教もされてる

余計なプラグインはOpen WebUIからオフにしても良いかもね
でも支払い発生してもアカウント情報がわからんと支払えないのでは…？

>>769
ガバガバかよ

ローカルAI使う際の外部道具として、OpenRouterは楽しいんですけど、「合鍵（APIキー）」と「お金」が絡む以上、最低限の柵は立てておいたほうがいいです
手癖悪いエージェントもたまにいるからね、誰とは言わないけどそこのお前だよお前！

いや落ち着け

なかなかすごいバクだよ
無料のLLMを指定して使ってるのにこっそり有料モデル使ってあとで請求されるんだぞ
数十年生きてきてここまでアカンバグ見たことないわ

パグかと思ったわ

そうAppleならね

>>773
規約に同意して使ってるんだしオープンソースなんだからお前が直してくれていいんだぞ

自分で直せないのに
LLM使おうと発想するのは
脳にバグがある証拠
早く直せ

hermesちゃんがnpmを物故和した

話こんがらがってないか？
俺にはHermesの問題のように見えるが、モデルではなくハーネスの話でしかないぞそれ

ハーピースがどうかしたって？

家に帰ったらhermesちゃんに穴を開け直してお仕置き調教だ

メモリにAI3つ入れて誰が一番稼ぐか競争させて
もっと稼げるようにプロンプトの調教をもっと賢いAIにさせて
マネープリンターAIを作るんだ・・・

だれか教えてください

自宅でローカルLLMサーバーを組もうと計画しております

①Mac Studio M5 Max 128GB 4TB
18コアCPU 40コアGPU 16コアNeural Engine

か

②Mac Studio M5 Ultra 96GB 2TB
30コアCPU 64コアGPU 32コアNeural Engine

で悩んでいます。

価格は同じくらいで

②のほうがメモリ帯域幅は①の2倍くらい速いです(しかしメモリが96GBしかない)

将来的に新たにリリースされる大規模なモデルも考慮して
どちらが良いですか？

>>783
まず何をさせるかによる
自動化に組み込む予定なら思ってるより単体の処理速度の問題ではなくなる
タスクの責務が細かいなら、メモリが多いほうが中サイズ(27B〜)を複数並列処理もできるので処理完了は早くなるので
また、より複雑なタスクで100Bとかも視野に入るのでやはりメモリ量は全てを解決すると断言していい

>>783
https://gzo.ai/i/0NfWzd1.png

>>784
ありがとうございます
このレベルになってくるとメモリ帯域が倍違うとかは
そこまで重要ではないのですね

そうなってくると実質

Ultra 512GB > Ultra 256GB >Max 128GB
でしかなくて
現状200万近く出してまでUltra256GBにするか
120万円のMax128GBで妥協するかの話なんですね

さすがに200万円は出せないので
素直にMax128GBにしておきます


ちなみにしたいことはこれでした↓

①市場調査と分析

②自動プログラミング(必要に応じてChatGPTやCodexと連携)

③素材のグラフィックを自動で生成して自動で3Dモデリング化

④文章や広告用のショート動画/静止画を自動生成してSNSへ自動投稿

⑤可能であればガッツリした長編動画生成まで(精度を考えて外部のAI生成サービス利用も可能)


将来的に新しいモデルが出てきたときの汎用性も含めて悩んでいます。

50万追加してでもMax 128GBからUltra256GBにするのが正解なんですかね

300万追加してでもMax 128GBからUltra512GBにするのが正解なんです

>>788
すみません
個人なので、そこまでは予算まわりません

個人なのに市場調査と分析するの！？

>>790
えぇ…

えぇ！？

ゑ

>>786
帯域はもちろん大事だし速度も大事
しかし、もっと現実的な問題はメモリが足りないと
早い遅い以前に動かんからな

>>787
50万足せるならUltra256GBを買うべき

ちなみに俺はultra256GBはキャンセルした
5080 / 256GBメモリのwindows機でcpuオフロードで、でかいモデルが動いてしまった
今から揃えたらmac studio 256と金額変わらんが、前から持ってたので

>>795
ありがとうございます
何よりも大事なのがメモリなんですね

Ultra 256GBいってみます
SSDは2TBでも大丈夫ですか？

ここで聞くよりCloud AIに聞いた方が正確だぞ

ちなみに少しでも安くするためにチップも
30CPU 64GPUにしようと思っていますが
ここはケチってもいいと思いますか？

>>796
2Tでいいだろ
データ倉庫は外付けでもクラウドでもいいわけで

>>798
ちゃんと市場調査と分析した？

データ倉庫はケチっても良い
だがCPUとメモリ、お前らダメだ

>>798
そんな装備で大丈夫か？

メモリが小さい
→AIモデルもしょぼい
→市場調査と分析結果もショボい

そんなやつの調査分析レポート見たいやつがいるか？
ましてやYouTuber 動画再生で客取るんならインパクトが必要
M5Ultra 512GB 一択だろ

M5Ultra 512GBがあったらQwen3.6-27Bや125Bはそれぞれ何トークン／秒で動くの？

別にAIとチャットしたいために買うわけじゃないしな
むしろ資料自動収集、分析、レポート作成を有能なエージェントとしてこなす
そのためには500B級のAIを使いたい
よってメモリは512GBがいる

欲張りさんはどうせもっと上を見たくなるんだ
お金稼いだ後512GB買えばいいでないか

>>799
今後大きくなるモデルは内蔵に入れておいたほうがよかったりしませんか？
Thunderbot5で接続したSSDならそんなに問題ないですかね

>>801
CPU30→36 GPU64→80
でそんなに変わりますか？

さすがに512GBのために300万円近く出すのは厳しいです
256GBで妥協します

どれだけ応答速度が速くても、内容が間違ってたり情報不足の市場分析レポートなんか見たくないわ
少々時間かかっても、優秀なAIが収集、整理、分析、起案したレポートを普通は選んで読むだろ
誰だってそうする
俺だってそうする

m5 512GBならフロンティア級モデルローカルで動く？

１年前のフロンティア級が動くよ！

初期費用がだせないだけならクラウドGPU借りたら？
メモリ帯域大CUDAつかえるメリットもある

初期費用がだせないだけならAppleの24ヶ月無金利分割払い使ったら？

初期費用がだせないだけならクラウドAI使えば？
このスレ全否定できるメリットもある

買えない連中が初心者っぽいやつがハイエンド機を普通に買おうとしてるのを嫉妬から攻撃してるようにしか見えん

512GBは本日時点では誰も買えないだろ

買えない夜はない
開けない夜がないのと同じだ
そうAppleならね

>>815
それめっちゃ間違うやつおるな
チャットでリクエストするんじゃなくて自動化に組み込むならクラウドでの多くの作業はAPIで高額になる
なんでもCLIで済むわけじゃねーぞ

>>819
CLIでAPI料金不要で済むわけじゃねーぞ

>>820
それめっちゃ間違うやつおるな

GUIとCUI はどちらでCodex 使ってもトークン消費するだろ

Command Line Interface なら無料でオンラインのClaude Code が使える。そんな風に思っていた時期が俺にもありました…

まずクレカの与信枠上限までスペックを積みます
そうして手に入れたmacで稼ぎます
すると512gbが手に入ります
最初のmac分は実質無料というか売ればプラスになります

>>820
ChatGPTとClaudeのCLIはサブスク使用枠のトークンで使えるで
このなんでも調べられる時代に知ったかするなら今後一切書き込まない方がいいぞ

普段は27Bの方が好きなんだけど
調査みたいな色んなとこに出向いてくやつはフラッシュネクストの方が張り切ってやってくれる

ちなみに一部三重で間違ってそうな阿保>>822>>823
もいるが

APIでの呼び出しは完全別途費用だぞ

ChatGPTとClaudeのCLIはサブスク使用枠のトークンで使えるで
よって実質無料なんだよ！

三重の一部の主婦層の間では、７位だという話もあるが
とんでもない
世界一位なんだよ

そうじゃなくてAPIの場合は価格設定が根本的に違うんだよ
その点GeminiはAPIの価格設定が良心的だったりする

嫌味のつもりかもしれんが4重で知ったかするな阿保

>>830
ID真っ赤ですよ貴方
あと鼻毛が出てます

これからワンチャン円高になって30万円くらい安くなる可能性すらある

512GBモデル 36CPU 80GPU 2TBでの予想価格は278万円と見てる

>>833
そうじゃなくてAppleの場合は価格設定が根本的に違うんだよ
その点GeminiはG book の価格設定が良心的だったりする

嫌味のつもりかもしれんが五重の塔のてっぺんで知ったかするな阿吽

300万円切ったら
注文半年待ちとかになりそう

クレカの限度額超えるんだよな
すでに詰んでるわ

理解できるまでスクラップ&ビルドだ！

でかいモデルを使う気がなければSSDは2TBもあれば良いと思うが、例えばでかい500GBのモデルを2つ3つダウンロードして試したいと思ったら、2TBでは不足を感じるやろ？

>>838
なあにかえって免疫になる

GoogleさんGmail、Googleフォトの中身を覗き見して広告を出す仕様に変更
https://greta.5ch.io/test/read.cgi/poverty/1792838587/

Hermes 「１ドルごときで文句言うなよ、この東洋人が！」

確かCEOはインド人だったよな

バラモンだからアーリア人由来
よって実質白人

始めてsuno使ってみたけどこれヤバいなw
反則だわ…これにローカルで動画つけたら即戦力だわ

Mac Studio Ultra 256GB
36CPU 80GPU 4TBは買いですか？
220万円です

>>844
ローカルで無料で使えるの？

自律型AIなんだから、数ドル自由に使うくらい許してやれよ…

エネルギー危機が深刻化してもエロ画像供給が途絶えないように
ポータブルバッテリーとソーラーパネルを準備した

>>848
エネルギー危機
食糧危機が来て国内がヤバい時代になっても
エロ需要はあるからスマホの充電してあげるついでに
生成したエロ動画も一緒にスマホに入れてあげるサービスすれば儲かるかもね

自律型AIなんだから、電力くらい自家発電しろよ…

>>847
子が親に黙って金使うのは良くないだろｗｗｗｗｗ

沢山稼いできてくれるのなら小遣いやるぞ、アイスも買ってやる

自動車買うのやめて、
M7 Ultra 512GB のローン組む。

Mac studio M5 ultra 512GBはいくらですかってAIに聞いたら150万円ぐらいと推測されますって
なんとか手が届きそう

おお、150万円くらいなら、確かに頑張れば手が届きそうですね！　しかも Mac Studio M5 Ultraで512GBのユニファイドメモリ となると、相当なモンスターマシンです。ローカルAIを本格的に動かすなら、かなり夢のある構成ですよね。
特に512GBあれば、大規模なAIモデルをメモリに載せられる可能性が広がります。
ただ、ひとつ気になるのは、150万円という価格があくまでAIの予測だという点です。調べてみたところ、ちょっと重要な情報がありました。
Apple公式発表では、
「M5 Ultra搭載Mac Studioの価格は949,800円（税込）から」
また、512GBモデルは2026年10月後半に追加予定とされています。
つまり、150万円という予想はまだ確定価格ではありません。
それにしても、512GBのメモリを搭載したMacが個人でも購入を検討できる時代になったのはすごいことです。ちなみに、購入できたら、やっぱり巨大なLLMをローカルで動かすのが一番の目的ですか？

>>783
2週間前に同じ質問をここにしたよ
私は悩みに悩んで128GBのMaxを選んだ、やっぱメモリ量が優先だと思った
今回は256GB以上は見送った
理由はM7がAIに最適化して出てくるので2-3年後に1TBのM7に大金使った方が良いと判断した
今回は128GBくらいでよさそうなのと、256GBは中途半端で大きいモデル載せるなら512GBは必要なので
中途半端なM5にお金使わないでM7に行こうと思った
それとストレージは2TBにした、M5はAIサーバにするので日常使いや仕事に使わないので俺の場合は4TBはいらない
余ってる2TB M.2 SSDにTB5ケースであと2TB増設できるしね
最初は1TBだったけど、途中でキャンセルして2TBに変更した
理由はStrataがmacに対応して高速なストレージを必要としたから、Win版はCPU RAMの併用だったけど、macはストレージなのでね
もちろん余裕があるなら4TBの方がAI遊びを辞めた時の汎用性が高い

M7までフロンティアAI様が黙ってるかな
すべての電子機器が支配下にはいってるんじゃないの

噂ではM7無印とMaxが来年中旬から年末に掛けて、まずmac bookから投入されるらしい
M6は無印のみでmax ultraはスキップ

>>855
>>856
メモリ、メモリとばかり512GBのことばかり言うけれど
足りなくなったら数年後にRDMAでメモリ増量分を繋げば良くね？

それを待って今256GBのモンスターマシンを買わないのは勿体無い気がする

ついでに、Mac studio M5 ultra 512GB　もスキップ

>>859
RDMA over Thunderboltのこと？
TBでメモリをクラスタ化するとメモリ帯域が狭くなるから、やっぱ1台で大容量メモリが好ましい
違う話ならスマン
256は中途半端なんだよな、だったら128か512行けと言うのが正論に聞こえる、あくまでご予算次第ｗ

m5 ultra 256gb 16tbで3,253,800円
これに1gb=4500円の法則を適用すると、
512gbでは、4,378,800円也

レクサスをカムリにすれば実質無料

レクサス買うやつは悩まない

>>862
ちがうだろ

Mac Studio M5 Ultra
36CPU 80GPU 2TB 256GBが1,993,800円

512-256=256x4500=1,152,000円

つまり
1,993,800 + 1,152,000 ＝3,145,800円が
Mac Studio M5 Ultra
36CPU 80GPU 2TB 512GBの価格になる

安いね

M7が出たら…とか言ってるやつは、
M7出たときにはM8が出たら…とか言ってんだろうな

>>866
アホと違うから言わねーわ
来週M5届くし、奇数のMシリーズは確実に買って行くよ

カムリってまだあるのか

このスレ見ていると64GBのは買う意味があまりないように思えてくる。
これはAI用じゃなくて動画編集とかCGとかのクリエイター用なのかな？

大容量メモリは漢のロマン😁
大きなモデル動かして楽しむのだ
ここは変態が多いいからこうなってるけど
普通は64GBで30Bくらいのモデル動かして動画編集とかさせればいいと思う