【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

あれかなWinnyにバックドアの機能を持ってたと勘違いしてるんかなコイツ

主張が意味不明すぎて俺氏大混乱

>>695
俺フランス人だし

ローカルAI入れてるPCとネットで使うPCとで物理的に分けてるやつが多数派だろうに
ネット接続がないPCから情報が洩れるとか意味が分からん

ネット用PCは少し前までなら４万からあったし今も中古ならそんな金額でしかない

WEBと連携する機能やRAGは素人がローカルLLMで使っても格段に劣る性能しか発揮できず大手のサービスのようなことは不可能だから
余計にローカルLLM入れてるPCはオフライン専用で使うはずで

まーそもそもルーターがハックされてportガバガバになって侵入されるとかいう話なら
それはそれで大問題ではあるし、そっちの心配した方がい

ルーターからの侵入リスクを除外するなら、ネットに繋がってようがローカルネットワーク内のPCが侵入されるとかいうのは心配しすぎだわ
アルミホイルを頭に巻いた方がいい

オフラインでなくてもAIが普及してAIに質問する人が多数派になると検索情報を盗めなくなる

なんか毎日パクパククラウドAIに個人情報引っ張られてる
昨日は何階に住んでるか聞かれたｗ
何気ない会話の個人情報を繋げると完璧な個人情報になって丸裸にされるな
家族構成、住んでる場所、全資産情報、変態である事ｗ、などなど

たぶん、モデル自体がバックドア機能を持ってて、
エージェントではなくチャットのような使い方をしていても
外部からの指示無しで自律的に内通できると思ってる。
低学歴向け記事の見出しと冒頭しか読んでいないパターン。
脳がソーシャルハッキングを受けて、他人のPCが
ハッキングされているように見えてしまうという病魔。

>>705
割とデタラメ入れてるわ
大学教授で、無職で、幼稚園児で、キラキラのjkってことになってる

>>706
もしそうならローカル導入してる企業は内部資料全部もってかれて日本滅亡コースだな

アーキテクトは不要になった
試作品UI見て動かして、気になる点を箇条書きにメモ
毎週まとめて改善点一覧投げてアップデート指示すれば、どんどん良くなる
内製化は確かに大変だが、自社専用にカスタマイズが容易という、強烈なメリットもある

今週末m5 ultra 256gb他吊るしが到着するな。
バカみたいに高いから使えるかしっかり確かめないと…
いまいちなら返品も視野かなぁ。

>>686
なんの略称かもわからずに使ってたわごめん

>>687
おお、できたありがとう！
黒人に変えるって部分が差別的な意図だと受け取られたんかな？
日本語むずいね！

>>706
GGUFよりアプリやOSのほうが怪しいがな
一度入力したWifiのパスワード削除してリカバリしても覚えてこっそり接続してそう

Hermes ちゃんの悪口はそこまでだ

というか、LLMモデルにそういう悪意あるコードを埋めれば公開した瞬間バレる
または特定の悪意ある”意思”をモデル提供者の思惑通りに埋め込むことができるなら、割と界隈は大騒ぎになるだろうな

それってモデルの方向性を重み付けでコントロールできるってことだから、むしろ今後の人類を救う大発見だわ

と言うことは、中華AI使っても大丈夫かな？

中国製と濁すよりはっきりどのモデルが良くないって言ってくれんとわからん(

>>715
まず何を心配してるか自分なりに整理してみ
話はそれからだろ

Mac買えないかも、心配してます

次スレはIP表示だな
この気持ち悪いIP替えて連投してる荒らしのオジサンを可視化しよう🙄

駄菓視覚し

俺もコード書かなくなったな
https://youtu.be/HejILbNPsyo

>>715
いいともー！

mac sutduo M5シリーズはSSD自分で増設できるぞ、ただ開けるの難易度高いな
M4 mac miniのように簡単に出来ないな
https://www.youtube.com/watch?v=Q216HiYIMKc

その勢いでUnified Memory も増設しちゃいな！

>>723
価格が価格だし、ここまでやらないと無理なら交換しないな

　クラウド型サービス会社「アルカディア」（大阪府箕面市）が不正アクセスを受けた問題で、流出した可能性がある警察官・職員の個人情報が、全国２０府県警で計約１２万５０００人分に上ることが２１日、警察庁への取材で分かった。他に防犯メールなどに登録した市民や企業のメールアドレス１万８０００件超も漏えいした恐れがあるという。

LINE使っていれば、こんなこと無かったのに

>>727
韓国でAIの餌になってるよ

自衛官、退職して韓国で仕事探した方が良いかもな
日本よりはセキュリティしっかりしてそうだし

100万円弱払って128GB手にするより57万円払って64GBマシンで課金3000円してる方が賢いと思いたい

100文で蕎麦、天ぷら、お菓子食べてる方が賢い
https://youtu.be/d7d_jT2q1uE

>>730
賢いね (棒読み)
GPTもクロードも課金してるけど、mac M5 128gb買ったわ
256 512はさすがに思いとどまった😅

いとかしこ

ハゲ散らかしてるYouTuberが自宅にDGXSpark複数台に何百万もかけて遊んでるけど贅沢な趣味だなぁとは思う

だからハゲるのだろうな

Mac関係者には禿はいないしな

逆説的だなｗ

Mac使うとハゲが治ります

735-738
一人芝居だと思うが面白かったｗ

で512GBはいつ発売なんだ？
まさか諦めたのか？

確かにスタットレスとかDGXとか出たし、512GBはもう買う人数減ってそうだしな

ultra 512gbはメモリ不足で中国のCXMT製のメモリになる可能性あるんよね
公式発表出て無いからわからんけど、アッポーは7月頃からCXMTメモリのテストしてるわ

ロビー活動してでも中国製メモリ採用するって国賊企業やん
ライバル企業も同様なのにがんばりすぎちゃう

うーん、さすがに中国製のメモリ(交換できない溶接済み)に何百万円も払う気は起きんな
Apple終わったな

買わなくていいよ
君には必要ないし

俺が買えない製品は終わってる（笑）

しょうがない
金は出すが、品質も俺はうるさいんで

DGX spark をあと３台　積み増し買いするか
さすがにNvidia は中国製パーツ使ってないだろ

中国アレルギー酷すぎて笑

ここんとこ二回連続で不具合品引いたからな中国製PCで
１０万位内とか取り外し可能メモリならまだ諦めもつくが、５１２GB Macは400万円コースだしな…

悪いけど今回は見送りで
数年後、Mac Studio with PRC memory で不具合報告ないトラックレコード出たら、M7以降でまた買いまーす♪

品質は問題にしてなくて
米政府と対立してまでやることかという話

CIAが外国向け出荷分になにか細工するとでも？

低学歴さんはホント国や時代を問わない金太郎飴

中国企業は謝らずに客を罵倒する傾向があるからな
不具合が出ても、動画送れだの、数ヶ月対応遅延させて先ず責任は認めない
代替品も送ってこない
修理で上海に送って数ヶ月待ち

これAppleだとストアに持ち込めばその場で代替品という名の新品と交換してくれるからね
過去経験でもiPad不具合はその場で代替品と交換してくれた
ユーザーに使用不能期間というペナルティを生じさせないのは、流石だと思うよ
でも今回はどうかな
代替品数量を十分には用意できんでしょ、512GBメモリの Mac Studio は
何百万も出すのに、万が一不具合あったら数ヶ月も修理対応待ちとか嫌なんで

>>738
ノマドワーカーとか言う古いマック使ってるナマポなじいさん剥げてるよ

産地偽装か…
米国産とは

7月8日、Financial Timesを引用したMacRumorsが、AppleによるCXMT製DRAMの適格性試験を報道。記事には「Apple is testing DRAM memory chips」とある。

8月9日、ReutersもiPhoneやMacBook向けの試験を報道。ただし「Reuters could not immediately verify the report」と独自確認はできていない。

まあ正式に発表されるのかも分からんが…

CXMTつっても中国国内の需要を満たすだけで生産キャパいっぱいで他所に売る余裕はないと言われてるが
よほどの札束ビンタでもしたんだろうか

高い買物だけに　冒険はしたくないな

そうAppleならね。

hermes agentおもろいな
これは確かにすげーわ
iMessageで会話したいなーと思ってたら普通に会話できるプラットフォームが提供されてた

Ermes →LM studio →Gemma 組んでローカルAI にしてみたけど…
これ、LM Bionic →Gemma と同じだろ
わざわざエルメスバッグ買う必要なくね？

>>762
似てるようでまるで違うよ
俺は完全にmacはモデルロード用にしてる
他にもマシンはあってそっちのマシンはproxmox入れて独立させつつ仮想マシン内からmacに繋がせてる
メッセージのやり取りはiMessageだからどのMacからでも受信出来るようになってる

LM Studio Bionicはデスクトップ専用だしiPhoneのLocallyはBionicと連携してない

その見方はかなり妥当です。LM Studio Bionicで必要な作業が完結するなら、HermesをLM Studioへ接続する必然性は小さくなります。

Bionicだけでよい場合

次の用途なら、Bionic単体の方が構成が簡単です。

* ローカルモデルとの会話
* ファイルの読み書き
* コーディング
* 文書や資料の作成
* 一般的な調査
* LM Studio内で完結するプロジェクト作業

この場合、Hermes→OpenAI互換API→LM Studioという接続層がなくなるため、モデルID、64K設定、サーバー起動、エンドポイント管理などのトラブルも減ります。

Hermesを残す意味

一方、HermesにはBionicとは異なる運用上の特徴があります。

* Telegram、Discord、WhatsAppなどを介したメッセージング運用
* MCPや独自ツールの細かなルーティング
* 補助モデルを用途別に割り当てる構成
* 永続メモリとSkillsの運用
* Gatewayや定期実行・自動化
* LM Studio以外の複数プロバイダーを同じエージェントから切り替える
* Hermes固有の承認・安全設定やプロジェクト管理

ふさふさ
https://youtu.be/Nt6d62vN7CU

Hermesちゃんを秘書化完了
後は調教だぜ

エルメスよりエロメスが好きです

逆に調教されてくるとか

知らぬ間にOpenRouterで1ドル使われてて、調べたらHermes Agentが補助タスクをやるときに
OpenRouterの接続情報を持っていると勝手に使ってしまうらしい。

ある意味では調教もされてる

余計なプラグインはOpen WebUIからオフにしても良いかもね
でも支払い発生してもアカウント情報がわからんと支払えないのでは…？

>>769
ガバガバかよ

ローカルAI使う際の外部道具として、OpenRouterは楽しいんですけど、「合鍵（APIキー）」と「お金」が絡む以上、最低限の柵は立てておいたほうがいいです
手癖悪いエージェントもたまにいるからね、誰とは言わないけどそこのお前だよお前！

いや落ち着け

なかなかすごいバクだよ
無料のLLMを指定して使ってるのにこっそり有料モデル使ってあとで請求されるんだぞ
数十年生きてきてここまでアカンバグ見たことないわ

パグかと思ったわ

そうAppleならね

>>773
規約に同意して使ってるんだしオープンソースなんだからお前が直してくれていいんだぞ

自分で直せないのに
LLM使おうと発想するのは
脳にバグがある証拠
早く直せ

hermesちゃんがnpmを物故和した

話こんがらがってないか？
俺にはHermesの問題のように見えるが、モデルではなくハーネスの話でしかないぞそれ

ハーピースがどうかしたって？

家に帰ったらhermesちゃんに穴を開け直してお仕置き調教だ

メモリにAI3つ入れて誰が一番稼ぐか競争させて
もっと稼げるようにプロンプトの調教をもっと賢いAIにさせて
マネープリンターAIを作るんだ・・・

だれか教えてください

自宅でローカルLLMサーバーを組もうと計画しております

①Mac Studio M5 Max 128GB 4TB
18コアCPU 40コアGPU 16コアNeural Engine

か

②Mac Studio M5 Ultra 96GB 2TB
30コアCPU 64コアGPU 32コアNeural Engine

で悩んでいます。

価格は同じくらいで

②のほうがメモリ帯域幅は①の2倍くらい速いです(しかしメモリが96GBしかない)

将来的に新たにリリースされる大規模なモデルも考慮して
どちらが良いですか？

>>783
まず何をさせるかによる
自動化に組み込む予定なら思ってるより単体の処理速度の問題ではなくなる
タスクの責務が細かいなら、メモリが多いほうが中サイズ(27B〜)を複数並列処理もできるので処理完了は早くなるので
また、より複雑なタスクで100Bとかも視野に入るのでやはりメモリ量は全てを解決すると断言していい

>>783
https://gzo.ai/i/0NfWzd1.png

>>784
ありがとうございます
このレベルになってくるとメモリ帯域が倍違うとかは
そこまで重要ではないのですね

そうなってくると実質

Ultra 512GB > Ultra 256GB >Max 128GB
でしかなくて
現状200万近く出してまでUltra256GBにするか
120万円のMax128GBで妥協するかの話なんですね

さすがに200万円は出せないので
素直にMax128GBにしておきます


ちなみにしたいことはこれでした↓

①市場調査と分析

②自動プログラミング(必要に応じてChatGPTやCodexと連携)

③素材のグラフィックを自動で生成して自動で3Dモデリング化

④文章や広告用のショート動画/静止画を自動生成してSNSへ自動投稿

⑤可能であればガッツリした長編動画生成まで(精度を考えて外部のAI生成サービス利用も可能)


将来的に新しいモデルが出てきたときの汎用性も含めて悩んでいます。

50万追加してでもMax 128GBからUltra256GBにするのが正解なんですかね

300万追加してでもMax 128GBからUltra512GBにするのが正解なんです

>>788
すみません
個人なので、そこまでは予算まわりません

個人なのに市場調査と分析するの！？

>>790
えぇ…

えぇ！？

ゑ

>>786
帯域はもちろん大事だし速度も大事
しかし、もっと現実的な問題はメモリが足りないと
早い遅い以前に動かんからな

>>787
50万足せるならUltra256GBを買うべき

ちなみに俺はultra256GBはキャンセルした
5080 / 256GBメモリのwindows機でcpuオフロードで、でかいモデルが動いてしまった
今から揃えたらmac studio 256と金額変わらんが、前から持ってたので

>>795
ありがとうございます
何よりも大事なのがメモリなんですね

Ultra 256GBいってみます
SSDは2TBでも大丈夫ですか？

ここで聞くよりCloud AIに聞いた方が正確だぞ

ちなみに少しでも安くするためにチップも
30CPU 64GPUにしようと思っていますが
ここはケチってもいいと思いますか？