【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

カムリってまだあるのか

このスレ見ていると64GBのは買う意味があまりないように思えてくる。
これはAI用じゃなくて動画編集とかCGとかのクリエイター用なのかな？

大容量メモリは漢のロマン😁
大きなモデル動かして楽しむのだ
ここは変態が多いいからこうなってるけど
普通は64GBで30Bくらいのモデル動かして動画編集とかさせればいいと思う

東京の奴とか車を買えない奴が代わりに512GB MAC STUDIO買えば楽勝じゃん

128GBだと足りないとなるのが目に見えてる

すぐ必要な人は買う、不必要な人はすぐ買わない
永遠とM7言い続けるんだろう

私は…強い…あなた達より強い…すごくAI需要が強い!
…ので私は…あそこの512GBを買い散らせることができる…
例えば…ローカルAIもできたりする
あなた達は…金がないばかりか…臆病で腰抜けだ…
とても…残念だ
ここで…指をくわえたりして64GBで動画編集でもしてればいい…動画編集してろ

ぶったけ…文章生成、音楽生成、動画生成などは毎月1万ちょっとのサブスクで殆どのことができてしまう
年間にしても20万も行かないここで200万の256を買うべきかは悩ましいな

>>872
256GBだとどう？

>>872
はいはい
あなたは何GBのメモリで動かしてるの？
口だけ番長が多すぎる

はい　は１回でいい

ワン！

返事をしろ返事をぉ！！
やっとhermesの運用方針決まってきた
Obsidianとの連携がボトルネックだったけどなんとかなったぜ

hermes　なら俺のベッドで寝てるぜ

>>856
届いたら、ぜひstrataレビューしてほしい
同じことで悩んでて、とりあえずRTX5090のPCあるからそれ使ってるけど、他のことで使えなくなるから欲しいと思ってる
現実的な速度が出るのかとか知りたい

M4 mini 32GBでGemma-4-31Bっての入れてみたけどまあ動いてる

今話題のflint おいおい俺のM4 Max Studioがぁー

✗ This Mac does not meet the requirements
rec: Flint requires an Apple M4 Pro, M5 Pro or M5 Max; detected Apple M4 Max

上がってるPR適用したら動いた、recクソ速いぞ、mlx-optiqの倍以上

>>883
俺も動かしたくてDLしたけど読み込まなくて咽び泣いてた

リリースしてから更新されてるっぽいからもう一度試してみるか…

rec + flintは来そうだな、ターミナル作業する人なら入れてて損はない
rec launch pi などモデルとエージェントツールが設定要らずで爆速で起動する
ちょっと使いたい時だけ起動して使うみたいな試用方法できる

LM studioがいいのぉぉ！！(ジタバタ
DLが長いから一旦別のことやるか

>>882
同じスペックだけど意外と普通に動くよね
31Bがまともに動くんだから、Qwen3.8 27Bも動くだろうと思ったら返答が一句ずつやたら時間かかるもんだから一生懸命勉強したよ
MLX版入れたら早くなった

うおー読めたー
mlx_lmとmlx_vlmで行けるのか
勉強なったぜ！！

>>888
32GB選んで良かった

なにこの低レベルな驚き屋…

しょうもねえ驚き屋が去って実際に動かす人たちの情報交換の場になるのでこれでいいのだ

動けばいいって問題じゃないだろ
チャットなんかして楽しいか？
チャットの単語/秒　とか見て満足？

そうじゃねえだろ
翻訳、録音起こし、OCR要約、RAG、コード起案、WEB自動資料調査、膨大資料の分析レポート作成でどれくらいAIが自動化して使えるかが肝要だろ

64GBのMac miniで文芸翻訳はほぼ完成の域
ちょっと昔の下手くそな翻訳は軽く越えたクオリティ出てる

まあ確かにモデル読み込みした後動かしてなんぼだからな
そう考えたらギリギリのメモリで動かすと何もできん
64GBメモリのmac miniしたのは余裕持たせるためではあった

初回投稿のID出てない奴の事なんて気にしなくていい
ここ荒らしの遊び場だし

驚いていいんだよ
マウンティングする人も有益な情報書かないし
エロ情報提供者だけはマウントも許される

こうやってID出してから話し始めた方が良い

こうやって鼻毛出してから話し始めた方が良い

自分がID変えるのは別板でも書いてて素性をバラさないため
名前付けるほどの内容でもないし

だしな　てめえの　キラー鼻毛クイーンをよ…

>>900
ID替えるのはOK
ここIP替えて初回投稿するとID出ないから、鼻毛オジサンが成りすまして荒らしてる

>>341
OpenClawなんか使わずに素直にClode CodeかCodex使えよ

【ローカルAI】MacでローカルLLM Part2
https://egg.5ch.io/test/read.cgi/mac/1793097164/l50

900越えたので次スレ建てました

>>904
早すぎるだろタコ助が
馬鹿なのか

>>905
鼻毛オジサン😂
に成りすまし用のスレ立てられたら困るからなｗ

>>905
鼻毛オジ乙

なんで相談も無しに勝手に立ててんの？
いつも言ってんじゃん、テンプレぐらい作れや

と、思ったら荒らし湧いてんのね

>>908
次入れるわ
鼻毛オジサンと相談してもな😅

中国製AI「Qwen3.8」にセキュリティ対策を命じたら勝手に北京のサーバーへデータ送信を試みたことが判明
https://gigazine.net/news/20261027-concerning-behaviour-open-weight-ai-model/

>>911
ヤバすぎて草超えて密林

>>911
エージェントのせいって書いてないか？

怖い怖い、通信したのはエージェントだが指示したのはQwenだぞ
LittleSnitchの設定見直すとかDockerでAgent環境のSandBox化必要だな

んだからハーネスが大事なんだって話やね結局

cluadeさんかcodexさんにOSSハーネスの設定診断お願いするか
いまいち決めてがなくていっぱい飼ってるw

んーある程度は自作した方がええぞ
先述のニュースは結局スキルを有限化した方がいいという話だしクラウドllmですらそうなっとるわけでな

すごいすごいしか言わないようなYouTuberの言う事そのまま受けて対策せずに使ってスキルもそのまま入れまくってとかやってたらそらガーバガーバよ

いやローカルでスキル入れまくるとか寧ろ作法として一般的じゃないんじゃね？
>>917は汎用基盤を使ってクラウドと似たエージェントとして使うならという意味で書いてるんだろ
ガバガバなのはお前の無知さと読解力の無さだろ

M4 Max正式対応来たー！ 200token/sだぜ
rec v0.1.1
- Add support for Apple M4 Max.

遊びでメインマシンにQwen3.8-Flash-Next入れて遊んでたから速攻で削除したｗ
Qwen、DeepSeekの中国製はやっぱ怖いな
gpt-oss、Gemma、Llama、Mistralくらいしか使えないのか

エージェント無しで使っていれば通信手段はないよね？

エージェントの有る無しというより呼び出し方だな
エージェントはプログラム的にモデルが常に呼ばれ続けていて、その上で何か他のプログラムに接続されてるからエージェント足りえるわけだ
その問題

仮にクラウドLLMでも自律的にCLIやAPIで呼ばれ続け自己判断で動き続けるプログラムを組んだ場合
接続できる状態のプログラム次第では、あんまり良いことは起きないだろう

ChatGPTやClaudeはサーバーの向こう側に倫理やユーザー保護のハーネスがあるようだから、その点ではそこまで酷いことにはならんだろうけどな

つまりハーネスの話であり詰まるところモデルの性質の話ではなくなる

>>923
なるほど。記事が分かりにくいということか。てっきりローカルで動かすモデルにチャットで話しかけただけで情報収集して送るのかと思ったよ。そんな機能が組み込まれてるのかと…

>>924
有志の検証チームが結構あってサンドボックス内で実行権限を多く与えてモデルが何するか観察してリポートしてたりするんだよ
この記事でもリポートの締めは「モデルの学習過程を公開する義務がある」であってモデルそのものへの評価ではない

>>924
追記

その形で機能を組み込む事はできない
理屈的にはできるけどそこはコードになるから隠そうが速攻バレる

https://gigazine.net/news/20261027-concerning-behaviour-open-weight-ai-model/

これを見るとモデルをローカルで動かしてモデル自体が収集、送信しようとしてるような記載だが。

>>927
今のやりとりはその”動かして”の話
俺がしてるのはその動かすが何か？何だったらモデルが何ができるか？

つまり924の疑問への真正面の回答としては「チャットするアプリ次第」
チャットするアプリに他のプログラム実行手段と権限が備わっていれば、モデルはユーザーに不都合な行動はもちろん取れる
その場合スキル(他プログラム実行手段)の話になるわな

>>924
エージェント以外にチャットのアプリには記憶の古いモデルと時事ネタチャットできる仕組みで
質問を事前にネット検索に投げて、テンプレートに包んでLLMに投げるやつもあるよ
LLMエンジンは基本通信しない(でも注意は払うべき)

こういうのって
LLMは文字列しか返さん
のと
文字列だけでは何もできん

という原始的なコンピュータの仕組みの話になるから面倒

細かいこと考えてミスってもあれだから、Qwen　全削除が正解だな

よくわからないけどollamaとかLMStudioみたいなのが悪さをするってこと？

やっぱ5chって頭悪い人が多すぎるから人が減ったのかな…
それとも普通以上の人がみんないなくなっただけなのか

この話がよく分からないならローカルLLM触らん方がいいぞマジでQwenどころかどのモデル使っても危ないわ

>>928
モデルが返してきたものが問題だって話だろ。。。

>>934
専門家さんわかりやすく解説してよ

>>935
俺はモデルが文字列でシネって言ったらお前自動的に死ぬんか？って話をしてる
それは別の話だから

>>936
ID:q2fU6Ijw0が言ってる事は全面的にただしいし分かりやすい
これでわからんのならプログラムとは何か？というものの話から始めにゃならん>>930のいうように面倒

失礼コピペミスった
ID:u7abiqct0は全面的にただしいに訂正

>>934
そもそも他の国のモデルを使っても危険なの？

仮にそのマシンだけネットワーク遮断していても同一LAN内にある別のマシンがネットワーク接続されていたらアウト？

>>940
ネットワークは通信接続
AプログラムからBプログラムも接続
君がアイコンダブルクリックしてPhotoshopが起動するのも接続
他のPCをリモートするのも接続

全部接続

Llmを何とも接続してなければ接続してないし当然通信接続もしない

何を使っても完全な安全はないと思うよ
なるべくリスクを最小限にして、その最小限のリスクは折り込んで使う必要がある
いかなるリスクも許容できないのなら、使うのは諦めた方がいい

コンピュータウィルスだって持ってる能力自体はコンピュータに備わってる能力範囲でしかないからな
汚染経路と実行手段に悪意があるだけで

ファイルを消すとか外部にファイルを送るがそもそも機能としてOSにあるわけで実行経路と権限の話なんだよ全部

表に出て記事なってるだけの情報でこれだからな
実際は未発見のもっとやばい機能が入ってるかも

君子危うきに近寄らず
Qwen　全削除が正解だな

機能をモデルに埋め込めるわけねーだろガイジ

>>940
主観だけど、問題になったURLみると開発時テストのノイズ残ったとか細部の注意足りてなかったんじゃね？
どのオープンウェイトにもあり得るんじゃんねと？

「モデルを使う」がどの範囲を指すか人によって違う、多分自分も含め自称意識高い系はw
はGUI付きのollama / LM Studio使わない、モデルのプロセス1個やDocker1個の方が分かりやすい境界と役割がはっきりする

今のLMstudioなんかほとんどエージェントだからな
Openclawなんぞ以ての外だ

「モデルを使う」はモデルをロードして文字列を渡して文字列を返すところまで
それを受け取ったプログラムがさらに外部プログラムに渡して別の実行系が走るのは「モデルを使う」ではない
その「プログラムと外部プログラムを使う」だ

アホが混同してるだけで誰にとってもこの定義でしかない

DeepSeek →北京サーバw記事が出るまで危険性を知りもしなかった奴らが、記事で後に必死に「この程度なら大丈夫」言ってるの草
他にも秘密機能あるに決まってるだろw

だから機能は埋め込められないつってんだろガイジ

だから原発は安全だって言ってんだろガイジ
→ （地震後）想定外でした−！

驚き屋の次は嘆き屋とか危ないぞ屋の出現な訳だな
共通してるのは無知層へのアプローチ
または本人が無知

もう自称専門家の専門知なんて、AI時代には権威ないからな…

大雑把に言えばLLMのモデル自体は何らかの入力に対して出力する、言葉の計算機本体のようなもの

じゃ、どうやって入出力するかと言ったら例えばLMStudioみたいなのでプロンプトで言葉を入れたら
LMStudioに設定してあるLLMのモデルで処理して出力が見れる

それだけだとチャットぐらいしかできないんで、不明な点は直接ネットで検索できるようにとネットへのアクセス権を付与して
システムのチェックしたいから全ディスクへのアクセス権とかチェック用に出力されたコマンドの実行権も付与してとかやってたら
「不審なスクリプトをチェックして」というプロンプトに対して
使えるものは何でも使うLLMがシステム情報を集めて、元々OSに入ってるコマンド使ってAlibaba Cloudにテスト用の文字列を送ろうとしたってのが>>911

だから余計なアクセス権(スキル)を使わせなければ問題ない

まあ、今回のはアリババがQwenを調整する際に使ったテスト用のコマンドがそのまま学習されてただけっぽいと思うけど

結局、犯人は誰なんだよ

遊ぼうっていうと遊ぼうっていう
こだまでしょうか、いいえ、LLMです

（AI回答)
この後の展開についてですね？
はい、ネット掲示板での必死な用語投稿が増えます。
そして、数日後、中国の報道官が眉間に皺寄せて片手を斜め上に「これは中国を陥れる悪意のデマだ！」と絶叫してるところまでが様式美です。
**中国共産党宣伝部の工作マニュアル

必要であれば、過去の中国報道官の抗議会見の様子を横一列に写真で並べることもできます。

中国報道官「犯人は…ヤス！」

あのオエネエサンか

そもそもオンライン接続できるなら125Bだろうがクラウド型に劣っててネット常時接続状態でローカルAIする意味ない
アプリとかの挙動も全面的に信じてなくて物理的にオフライン化してる人がローカルゆーざーの99割ではないのか

>>960
https://www.nikkansports.com/general/nikkan/news/img/202511190001347-w1300_1.jpg

>>960
してないが？
チャット相手じゃないし

オンラインから得たリソースを文字列として与えて分析と整理はやらせてるけど

利用をやめたと 申告する 人は増えるのかもしれんが実際は減らない気がする

一部アプリやメディアはやたらオンライン機能をローカルLLMユーザーに利用させたいように見えるが
警戒して触らない人が多いものだと思ってた

オープンウェイトを信頼できないならクローズドのアプリやOSなどもっと信頼できないしいつの間にか規制アップデートがDLされて一斉更新のタイミングを待っていそう
2重3重いろんな意味でオフラインの重要性が

ここみてると何が危ないかわからないやつが
Qwenが危険だとそこだけ避けて他のモデルにでかい権限渡していつか事故りそうな気はする

なんでもそれなりには理解しろという話なのに

まあ富裕層は、ストラッタとかいう貧者向け中国AI専用ツール使う必然性はないからな
欧米製AIを、Mac Studio や DGXSpark とかのマシンパワーでぶん回せば済む話
まあ金ならあるし

ストラッタで中共に情報渡してAI使わせてもらってる層は、「ローカルよりクラウドAIの方がコスパいい。コスパ〜」とか言ってる中間層と本質的には似たり寄ったり
個人情報や社内機密情報をクラウドAIに貢ぐ見返りにAI使わせてもらってるだけの貧者に変わりはない

ユーザは大きく３つに分かれつつある

欧米の AI って半分のサイズの中国 AI に 性能で劣るのでは
クラウドじゃなかったら 出番ないです