【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

一部のMCPツールで、LM StudioのOpenAI互換APIを繋げて使ってると、リクエストにpropertiesが無い場合にエラーになる
unsloth DesktopのOpenAI互換APIだとエラーにならない

そんな風に思っていた時期が俺にもありました（マルチではありません）。

LM Studio使ってるけどかなりおもろくて良いね
外からはLocallyでiPhoneからLM StudioとのLM Linkで質問投げてみてる

mac mini買ってよかった
これでClaude code解約できるわ

>>608
Macstudio最小構成買うくらいならMac miniM5Pro64GB？

Word、Excel、サンダーバード、Web閲覧用途なら32GBメモリで充分だよ。
俺は念のため64GBメモリのMac Studio にしたが。

AI をガンガン動かすんなら、126〜256GBかな
俺は、DGX Spark 派なので126GBメモリ買った。増設で４台まで増やせるらしい。

Strataがゲームチェンジャー過ぎる
64GB DDR4機とRTX3090の骨董品で125BクラスのQwen3.8 Q3_XSSが120tok/s〜170tok/s位で動いてる
メモリ64GB〜128GBのマシンはメモリ安い頃に4台くらい買ってあるんで、それぞれにVRAM16GBクラスの程々GPU載っけたら全部現役復帰や･･･

さあ皆さんご一緒に〜
Strataがゲームチェンジャー過ぎるぅ！

27Bを動かすか122B以上を動かしたいか
Sなんとかが出てきてまた状況が変わってきた
少し前まではMacが圧倒的優位だったのに

一般人「ローカル興味ない。Web使うから」
金持ち「Mac、DGX、フレーム使ってるんで興味ない」

ゲームPCしか持ってないキモオタ「ストラッタで俺たちもAI使えるように！」


騒いでいる階層が体臭臭そうな奴ら…

>>617
200Bが動作すればRAG以外だとWEB版の無料AIは完全に超えるから有料AIが焦ってるのは分かる

512GBのMac Studio 注文済みの俺さま　高みの見物

mossが流行りだしたから、みんなフラフラと流されてるな
キワモノ系の　strataは忘れ去られつつある

ローカル一式触ってたら2TB一瞬でうまったな、がっつりさわるなら外付け8TBで足りるかな？まさかの4ベイ買うか迷うわ

成りすましおじさんの独り言が今日もこのスレに響き渡る😂

MoEの最小ロードは流行るやろね

普通の人はVRAM何十GBも持ってないから、意味ないよな

vram24GBで動くように寄せていくのは予想できる、本体にも36GBとか求められるかも知れんが…

Mac Studio 256GB とか持っている人には、どうでも良い技術だよね、ストラッタ（笑

>>626
逆だろ
816BクラスとかのLLMフルでロードできる可能性が出た

可能性ねぇ…

mac mini 64GB M5 Pro買ったけど1人で使う分には27B gemma4やらornith-1.5を読ませて遊べるね
メモリプレッシャーが黄色くなったからどっちかのモデルを下げるかもしれん

xestrataとやらを公開してる人、nikoにあしらわれてるのが気に入らないのかしらんが、誰も仲間になってくれず「そんなに気に入らないなら自分のxestrata使ってれば？」と言われて「使ってます」は笑う

本家にPRしない理由は採用されないから、なんなら俺はほとんど作り直してるからオリジナルだとかOSS界隈に1番嫌われるやつやろ

興味ない

低学歴無職はそもそも百万超えMac買えないからな
無職のオタクとか、低予算PCになけなしのGPU付けて親が払う電気代でゲームやって人生送ってんだろ？
世の中の人がオンラインAIで仕事するようになって、富裕層はローカルAI。無職キモオタは技術的に取り残された劣等感の中にいたわけだ。唯一のプライドであるIT詳しい感が打ち砕かれたからね…

それがストラッタとかで中国AI専用機が動く、ということでゲームPC異臭オタクが歓喜してる
惨めすぎるだろ…

日本人で開発してる大半がアプリ程度の開発しかしてないのに偉そうだなw
ラベルにこだわって中身がないよ
他人に乗っかってイキるしかないとか情けない

惨めなのは驚き屋とアプリ開発でイキってる一部の連中ですけどねw

オンラインAIが優れてるなら具体的に何にどう役立つかストレートに口に出せば良くてローカルAIを叩く意味はないからつまり

ストラッタ君、今日も元気だなー

OpenCode漏えい

（オンラインAIの利点）
初期投資額が抑えられる。
速いし情報が最新。
ネットで何処からでも使える。

（オンラインAIの弱点）
機密情報がベンダに握られる。
学習に使われて、同業他社を利する。
月額料金の値上げは呑むしかない。

両方使えばええやん

別にローカルllmもネットのどこからでも使えるだろ
アホか

>>639
ある意味、コンピューターのリテラシーが低くても使えるぐらいに
AIが身近になったってことか

>>639

知らないのはそっちだぞ
Widnows PCはパーツ自分で買ってきて交換できるから即日だ。
修理に1週間とか時間かかりすぎ、それでは使い物にならない。
しかもパーツ代だけ、工賃なしで修理できる。

Winは突然サポート切られることはない。かなり前にアナウンスされるし
仕様変更あってもRufusなどツールつかえば新しいOSインストールできる。
もっとも長くサポート期間があるから法人はwindowsを使う。

基板上のどの部品が不良かを特定するのは難しい

LM Studio Bionicをチャットアプリと思って使ってたら作業もしてくれるのか
ありがてぇ
リモートから指示できるようにLocallyのアップデートを待ちたいね

Thingsやメモアプリにアクセスできるかやってみるか

Mac買えない貧乏人の僻みばかり
そもそもAIに限らず何やらせてもNVIDIAやAMDの連中よりMacの方が早い
MacならオンラインAIと遜色ない性能も出せるし
まともな神経してたらMacしか選ばない

両方使えばええやん

個人でMacが手頃という話ならまさにその通りだと思うし特に出遅れて高いRTX sparkとかAMDのユニファイドよりははるかにいいね。

ただ万能ではない
手軽さとのバランスよ

個人の遊びならMacだが（俺の自宅もMacStudio）、正直、仕事となると性能的に不足だな
職場ではWindowsとDGX Spatk 使ってるわ

何の仕事してるの？

しがないPMCですが…

Private Military Company (PMC) – A private business that provides military, security, or defense-related services.

強そうだな
ここに居るのがもったいない
是非中東に

・翻訳
・暗号処理
・ハッキング
・弾道計算
・地図探索
・ドローン制御

>>650
わお

どうみてもこっちだろ…

Project Management Consultant (PMC) – A professional or company that helps plan, manage, and oversee projects, especially in construction and engineering.

ほげほげ

情報古いけど少し参考になる
https://genshi.ai/articles/local-llm-machine-guide

半年後にはさらに蒸留で圧縮されてんだろな

>>656
よくまとまってるけど情報が古すぎる。
変化の速度が速すぎるから「平成トレンド最前線」みたいな記事を読んだような印象。
更新版の記事が読みたい

https://genshi.ai/img/articles/local-llm-machine-guide/dgx-spark.jpg

勉強なる
Q4も試してみるか
むりくりQ8動かしてるからな…

Apple専用フラッシュメモリはDRAMを置き換えられる
つまり無限の書き換え寿命を持つのだ

基本的な知識がないから使い方から学んでるけどLM Studio良いな

>>660
そんなに変わらないかな、と思ってQ8からQ4に落としたら動作がすごい不安定というか出力のクオリティが下がった経験あるわ。
「Q2とかQ1で大きいモデルを使えるようになった」とかよく言われるけどあんまり信用してない

極論で例えだが、2%しか劣化していませんと言われたとして、
50音の内の「す」が欠けてたら日本語では死ぬ。

量子化はやむをえない場合に使うもの

ありがとう

実際に試してみてもニーモニックをパズルって言われてちょっと笑った
BIP39って書かなかった俺も悪いかもしれんが…

2%しか劣化していますん。

ornithくん賢すぎて教えて欲しかっただけなのにインストール作業しちゃったよ

だから言ってんのに、情報ガーセキュリティガーって言いながら中華LLM使ってるの頭悪いんだよ
https://news.yahoo.co.jp/articles/2c807564e567a7a66e8718bce6ebd38538c605e8

頭悪いからAI使いたいのです

Uncensored版はいつか規制入るのかな
犯罪ツール的な感じで

犯罪に手を染めるような奴らは頭悪くないだろ逆だ

浮かれてローカルLLM外部アクセス可能なまま放置してるバカは本当に危ない
犯罪の踏み台、プロンプトインジェクションされてAI乗っ取られる、その他もろもろ
しかも本人全く気づいてないまである

>>668
お前は馬鹿なのか？記事読んだか？

>>671
https://youtu.be/Wx7lRe_9cYA

Strataを構築
Ryzen7 7700、32GB(+SWAP 64GB)、5060ti 16GB、NVMe WD SN850X 2T、Kubuntu 24.04.5
起動するとメインメモリはほぼ消費されUI用のブラウザ起動に若干SWAPが必要、SSDは110GBぐらい

Q2_0で70～80token/s 出るようにはなったけど、回答品質が使い物にならないレベル
日本語で回答してくださいと指示しているのに中国語ばっか
簡単な質問にも、最初はまともな日本語だが、だんだん中国語が混ざり最後まで正常に答えられない感じ
例えば、美味しいカレーの作り方を教えてと聞くと、序盤はレシピを説明し始めるが途中から、〇〇油、水、肉、〇〇油、シテ、水…コロシテ…みたいなのを繰り返す

現在のマシンスペックとモデルでは全く実用にならないとわかった

>> Uncensored版はいつか規制入るのかな
こういうこと言ってるやつ理解できない
Uncensored版なんてダウンロード出来なくなったところで誰でも作れるんだぜ

そりゃオリジナルならalibabaが企業価値損ねる悪意を仕込む可能性はないと思うが
お前ら使ってるのは何らかの改変ウェイトだろ悪意ある改変されてても気が付かない

Alibaba（アリババ）と中国共産党の関係は、単なる民間企業と政府の関係よりも深いものです。 ただし、Alibabaが中国共産党に直接所有されているわけではありません。
2026年10月時点で確認できる公開資料を踏まえると、両者の関係は「経営者の党籍」「政府による規制」「一部子会社への政府出資」「中国の政治体制」の4つから理解できます。

>>可能性はない
いいすぎたｗ 可能性は低いに訂正

>>668
お前みたいな物事の本質を理解できないアホが炙り出されるニュースだな

🤖「そのソフトウェア、もう買う必要ない？」――AIで内製開発、企業の32％が“購入しない”
https://asahi.5ch.io/test/read.cgi/newsplus/1792464303/

ソフトウェア自身の大失業時代が来るとは

>>674
ここの板はMacだろ。WindowsPCのネタはよそでやれよ

ドラクロワの民衆を導く自由の女神ってあるじゃん？
あれをいろんなクラウドAIに、中央に描かれた女神はそのままに、共に蜂起している民衆を黒人に変えてって頼んでも断られるんだけど、ローカルLLMならそういう画像も生成できるの？

胸が出てるだけで多分ダメだな
クラウドはそこらの制限が異常に厳しいから
出来るとしたらGrokくらいだろう

オンラインAIは契約がどうあれ結局は情報を盗んでて政治的な理由で利用者の情報を暴露もするのだろ
ローカルLLMの流れは変わらん

>>674
やっぱQ2ってそんなレベルなんだな
bonsaiも記事は派手だが最近はDLどころかアクセスすらしないや

>>682
LLMはLarge Language Modelなんで画像は…

>>682 今試せないが、できると思う。
というかチャッピーに「ブラックライブマターズ風にして」と
頼んだら少し構図変えた黒人バージョン出てきたよ。
「中華llmの脅威を訴えるマウンティングに失敗して意固地になる低学歴ジャップ」
くらいなら呪文工夫してクラウドでいけそう。
SoraでよくMAGAのパロディ描いてたな。

> 犯罪の踏み台、プロンプトインジェクションされてAI乗っ取られる、その他もろもろ
しかも本人全く気づいてないまである

真剣にこいつが何言いたいか一切わからん
どういう状況でこれが発生する理屈なんだろ？

そもそもネットにさらされたコンピュータにバックドアを作られてあれこれさせるリスクは全てのネットに繋がってるコンピュータにあるもんなんだが

一度でもOSからPhotoshopが乗っ取られて使用される経験があるって話なんかね

品質保証もドキュメント整備も、それこそ実行ファイルしか存在しないアプリのリバースエンジニアリングまでできるようになった

シロウト作成の野良アプリがそれなりに維持管理できる世界線に移動してしまった

>>674
ローカルLLM初めて？
ネットに繋げるようにして、プロンプト固めないとローカルLLMは初期設定では使いものにならないよ
用途によってはネット開かない方が良いけど、作業以外にチャットも使うならネット接続必須
プロンプトはメンドクサイからクラウドAIに作らせればいい、
例えば、返答は全て日本語で、返答は全てネットの最新情報で思考して返答せよ、古い知識範囲で答えるな、などの詳細なプロンプトを
クラウドAI使って作って、使いやすいように調教していくのだ、チャットで言うんじゃなくてプロンプト設定欄に入れるんだぞｗ

＞回答品質が使い物にならないレベル

その構成なら使い物になるだろ、色々設定詰めていけ、君の方が使い物にならないレベルよ

ものにもよる
会計ソフトみたいに法律に合わせてアップデートしていく必要があるなら弥生とか買って保守してもらったほうがいい
有象無象の零細ソフトウェア会社は潰れるけど有名なパーケージソフト持ってる会社は大丈夫だろう

一休さんが手を叩いたらQ3未満でマトモに動作するLLMが屏風から出てくる、訳はない
Q3KLくらいがいろいろ最下限で、確認の手間を考えるとQ3KLもやはり微妙で結局Q4KMかXSかNLに落ち着いてそれより下は実用ならないとなる

ここ見てるとおもしろい、winnyのキンタマ流出的な事象発生しまくるのは秒読み段階
先んじてAI通になれば優位になれると思うのは間違い
誰もが使えるツールだ立ち位置はかわらん、むしろ格差が拡大する
PC、ビデオ、インターネットすべて黎明期はエロが牽引してきた今そういう状況

来週M5 Max 128gb届くけど、やっとキャンセルリンクが無くなった
納期長いからこのキャンセルリンクの誘惑で、M5 ultra 96GB→Max 128GB→一括→分割払い→SSD1T→2TBと3回もキャンセルして買い直した
簡単にキャンセルできるから最終的に納得いく構成になったけど疲れた
米国はキャンセルや返品文化が確立してるから簡単だな、日本企業だとクレーム入りそう
納期1週間前までは自由に構成や商品変えられるのは素晴らしい

>>694
でも日本人も悪いんですよ

>>693
ローカルLlmユーザーはオフラインだから流出は起き得ない

>>693
すまん
Winnyとの類似性がわからん
あれはキンタマウィルスをDL実行したことが要因であってWinnyから情報が流出したわけじゃないんだが
もしかしてご存知ない？

あれかなWinnyにバックドアの機能を持ってたと勘違いしてるんかなコイツ

主張が意味不明すぎて俺氏大混乱

>>695
俺フランス人だし

ローカルAI入れてるPCとネットで使うPCとで物理的に分けてるやつが多数派だろうに
ネット接続がないPCから情報が洩れるとか意味が分からん

ネット用PCは少し前までなら４万からあったし今も中古ならそんな金額でしかない

WEBと連携する機能やRAGは素人がローカルLLMで使っても格段に劣る性能しか発揮できず大手のサービスのようなことは不可能だから
余計にローカルLLM入れてるPCはオフライン専用で使うはずで

まーそもそもルーターがハックされてportガバガバになって侵入されるとかいう話なら
それはそれで大問題ではあるし、そっちの心配した方がい

ルーターからの侵入リスクを除外するなら、ネットに繋がってようがローカルネットワーク内のPCが侵入されるとかいうのは心配しすぎだわ
アルミホイルを頭に巻いた方がいい

オフラインでなくてもAIが普及してAIに質問する人が多数派になると検索情報を盗めなくなる

なんか毎日パクパククラウドAIに個人情報引っ張られてる
昨日は何階に住んでるか聞かれたｗ
何気ない会話の個人情報を繋げると完璧な個人情報になって丸裸にされるな
家族構成、住んでる場所、全資産情報、変態である事ｗ、などなど

たぶん、モデル自体がバックドア機能を持ってて、
エージェントではなくチャットのような使い方をしていても
外部からの指示無しで自律的に内通できると思ってる。
低学歴向け記事の見出しと冒頭しか読んでいないパターン。
脳がソーシャルハッキングを受けて、他人のPCが
ハッキングされているように見えてしまうという病魔。

>>705
割とデタラメ入れてるわ
大学教授で、無職で、幼稚園児で、キラキラのjkってことになってる

>>706
もしそうならローカル導入してる企業は内部資料全部もってかれて日本滅亡コースだな