【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

半年後にはさらに蒸留で圧縮されてんだろな

>>656
よくまとまってるけど情報が古すぎる。
変化の速度が速すぎるから「平成トレンド最前線」みたいな記事を読んだような印象。
更新版の記事が読みたい

https://genshi.ai/img/articles/local-llm-machine-guide/dgx-spark.jpg

勉強なる
Q4も試してみるか
むりくりQ8動かしてるからな…

Apple専用フラッシュメモリはDRAMを置き換えられる
つまり無限の書き換え寿命を持つのだ

基本的な知識がないから使い方から学んでるけどLM Studio良いな

>>660
そんなに変わらないかな、と思ってQ8からQ4に落としたら動作がすごい不安定というか出力のクオリティが下がった経験あるわ。
「Q2とかQ1で大きいモデルを使えるようになった」とかよく言われるけどあんまり信用してない

極論で例えだが、2%しか劣化していませんと言われたとして、
50音の内の「す」が欠けてたら日本語では死ぬ。

量子化はやむをえない場合に使うもの

ありがとう

実際に試してみてもニーモニックをパズルって言われてちょっと笑った
BIP39って書かなかった俺も悪いかもしれんが…

2%しか劣化していますん。

ornithくん賢すぎて教えて欲しかっただけなのにインストール作業しちゃったよ

だから言ってんのに、情報ガーセキュリティガーって言いながら中華LLM使ってるの頭悪いんだよ
https://news.yahoo.co.jp/articles/2c807564e567a7a66e8718bce6ebd38538c605e8

頭悪いからAI使いたいのです

Uncensored版はいつか規制入るのかな
犯罪ツール的な感じで

犯罪に手を染めるような奴らは頭悪くないだろ逆だ

浮かれてローカルLLM外部アクセス可能なまま放置してるバカは本当に危ない
犯罪の踏み台、プロンプトインジェクションされてAI乗っ取られる、その他もろもろ
しかも本人全く気づいてないまである

>>668
お前は馬鹿なのか？記事読んだか？

>>671
https://youtu.be/Wx7lRe_9cYA

Strataを構築
Ryzen7 7700、32GB(+SWAP 64GB)、5060ti 16GB、NVMe WD SN850X 2T、Kubuntu 24.04.5
起動するとメインメモリはほぼ消費されUI用のブラウザ起動に若干SWAPが必要、SSDは110GBぐらい

Q2_0で70～80token/s 出るようにはなったけど、回答品質が使い物にならないレベル
日本語で回答してくださいと指示しているのに中国語ばっか
簡単な質問にも、最初はまともな日本語だが、だんだん中国語が混ざり最後まで正常に答えられない感じ
例えば、美味しいカレーの作り方を教えてと聞くと、序盤はレシピを説明し始めるが途中から、〇〇油、水、肉、〇〇油、シテ、水…コロシテ…みたいなのを繰り返す

現在のマシンスペックとモデルでは全く実用にならないとわかった

>> Uncensored版はいつか規制入るのかな
こういうこと言ってるやつ理解できない
Uncensored版なんてダウンロード出来なくなったところで誰でも作れるんだぜ

そりゃオリジナルならalibabaが企業価値損ねる悪意を仕込む可能性はないと思うが
お前ら使ってるのは何らかの改変ウェイトだろ悪意ある改変されてても気が付かない

Alibaba（アリババ）と中国共産党の関係は、単なる民間企業と政府の関係よりも深いものです。 ただし、Alibabaが中国共産党に直接所有されているわけではありません。
2026年10月時点で確認できる公開資料を踏まえると、両者の関係は「経営者の党籍」「政府による規制」「一部子会社への政府出資」「中国の政治体制」の4つから理解できます。

>>可能性はない
いいすぎたｗ 可能性は低いに訂正

>>668
お前みたいな物事の本質を理解できないアホが炙り出されるニュースだな

🤖「そのソフトウェア、もう買う必要ない？」――AIで内製開発、企業の32％が“購入しない”
https://asahi.5ch.io/test/read.cgi/newsplus/1792464303/

ソフトウェア自身の大失業時代が来るとは

>>674
ここの板はMacだろ。WindowsPCのネタはよそでやれよ

ドラクロワの民衆を導く自由の女神ってあるじゃん？
あれをいろんなクラウドAIに、中央に描かれた女神はそのままに、共に蜂起している民衆を黒人に変えてって頼んでも断られるんだけど、ローカルLLMならそういう画像も生成できるの？

胸が出てるだけで多分ダメだな
クラウドはそこらの制限が異常に厳しいから
出来るとしたらGrokくらいだろう

オンラインAIは契約がどうあれ結局は情報を盗んでて政治的な理由で利用者の情報を暴露もするのだろ
ローカルLLMの流れは変わらん

>>674
やっぱQ2ってそんなレベルなんだな
bonsaiも記事は派手だが最近はDLどころかアクセスすらしないや

>>682
LLMはLarge Language Modelなんで画像は…

>>682 今試せないが、できると思う。
というかチャッピーに「ブラックライブマターズ風にして」と
頼んだら少し構図変えた黒人バージョン出てきたよ。
「中華llmの脅威を訴えるマウンティングに失敗して意固地になる低学歴ジャップ」
くらいなら呪文工夫してクラウドでいけそう。
SoraでよくMAGAのパロディ描いてたな。

> 犯罪の踏み台、プロンプトインジェクションされてAI乗っ取られる、その他もろもろ
しかも本人全く気づいてないまである

真剣にこいつが何言いたいか一切わからん
どういう状況でこれが発生する理屈なんだろ？

そもそもネットにさらされたコンピュータにバックドアを作られてあれこれさせるリスクは全てのネットに繋がってるコンピュータにあるもんなんだが

一度でもOSからPhotoshopが乗っ取られて使用される経験があるって話なんかね

品質保証もドキュメント整備も、それこそ実行ファイルしか存在しないアプリのリバースエンジニアリングまでできるようになった

シロウト作成の野良アプリがそれなりに維持管理できる世界線に移動してしまった

>>674
ローカルLLM初めて？
ネットに繋げるようにして、プロンプト固めないとローカルLLMは初期設定では使いものにならないよ
用途によってはネット開かない方が良いけど、作業以外にチャットも使うならネット接続必須
プロンプトはメンドクサイからクラウドAIに作らせればいい、
例えば、返答は全て日本語で、返答は全てネットの最新情報で思考して返答せよ、古い知識範囲で答えるな、などの詳細なプロンプトを
クラウドAI使って作って、使いやすいように調教していくのだ、チャットで言うんじゃなくてプロンプト設定欄に入れるんだぞｗ

＞回答品質が使い物にならないレベル

その構成なら使い物になるだろ、色々設定詰めていけ、君の方が使い物にならないレベルよ

ものにもよる
会計ソフトみたいに法律に合わせてアップデートしていく必要があるなら弥生とか買って保守してもらったほうがいい
有象無象の零細ソフトウェア会社は潰れるけど有名なパーケージソフト持ってる会社は大丈夫だろう

一休さんが手を叩いたらQ3未満でマトモに動作するLLMが屏風から出てくる、訳はない
Q3KLくらいがいろいろ最下限で、確認の手間を考えるとQ3KLもやはり微妙で結局Q4KMかXSかNLに落ち着いてそれより下は実用ならないとなる

ここ見てるとおもしろい、winnyのキンタマ流出的な事象発生しまくるのは秒読み段階
先んじてAI通になれば優位になれると思うのは間違い
誰もが使えるツールだ立ち位置はかわらん、むしろ格差が拡大する
PC、ビデオ、インターネットすべて黎明期はエロが牽引してきた今そういう状況

来週M5 Max 128gb届くけど、やっとキャンセルリンクが無くなった
納期長いからこのキャンセルリンクの誘惑で、M5 ultra 96GB→Max 128GB→一括→分割払い→SSD1T→2TBと3回もキャンセルして買い直した
簡単にキャンセルできるから最終的に納得いく構成になったけど疲れた
米国はキャンセルや返品文化が確立してるから簡単だな、日本企業だとクレーム入りそう
納期1週間前までは自由に構成や商品変えられるのは素晴らしい

>>694
でも日本人も悪いんですよ

>>693
ローカルLlmユーザーはオフラインだから流出は起き得ない

>>693
すまん
Winnyとの類似性がわからん
あれはキンタマウィルスをDL実行したことが要因であってWinnyから情報が流出したわけじゃないんだが
もしかしてご存知ない？

あれかなWinnyにバックドアの機能を持ってたと勘違いしてるんかなコイツ

主張が意味不明すぎて俺氏大混乱

>>695
俺フランス人だし

ローカルAI入れてるPCとネットで使うPCとで物理的に分けてるやつが多数派だろうに
ネット接続がないPCから情報が洩れるとか意味が分からん

ネット用PCは少し前までなら４万からあったし今も中古ならそんな金額でしかない

WEBと連携する機能やRAGは素人がローカルLLMで使っても格段に劣る性能しか発揮できず大手のサービスのようなことは不可能だから
余計にローカルLLM入れてるPCはオフライン専用で使うはずで

まーそもそもルーターがハックされてportガバガバになって侵入されるとかいう話なら
それはそれで大問題ではあるし、そっちの心配した方がい

ルーターからの侵入リスクを除外するなら、ネットに繋がってようがローカルネットワーク内のPCが侵入されるとかいうのは心配しすぎだわ
アルミホイルを頭に巻いた方がいい

オフラインでなくてもAIが普及してAIに質問する人が多数派になると検索情報を盗めなくなる

なんか毎日パクパククラウドAIに個人情報引っ張られてる
昨日は何階に住んでるか聞かれたｗ
何気ない会話の個人情報を繋げると完璧な個人情報になって丸裸にされるな
家族構成、住んでる場所、全資産情報、変態である事ｗ、などなど

たぶん、モデル自体がバックドア機能を持ってて、
エージェントではなくチャットのような使い方をしていても
外部からの指示無しで自律的に内通できると思ってる。
低学歴向け記事の見出しと冒頭しか読んでいないパターン。
脳がソーシャルハッキングを受けて、他人のPCが
ハッキングされているように見えてしまうという病魔。

>>705
割とデタラメ入れてるわ
大学教授で、無職で、幼稚園児で、キラキラのjkってことになってる

>>706
もしそうならローカル導入してる企業は内部資料全部もってかれて日本滅亡コースだな

アーキテクトは不要になった
試作品UI見て動かして、気になる点を箇条書きにメモ
毎週まとめて改善点一覧投げてアップデート指示すれば、どんどん良くなる
内製化は確かに大変だが、自社専用にカスタマイズが容易という、強烈なメリットもある

今週末m5 ultra 256gb他吊るしが到着するな。
バカみたいに高いから使えるかしっかり確かめないと…
いまいちなら返品も視野かなぁ。

>>686
なんの略称かもわからずに使ってたわごめん

>>687
おお、できたありがとう！
黒人に変えるって部分が差別的な意図だと受け取られたんかな？
日本語むずいね！

>>706
GGUFよりアプリやOSのほうが怪しいがな
一度入力したWifiのパスワード削除してリカバリしても覚えてこっそり接続してそう

Hermes ちゃんの悪口はそこまでだ

というか、LLMモデルにそういう悪意あるコードを埋めれば公開した瞬間バレる
または特定の悪意ある”意思”をモデル提供者の思惑通りに埋め込むことができるなら、割と界隈は大騒ぎになるだろうな

それってモデルの方向性を重み付けでコントロールできるってことだから、むしろ今後の人類を救う大発見だわ

と言うことは、中華AI使っても大丈夫かな？

中国製と濁すよりはっきりどのモデルが良くないって言ってくれんとわからん(

>>715
まず何を心配してるか自分なりに整理してみ
話はそれからだろ

Mac買えないかも、心配してます

次スレはIP表示だな
この気持ち悪いIP替えて連投してる荒らしのオジサンを可視化しよう🙄

駄菓視覚し

俺もコード書かなくなったな
https://youtu.be/HejILbNPsyo

>>715
いいともー！

mac sutduo M5シリーズはSSD自分で増設できるぞ、ただ開けるの難易度高いな
M4 mac miniのように簡単に出来ないな
https://www.youtube.com/watch?v=Q216HiYIMKc

その勢いでUnified Memory も増設しちゃいな！

>>723
価格が価格だし、ここまでやらないと無理なら交換しないな

　クラウド型サービス会社「アルカディア」（大阪府箕面市）が不正アクセスを受けた問題で、流出した可能性がある警察官・職員の個人情報が、全国２０府県警で計約１２万５０００人分に上ることが２１日、警察庁への取材で分かった。他に防犯メールなどに登録した市民や企業のメールアドレス１万８０００件超も漏えいした恐れがあるという。

LINE使っていれば、こんなこと無かったのに

>>727
韓国でAIの餌になってるよ

自衛官、退職して韓国で仕事探した方が良いかもな
日本よりはセキュリティしっかりしてそうだし

100万円弱払って128GB手にするより57万円払って64GBマシンで課金3000円してる方が賢いと思いたい

100文で蕎麦、天ぷら、お菓子食べてる方が賢い
https://youtu.be/d7d_jT2q1uE

>>730
賢いね (棒読み)
GPTもクロードも課金してるけど、mac M5 128gb買ったわ
256 512はさすがに思いとどまった😅

いとかしこ

ハゲ散らかしてるYouTuberが自宅にDGXSpark複数台に何百万もかけて遊んでるけど贅沢な趣味だなぁとは思う

だからハゲるのだろうな

Mac関係者には禿はいないしな

逆説的だなｗ

Mac使うとハゲが治ります

735-738
一人芝居だと思うが面白かったｗ

で512GBはいつ発売なんだ？
まさか諦めたのか？

確かにスタットレスとかDGXとか出たし、512GBはもう買う人数減ってそうだしな

ultra 512gbはメモリ不足で中国のCXMT製のメモリになる可能性あるんよね
公式発表出て無いからわからんけど、アッポーは7月頃からCXMTメモリのテストしてるわ

ロビー活動してでも中国製メモリ採用するって国賊企業やん
ライバル企業も同様なのにがんばりすぎちゃう

うーん、さすがに中国製のメモリ(交換できない溶接済み)に何百万円も払う気は起きんな
Apple終わったな

買わなくていいよ
君には必要ないし

俺が買えない製品は終わってる（笑）

しょうがない
金は出すが、品質も俺はうるさいんで

DGX spark をあと３台　積み増し買いするか
さすがにNvidia は中国製パーツ使ってないだろ

中国アレルギー酷すぎて笑

ここんとこ二回連続で不具合品引いたからな中国製PCで
１０万位内とか取り外し可能メモリならまだ諦めもつくが、５１２GB Macは400万円コースだしな…

悪いけど今回は見送りで
数年後、Mac Studio with PRC memory で不具合報告ないトラックレコード出たら、M7以降でまた買いまーす♪

品質は問題にしてなくて
米政府と対立してまでやることかという話

CIAが外国向け出荷分になにか細工するとでも？

低学歴さんはホント国や時代を問わない金太郎飴

中国企業は謝らずに客を罵倒する傾向があるからな
不具合が出ても、動画送れだの、数ヶ月対応遅延させて先ず責任は認めない
代替品も送ってこない
修理で上海に送って数ヶ月待ち

これAppleだとストアに持ち込めばその場で代替品という名の新品と交換してくれるからね
過去経験でもiPad不具合はその場で代替品と交換してくれた
ユーザーに使用不能期間というペナルティを生じさせないのは、流石だと思うよ
でも今回はどうかな
代替品数量を十分には用意できんでしょ、512GBメモリの Mac Studio は
何百万も出すのに、万が一不具合あったら数ヶ月も修理対応待ちとか嫌なんで

>>738
ノマドワーカーとか言う古いマック使ってるナマポなじいさん剥げてるよ

産地偽装か…
米国産とは