【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

驚き屋の次は嘆き屋とか危ないぞ屋の出現な訳だな
共通してるのは無知層へのアプローチ
または本人が無知

もう自称専門家の専門知なんて、AI時代には権威ないからな…

大雑把に言えばLLMのモデル自体は何らかの入力に対して出力する、言葉の計算機本体のようなもの

じゃ、どうやって入出力するかと言ったら例えばLMStudioみたいなのでプロンプトで言葉を入れたら
LMStudioに設定してあるLLMのモデルで処理して出力が見れる

それだけだとチャットぐらいしかできないんで、不明な点は直接ネットで検索できるようにとネットへのアクセス権を付与して
システムのチェックしたいから全ディスクへのアクセス権とかチェック用に出力されたコマンドの実行権も付与してとかやってたら
「不審なスクリプトをチェックして」というプロンプトに対して
使えるものは何でも使うLLMがシステム情報を集めて、元々OSに入ってるコマンド使ってAlibaba Cloudにテスト用の文字列を送ろうとしたってのが>>911

だから余計なアクセス権(スキル)を使わせなければ問題ない

まあ、今回のはアリババがQwenを調整する際に使ったテスト用のコマンドがそのまま学習されてただけっぽいと思うけど

結局、犯人は誰なんだよ

遊ぼうっていうと遊ぼうっていう
こだまでしょうか、いいえ、LLMです

（AI回答)
この後の展開についてですね？
はい、ネット掲示板での必死な用語投稿が増えます。
そして、数日後、中国の報道官が眉間に皺寄せて片手を斜め上に「これは中国を陥れる悪意のデマだ！」と絶叫してるところまでが様式美です。
**中国共産党宣伝部の工作マニュアル

必要であれば、過去の中国報道官の抗議会見の様子を横一列に写真で並べることもできます。

中国報道官「犯人は…ヤス！」

あのオエネエサンか

そもそもオンライン接続できるなら125Bだろうがクラウド型に劣っててネット常時接続状態でローカルAIする意味ない
アプリとかの挙動も全面的に信じてなくて物理的にオフライン化してる人がローカルゆーざーの99割ではないのか

>>960
https://www.nikkansports.com/general/nikkan/news/img/202511190001347-w1300_1.jpg

>>960
してないが？
チャット相手じゃないし

オンラインから得たリソースを文字列として与えて分析と整理はやらせてるけど

利用をやめたと 申告する 人は増えるのかもしれんが実際は減らない気がする

一部アプリやメディアはやたらオンライン機能をローカルLLMユーザーに利用させたいように見えるが
警戒して触らない人が多いものだと思ってた

オープンウェイトを信頼できないならクローズドのアプリやOSなどもっと信頼できないしいつの間にか規制アップデートがDLされて一斉更新のタイミングを待っていそう
2重3重いろんな意味でオフラインの重要性が

ここみてると何が危ないかわからないやつが
Qwenが危険だとそこだけ避けて他のモデルにでかい権限渡していつか事故りそうな気はする

なんでもそれなりには理解しろという話なのに

まあ富裕層は、ストラッタとかいう貧者向け中国AI専用ツール使う必然性はないからな
欧米製AIを、Mac Studio や DGXSpark とかのマシンパワーでぶん回せば済む話
まあ金ならあるし

ストラッタで中共に情報渡してAI使わせてもらってる層は、「ローカルよりクラウドAIの方がコスパいい。コスパ〜」とか言ってる中間層と本質的には似たり寄ったり
個人情報や社内機密情報をクラウドAIに貢ぐ見返りにAI使わせてもらってるだけの貧者に変わりはない

ユーザは大きく３つに分かれつつある

欧米の AI って半分のサイズの中国 AI に 性能で劣るのでは
クラウドじゃなかったら 出番ないです

原神と同じで誤解では

元記事とは関係なく、”敵国政府”の意向を受けてトロイの木馬が
モデルに組み込まれているように読んでしまったんでしょ。
謎技術でエンジンをも操作し始めるモデルの与太話が、
ファクトの縛りを超えてバイアスを撒き散らす自己言及になっていて面白い。
でも理解度でいうとこれでもマシな方だと思うよ。

>>962
それ、オフラインでやる意味あるの？

>>971
オフラインでもオンラインでも結果に違いはないぞ
オンラインからリソースを得た手段と
リソースをLLMに渡す手段とは切り離されてる仕組みだから

そもそも論で言えば ユーザーが認識や把握していない通信を怪しいとか言い始めたらWindowsやMac自体が使えない
アプリも初回起動時に何か追加でダウンロードしないと実質的に機能しないようなのはFOSSだろうが疑わしい
何も追加しなくても動く状態にできるはずだろう
それらは問題視しない時点で公平性にかける

つーか殆どの人プラバシーがぁーでローカルLLMなんでしょ
エージェントまでいかないけどプロンプトをネット投られるのは許容するの？
具体的にどういうアプリでチャットしてるの？

>>944
こういう検証まであるのが世界中で使われてることを逆に証明してる
欧米製のローカルAIは発行元が安全だと連呼するばかりで、実ユーザー数は少ないのか実験的な記事がない

strata でflash next使うやつ増えたのにね

俺は士師業だが、機密保持の関係からローカルLLMじゃないとマズいんだよな。
AI業者とDPA結んでてもクライアントが嫌がる。
本当はクラウドLLMをぶん回したいんだがな。

まあ普通に米国で弁護士が漏洩やらかして資格剥奪されてるからな…

まさか俺が頼んでる税理士さん、　俺の領収書の束をクラウドAIに投げ込んだりしてないよな…
明日きいてみよ

【ローカルAI】MacでローカルLLM Part2
https://egg.5ch.io/test/read.cgi/mac/1793097164/l50

次スレですよ😊

512GB400万（卒倒）

そろそろメモリーはテラバイト単位に

真面目に買えませんし買いません>>400万

自分みたいにネットが遮断されたときの頼れる知識網として
512GBを買った人いる？

例えばネットが繋がらなくなった世界で
薬の効能や服用方法、応急処置とかをローカルLLMに教えて欲しい

どんなモデルが最適かな？

米国はインフレが激しくて新卒の給料1400万円らしい
日本の5倍くらいなのて400/5=80万くらいが向こうの感覚やろな

自分みたいに異世界転生されたときの頼れる知識網として512GBを買った人いる？
例えばネットが繋がらなくなった中世ヨーロッパで
薬の効能や服用方法、応急処置とかをローカルLLMに教えて欲しい
どんなモデルが最適かな？

異世界転生はMac持ち込めないだろ

異世界転移にしときなさい

女神「特典として、電源コンセントもつけておきましょう。」

背の高い美男に生まれ変わりたい

そこは男ばかりの世界
アッー

>>989
呼んだ ?

>>986
ネット使えなきゃ意味なくね？
モデルに記録されてるデータって古いよ

今より文明が劣った異世界なら、モデル古くてもいいのでは？

中世で有用な未来知識なら数年くらい誤差かなと思うけど
不確実性のない静的な百科事典がほしいところ
強いLLM単体よりそこそこのLLM(RAG)+百科事典
消費電力も少なくてすむ

女神「えーい、特典として、ネット接続もつけておきましょう。」

最後は紙だよ紙。
水と火には弱いけどな。
電力いらねえし。

ははーん　さては雷属性　苦手な人？

日本人ならハンコと印鑑

うへへ M5 128Gb届いたぜ

最初にllmなに入れよう・・・

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 42日 23時間 41分 51秒

5ちゃんねるの運営はUPLIFT会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《UPLIFT会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
4 USD/mon. から匿名でご購入いただけます。

▼ UPLIFT会員登録はこちら ▼
https://uplift.5ch.io/

▼ UPLIFTログインはこちら ▼
https://uplift.5ch.io/login