【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

あと2年はメモリ高騰確実だから今買うのが正解か

>>95
ゲーミングPCなら5年前の3060-12すら9Bは50tok/sで動くし、4Bあたりは90tok/s、35Bもオフロードで23は出るが
>>92
OSをLinuxに入れ替えてWindowsで使ってないからだろう

M4Proで36-48メモリ程度あればゲーミングPCだと3-4tok/sしか出ない27Bが動作するから明白にコスパ優位

>>114
LM StudioならBrius Web Searchとか
Openwebuiなら内蔵されてる
https://lmstudio.ai/brius/web-search

Macで中国AIって何時までサポートされるのだろう
アメリカ側から見て中国はライバルだよな

今日のOpus5.5とGPT-6-SolでもコスパすげえのにローカルLLMとか、秘密情報扱う公務員、医者、弁護士、銀行、一流企業以外需要ないだろ
チャイナモデルがClaudeの蒸留でしかなかったこともバレたし、API接続でも学習させない筈の情報が蓄積されてることばれたし
もはやローカルLLMに投資しても中小企業や個人零細には元が取れない

>>124
まずClaudeを使いこなして「アプリのチャットから指示する」のではなく「勝手にClaudeが日々自動処理する」方法をやってみよう
なんでもいいが、毎日やってる君のコンテンツ消費以外の作業を全部自動化しようと試みるとする

そうすればClaudeでは足りないものが見えてくる

落とし穴を作ってみよー
https://youtu.be/SXGuJolSK84

野良モデルを無防備に使ってるやつらが
クラウドはセキュリティ云々てｗｗｗｗｗ

しかもエージェントてｗｗｗシェルまでつかまれてる
AI大先生のセキュリティ意識はすごいですね

macOS 27のターミナルのfmでApple純正LLM触ったら、こういうので良いんだよって気分がしました。

>>129
まだOS27にしてないからオレもこれ気になる
どこまで出来るのか

https://qiita.com/chibicco/items/ef1a9e40c4cdf15d8e21

これか
使ってるマシンのスペックによるけどこの記事のマシンだと8192トークン

Sequoia以降のApple Intelligenceってオンデバイス（ローカルLLM）の3Bのモデルが動いてたんだけどな
macOS 27 Golden Gateで20Bのモデルも採用された
以前はコマンドラインから呼び出す機能とかなかったけど他のアプリから使うことは出来たのかな？