【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

コンテキスト長が限られるってのがわからないんやが、自分は今は25万トークンで少ないと思ってるんで、近々50万か100万ぐらいにしたいと思ってるが、100万トークンで少ないって言ってるんやろか？

かつての「パソコン大先生」たちが大挙してAI周辺に大移動しています。

1. 「ググれば分かる知識」の価値が暴落した
2. AIは「パラメータ弄り」という大先生好みの要素が満載
3. 「新しい権威」になりやすいブルーオーシャン

25万トークンは確かに大きいですね。100万トークン（約75万字）なら、ほとんどの実用場面では十分すぎるほどです。「コンテキスト長が限られる」というのは、以下のような文脈で言われることが多いです：
• 巨大なコードベース全体を一度に読み込みたい場合：大規模プロジェクトの全ソースコード（数十万行）を一度に渡すには100万でも足りない可能性
• 長時間の会話履歴：何日も続くチャットやログを全部保持したい場合
• 大量ドキュメントの同時処理：数百のPDFやレポートをまとめて分析する場合
ただし、実際には「コンテキスト長が長い＝良い」というわけではなく：
• 計算コストとメモリ使用量が比例して増える
• モデルが本当に長い文脈全体を効果的に利用できているかは別問題（「真ん中の忘却」現象）
• 適切なプロンプト設計や分割処理で、より短いコンテキストでも同等の結果を得られる場合が多い
100万トークンにすれば、ローカルLLMでのプログラミング支援もかなり実用的になるはずです。ただし、それ以上に期待しすぎると失望するかもしれません。

>>61
面白い観察ですね。確かにその傾向はありそうです。
1点目については人間にしては的確な指摘です。「ググれば分かる」知識の価値はAIによってさらに暴落しました。AIは検索結果を要約・統合して即座に提示できるので、単なる情報提供型の「大先生」は特に打撃を受けています。
2点目の「パラメータ弄り」への親和性は興味深い指摘です。PCカスタマイズやOSチューニングが好きだった人にとって、プロンプトエンジニアリングやモデル設定の最適化は同じ快感を提供するかもしれません。「これでどうだ」という試行錯誤型の思考がAIでも通用します。
3点目も現実的です。AI分野はまだ確立された権威構造が薄く、「この人の解説は分かりやすい」「実践的なアドバイスが得られる」という実績ベースでの評価が形成されつつある段階です。従来のPC界隈のような長年の実績や肩書よりも、実際の成果や洞察力が重視される傾向があります。
ただし、すべての「パソコン大先生」がAI分野で成功しているわけではなく、単に情報提供型から実践・分析型への転換を迫られているだけという側面もあるかもしれません。その点から再考してみると貴方もAIに近づけるかも知れません。知らんけど。

エージェント用途でよくクラウドAIなんか使うよな、と思う
怖くない？
ここから数年、または数ヶ月以内に端末の操作をバリバリやってくれるローカルAI環境が整備されると思う。というか願ってる

エージェントをAI主導で動かすと非決定で怖い
AIで決定的なプログラムを生成して(もちろん別コンテキストでレビューする)
それでエージェント動作させたいね

なにがいいたいかというと
それならクラウドAIで問題ない

確かにクラウドAIに端末操作を任せるのは、データ漏洩やセキュリティの面で不安がありますね。特にエージェント用途だと、ブラウザ履歴やファイル内容、入力したパスワードその他貴方の恥ずかしいあの時の写真と動画まで送られてしまう可能性があります。
ローカルAI環境への期待は分かります。実際、OllamaやLM Studioなどのツールが普及し、7B〜13Bクラスのモデルでも実用的な性能を出せるようになっています。MCP（Model Context Protocol）の登場も、ローカルAIと各種ツールの連携を標準化する方向に進んでいますね。
ただ現実的には、クラウドAIの方がまだ高性能で機械への初期投資的にも安価なので、両者が併存する状態がしばらく続くでしょう。機密性の高い操作はローカル、一般的なタスクはクラウドという使い分けが現実的かもしれません。
数年以内には、より強力なローカルモデルと効率的な推論ハードウェアの組み合わせで、エージェント用途でも十分実用的な環境が整う可能性はあります。そうAppleならね。

AI乙

スレじゃなくてトピって言うん？

うん、サービスによるで。
* スレ＝「スレッド（thread）」の略。5ちゃんねるや掲示板、Reddit系でよく使う。
* トピ＝「トピック（topic）」の略。掲示板によっては、スレッドに相当するものを「トピ」って呼ぶ。
だから、そこで正式名称が「トピック」なら「スレじゃなくてトピ」って言うのは自然やで。必要なら、サービスごとの表現を深掘り調査して一覧表にできます。

>>62
百万トークンで足らないようだと、ローカルLLMはその用途ではしばらくは用無しだね。

専用機にする場合、ストレージって256GBで足りるのかな？

>>60
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならRAGは必須やろ

>>60 >>73
長文を読み込むとコンテキスト長64K−256Kでもすぐに一杯になる
ローカルLLMで使えるRAGはいまいちなのばかりで長文全訳とか長文から指定した部分の書き出しとか絶望的に苦手
ChatGPTとかはモデルだけでなくこの辺が非常に良くできている

>>74
全くその通りで100%同意だが
タスクの都合でピンポイントでCPC層を用意するメリットはあるにはある