探検

【ローカルAI】MacでローカルLLM

6名称未設定
垢版 |
2026/09/16(水) 19:04:59.21ID:wMXRKQ9S0
exoクラスタ組んでもMLXしか対応してないからHuggingFaceのモデルを入れる時点で限られる
2026/09/16(水) 19:36:21.24ID:HTSsg1WE0
会社で使ってるchatbotがクソなんでローカルAIをローカルサーバーに入れて、社内のナレッジ共有に利用とか出来たら嬉しい
chatbot入れた担当は首にしろ
8名称未設定
垢版 |
2026/09/16(水) 20:10:20.47ID:xCOQwXYd0
なんでLLM限定？
9名称未設定
垢版 |
2026/09/16(水) 20:51:59.62ID:Ly4/tnO50
スレ立てた奴がアホでAIの事何もしらんから
クソスレなんてこのまま放置でOK
10名称未設定
垢版 |
2026/09/16(水) 21:07:49.23ID:MLmGAtDI0
スレタイに、mini studioを入れないあたり
隔離スレと見せかけて過疎スレを作って、本スレでLLMの話題を封じるアリバイ作りですか
2026/09/16(水) 23:18:28.70ID:4IR+LJsk0
>>7はコンプラ違反で告発されればいいと思うよ。
12名称未設定
垢版 |
2026/09/17(木) 08:47:34.48ID:a7UFs43h0
64GB Mac mini M4 ProでローカルAI使ってる、その印象

キャパのギリギリを狙って​Llama3.3 70B Q4試してみたけど、思考の深さはさすがの70Bながら4bitまで蒸留したのがかなり悪い方向に効いていて「思考力は高いけど知識の少ない人」みたいな感じになってる

逆にメモリ的にかなり余裕のあるGemma4 32B Q8の方が賢い感じがする
蒸留で消えてしまった知識が案外大事だったんだなと気付いた

この辺り、実際に使ってみないと分からんよね
こういう情報交換できるといいなと思ってます
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況