【ローカルAI】MacでローカルLLM

64GB Mac mini M4 ProでローカルAI使ってる、その印象

キャパのギリギリを狙って​Llama3.3 70B Q4試してみたけど、思考の深さはさすがの70Bながら4bitまで蒸留したのがかなり悪い方向に効いていて「思考力は高いけど知識の少ない人」みたいな感じになってる

逆にメモリ的にかなり余裕のあるGemma4 32B Q8の方が賢い感じがする
蒸留で消えてしまった知識が案外大事だったんだなと気付いた

この辺り、実際に使ってみないと分からんよね
こういう情報交換できるといいなと思ってます

個人用途ならSearXNG MCPは導入したいところ