そもそもプライバシーに配慮してローカルでできるだけ動かそうというのが足かせだからね。
LLMを色々試すとまっとうな対応は70Bくらいからだけど学習データサイズが40GBだからね。
MSが8GBでそこそこのLLMだしたけどね。Copilot+PCは16GBメモリが最低ラインだからかね。
M4MAX128GBだと96GBくらいまで動かせるけど、メモリサイズで差をつける事はしてないぽいね