ローカルLLMが主目的で、M5 Max 128GB と M5 Ultra 96GB の価格差がほぼないなら、私は用途を「速度優先」か「載せられるモデルサイズ優先」かで分けます。70B級までを高速に回すことが中心なら M5 Ultra 96GB、100B級以上や長いコンテキストまで試したいなら M5 Max 128GBという選び方が合理的です。
特に重要なのがメモリ帯域です。Apple公式仕様では、上位M5 Max（40 GPUコア）は 614GB/s、M5 Ultraは 1.2TB/s。約2倍あります。LLMのトークン生成はメモリ帯域の影響が非常に大きいため、同じモデルが両方のメモリに収まる場合、Ultraの優位性はかなり大きいです。
ただし128GBには別の強みがありますLLMでは「速いか」以前に、モデル＋KV cacheがメモリに収まるかが非常に重要です。ので、96GBで収まるモデルを使う限りUltraの方がローカルLLMマシンとして魅力的です。たとえば普段使いが Qwen系 / Llama系 / DeepSeek系などの 30B〜70Bクラスの4〜6bit量子化モデルなら、私は M5 Ultra 96GBを選びます。1.2TB/sという帯域はLLM推論用途では非常に大きなメリットです。
逆に、「多少遅くてもいいから、とにかく大きなモデルを1台でロードしたい。そうAppleならね」という使い方なら M5 Max 128GBです。32GBの差はLLMではかなり大きく、Ultra 96GBでロードできないモデルがMax 128GBならロードできる、という境界が出てきます。
もしよければ（よろしくなくても同じですが）次に、M5 Max 128GB vs M5 Ultra 96GBで、Qwen3 / Qwen3-Coder / DeepSeek / GPT-OSSなどを実際に何bitまで載せられて、何tok/sくらい期待できるかをモデル別に表にして比較できます。ここまでやると、どちらを買うべきかかなり明確になります。知らんけど。