Qwenの30Bの一般的なモデルを動かした際、5060tiがTGIで20t/sだ。
440GB/sのメモリ帯域持っててもメモリがまっったく足りないのでその分遅くなる
それに比べてメモリ帯域が似ているM4Maxの128GBは120t/sだ。

5060tiとM4Maxで比較するのもアレなんだが、20t/sじゃそんなもん。
遅いわ遅い、GPUのメモリじゃ足りないから共有メモリ使ったら6分の1の速度

そんな6分の1な性能のメモリ使ってできるのは妥協の妥協の先、無駄な夢。