Apple siliconの性能がいいのは、CPUやらGPUやらみんな直近で結合させて、データのやり取りを高速化させたからでしょ。
ちょっとでも離すと性能落ちるのは目に見えてる。