CPUの外側にニューラルネット関係の演算を行うためのコプロセッサを作ったのではだめなのか？
トランスフォーマーユニットとか。