>>183
Tensorコアってイマイチパッとしない印象なんだけど、どうなんだろうね。
RTX4090の1321TOPSはTensorコア利用時の数字だけど、今ってまだTensorコアを使って推論するユースケースはあんまりないよね?(コンシューマーの話)
CUDAコアは41TOPSぐらいで、AI PCの要件をギリ満たせる程度だもんなぁ。

TensorRT-LLM SDKを使えばTensorコアを使えるけど、今のLLMライブラリはllama.cppが一強で、
汎用性と扱いやすさを捨ててTensorコアを使うためだけにTensorRT-LLMを選ぶのはなーって感じだし。

その点XMXはCUDAライブラリの汎用性とTensorコアの処理速度を足したみたいな感じよね。