>>243
vramの使用量ベースではbf16から1/3程度ってのが売りやなここが嬉しい
推論速度ベースで言うとパラメータ数に依存するからそんな変わらんかな