>>1
たった1.6GB!!!!!

これならGTX1060の3GB版ですら使えるくらいじゃないか！！！

あるいは上手にメモリ制限しながらなら
8GBVRAMの多くのGPUで複数の言語モデルを動かして
互いに対話させるとか
あるいは12GBVRAMのGPU上でメモリを分かち合って物体検出モデルと組み合わせて使う、
なんてのが可能になるのか