大規模言語モデルやベクトル検索エンジン向けに大規模な圧縮を可能にする、理論的に根拠に基づく高度な量子化アルゴリズムのセットをご紹介いたします。

Quantはそう言っているな。
当たり前だが、コイツはデータブロックのベクトル化&検索なだけでMMLではない。

コイツがAIとして機能するのではない。
これはライブラリの最適化アルゴリズムであって、これをMMLと言うのは情弱ぐらいだな

それにMoEはオフロードの技術だ。
GPUメモリが確保できるならそっちの方が速いし、そもそもVRAMが足りないから生まれた技術だ。
結局の所は計算量は変わらないし、そんなチンケなGPUでやるしかない環境向けなんよ