>>16の最適化の方法は下記のプログラムを参考にする

スマホで動く小型AIモデル「LFM2.5」に省メモリ化を施しつつ性能低下を抑えたQAD版が登場
2026年08月20日 21時00分
https://gigazine.net/news/20260820-lfm2-5-qad/
>>AIモデルを省メモリ化には「量子化」という手法が広く用いられています。しかし、量子化は「モデルの計算精度を下げる」という仕組みでサイズを縮小しているため、量子化版モデルはベースモデルと比べて性能が低下してしまいます。QADは高精度モデルを教師モデルとして量子化版モデルを蒸留することで量子化によって失った性能を回復させる技術で、省メモリ化しつつ性能は維持できる手法として注目されています。
>>LFM2.5シリーズはパラメーター数や用途の異なる複数のモデルが公開されています。今回QAD版が公開されたのは「LFM2.5-230M」「LFM2.5-350M」「LFM2.5-1.2B-Instruct」「LFM2.5-2.6B」の4種類で、Q4_0で量子化したモデルに蒸留を施して性能を向上させています。
>>LFM2.5-230Mを「M5 Max搭載MacBook Pro」「AMD Ryzen AI Max+ 395を搭載したミニPC(NucBox EVO-X2)」「Samsung Galaxy S26 Ultra」「Raspberry Pi 5」で実行した際の量子化精度ごとのベンチマークスコアを並べた図が以下。QAD版はQ4_0版から性能が大幅に向上し、Q5_K_M版に近い性能を示しています。ファイルサイズはQ5_K_M版が172MB、QAD版が149MBなので、QAD版が省メモリ化しつつ性能低下を抑えられたことが分かります。