>>12まで最適化してさらに下記を参考に最適化を進めていく

PrismML「Bonsai 27B」公開、270億パラメータのAIがスマホで動作　Appleも技術を評価
2026/07/15 07:18
https://news.mynavi.jp/article/20260715-4703292/
>> 7月14日（現地時間）、モデルの重みを低ビット化した新たなマルチモーダルAIモデル「Bonsai 27B」を発表した。270億（27B）パラメータ級モデルとしては初めて、スマートフォンでも動作可能なサイズまで圧縮
>>Bonsai 27Bは、Alibabaの「Qwen 3.6 27B」をベースとしている。通常の16ビット精度では約54GB、4ビット量子化版でも約18GBを必要とする27B級モデルを、独自の低ビット技術で圧縮した。モデルは三値版と1ビット版の2種類で提供される。
>>「Ternary Bonsai 27B」は、FP16グループワイズスケーリングを用いた「−1」「0」「＋1」の三値の重みを使用している。重みあたりの実効値は1.71ビットで、モデル容量は5.9GB。一般的なノートPCでの利用を想定し、推論やツール呼び出し、エージェント処理に対応する品質重視のモデルである。
>>両モデルはテキストに加えて、スクリーンショット、ドキュメント、カメラ入力などにも対応する。最大26万2000トークンのコンテキスト長を備え、複数段階の推論、構造化されたツール呼び出し、コンピューター操作を含むエージェント処理をサポートする。AppleデバイスではMLX、NVIDIA GPUではCUDAを通じてネイティブに動作する。モデルの重みはApache 2.0ライセンスで公開され、期間限定で無料の開発者向けプレビューAPIも提供する。