>>17まで完成したのなら下記のパソコンでも動作することが可能
10年前のXeonサーバーで最新AIが快適動作、GPUなしでも実用速度を実現した手法が解説される
2026年06月02日 21時00分
https://gigazine.net/news/20260602-gemma-4-on-2016-xeon/
>> 26B規模のローカルAIを実用的な速度で動かしたという報告が登場しました。
>>26B規模のローカルAIを実用的な速度で動かしたという報告が登場しました。
>>Intel Xeon E5-2620 v4、8コア16スレッド、AVX2対応、AVX-512非対応、L3キャッシュ20MiB、DDR3メモリ128GB、GPUなしという構成とのこと。Intel Xeon E5-2620 v4は2016年第1四半期に発売されたCPUです。
※通常動作2.10 GHz.ターボ・ブースト利3.00 GHz .キャッシュ キャッシュ20 MB

小型モデル「LFM2.5」を2倍以上高速化する投機的デコーディング技術DSpark適用版が登場
2026年08月21日 18時14分
https://gigazine.net/news/20260821-lfm2-5-dspark-faster-inference/
>>LFM2.5はスマートフォンやノートPCといった演算能力の限られたデバイスでも動作するように設計された小型のAIモデルです。デバイスに合わせて複数のパラメーター数で展開されているほか、日本語に特化したモデルも公開されています。
>>Dsparkは「投機的デコーディング」と呼ばれるAI高速化技術の一種です。AIモデルは「次のトークンを予測する」という動作を繰り返して文章やコードを出力しています。Dsparkはメインのモデルとは別に「ドラフトモデル」を用意し「ドラフトモデルで次のトークンの候補を高速生成してメインモデルで採用・非採用を決定する」という仕組みで生成処理を高速化します。Dsparkは「高速化する代わりに精度が劣化する」というタイプの手法ではなく、「高速化しつつ、精度は完全に維持できる」というのも強みです。
>>Liquid AIは「LFM2.5-1.2B-Instruct」「LFM2.5-2.6B」「LFM2.5-8B-A1B」の3種を対象にドラフトモデルを作成しました。ドラフトモデルのパラメーター数はLFM2.5-1.2B-Instructが2億9570万、LFM2.5-2.6BとLFM2.5-8B-A1Bが3億2770万です。
>>LFM2.5-2.6BにDsparkを適用すると、H100では2.67倍、M4 Max搭載MacBook Proでは2.27倍の高速化を達成しました。M4 Max搭載MacBook Proの場合は、LFM2.5-1.2B-Instructでは2.54倍、LFM2.5-8B-A1Bでも1.18倍の高速化に成功しています。