外部メモリを毎回使う必要はなかった　MetaのAI、学習後は「約1回」の参照で成功率96.9%
2026年8月31日
https://xenospectrum.com/evoharness-rl-trainable-agent-harness/
>> 2026年8月5日にarXivへ公開したプレプリントによると、Qwen3-8Bを使い、ALFWorldで分布内検証に当たるseen 140課題の平均成功率96.9%を記録した。通常のReAct構成は47.9%だったため、差は49.0パーセントポイントに達する。
論文がいう「ハーネス」は、モデルの外側で実行を支える仕組みの総称である。ツールやメモリに加え、状態追跡と実行ログもここに含まれる。検証結果をモデルへ戻す経路もハーネスの一部だ。EvoHarness-RLは、環境ごとに異なるこれらの機能を、Belief、Progress、Experienceの3領域（BPE）へ整理した。
Beliefは、物体の場所や状態など「現在の環境で何が真か」を保つ。Progressは、完了、未完了、停止中のサブゴールを記録する。Experienceには、別の試行でも再利用できる手順、よくある失敗、探索の優先順位を蓄える。
方策モデルはBPEを無条件に読み込むのではなく、4つのメタアクションを選ぶ。trackはBeliefを照会し、commitはProgressへ作業状況を書く。recallはExperienceから関連知識を検索し、noteは後で統合する新しい知見を残す。通常の環境操作とハーネス操作は同じ行動候補に並び、どちらも1ステップを消費する。
この設計によって、外部状態へのアクセスには機会費用が生じる。毎回メモリを検索すれば安全になるとは限らず、その分だけ本来の作業が遅れる。逆に参照を省きすぎれば、状態を見失い、同じ探索を繰り返す。EvoHarness-RLが学ぶのは、この境界である。
ALFWorld向けの実装は意外に簡素だ。Beliefは行動と観測を読むルールベースのparserで更新し、Experienceはキーワードの重複で検索する。Progressは最大8件のサブゴールを保持し、Experienceは4カテゴリそれぞれ最大80件に制限する。使用頻度が低い項目はLFU方式で退避させる。BPEは汎用的な役割分担だが、その中身まで汎用モデルに任せたわけではない。
学習は2段階に分かれる。最初の教師あり微調整（SFT）では、Claude Opusを教師として500件のALFWorld訓練ゲームを実行し、成功した87軌跡を残した。ここから1,153件の次行動会話ペアを作り、Qwen3-8Bに環境操作と4つのメタアクションの形式を教えた。
採用した軌跡は1エピソード平均26.5ターンで、教師は計405回ハーネスを呼び出した。全ターンの約18%に当たる。SFTは、まず外部状態を丁寧に使う足場を与える工程だ。
次のGRPOでは、成功報酬を中心に、短い手順への加点、行動の多様性、反復や形式違反への減点を組み合わせた。課題を解かなければ効率加点は得られないため、単にハーネス呼び出しを削るだけでは報酬が伸びない。訓練は150 epoch、1回のエピソードは最大70ステップで、NVIDIA H200を8基使った。
ここで更新される方策も、実行時にALFWorldとやり取りするモデルもQwen3-8Bである。一方、Claude OpusはSFTの教師に加え、各epochの境目でExperienceを統合する役割も担った。したがって「8Bモデルだけで完結した」と捉えるのは正確ではない。実行方策は8Bだが、訓練データと経験ストアの整備には大型モデルが入っている。
seen 140課題の平均成功率は、通常のQwen3-8B ReActが47.9%、プロンプト時にBPEを足しただけのEvoHarness-Baseが56.4%だった。SFT後は68.6%へ上がり、GRPOを終えたEvoHarness-RLは96.9%に達した。
QWEN3-8Bの構成
ALFWORLD SEEN（分布内検証）平均成功率
ReAct
47.9%
EvoHarness-Base（推論時BPE）
56.4%
EvoHarness-SFT
68.6%
EvoHarness-RL
96.9%