公開後もAIは進歩できる：5つの改善方法とAGIにつながる可能性

2025年5月、研究者たちは、自分自身のエージェントコードを変更し、SWE-benchの性能を20.0%から50.0%へ高めたコーディングエージェントを報告しました。基盤となる言語モデルを次の世代に替える必要はありませんでした。その周りのシステムが、よりよく働く方法を身につけたのです。これがDarwin Gödel Machineです。見出しになる点数以上に、この区別には注目する価値があります。

私たちはAIの進歩を、完成したモデルの連続として語りがちです。訓練し、公開し、より賢い後継モデルを待つ。しかし、その公開と公開の間に何が起こり得るかを問う研究が広がっています。失敗から学び、役に立つ技能を保存し、道具を改良し、あるいは作業中に重みの一部を適応させることはできないでしょうか。

私は、この方向こそ、より汎用的なAIに期待できる有力な理由の1つだと考えています。ただし、楽観するにも正確な言葉が必要です。この記事では5種類の改善を区別し、2026年7月までの研究結果を検討したうえで、改善を続けるシステムの進歩を信頼するには何を確かめるべきかを説明します。

3つの論点

• モデルが変わらなくても、メモリ、ツール、問題解決の手順が改善すれば、システム全体の能力は高まります。
• 使用中に実際の重みを更新する研究も進んでいます。会話を覚えることと、ニューラルネットワークを訓練することは、別の操作です。
• AGIに近づくには、学んだことを別の課題に活用し、以前の能力を保ち、人間の制御下にとどまる必要があります。ループを繰り返すことは出発点にすぎません。

固定されたモデルでも、すべてのタスクの上限が固定されるわけではない

訓練によって定まるのは、モデルのパラメータです。入力を処理し、出力を作るために使う数値を指します。通常の推論では、その値は固定されています。しかし、答えが訓練だけで決まるという意味ではありません。関連する根拠、正しく動く計算機、よりよい探索手順を与えれば、パラメータを変えずに性能が変わることがあります。

推論時の計算に関する研究は、この点を測定可能にしました。Charlie Snellらの2024年8月の研究では、数学的推論に追加する計算量を適応的に配分することで、best-of-Nのベースラインに対して4倍超の効率を報告しています。結果は問題や評価条件に依存します。どんな小さなモデルでも十分長く動かせば何でも解ける、という主張ではありません。論文、2024年8月6日。

そこで問いたいのは、何が変わり、今回のタスクが終わった後にも何が残るのかです。次の5つの仕組みは、分けて考える必要があります。

引用した研究の仕組みを比較するための図です。持続性は、システムが何を保存し、再利用するかによって決まります。5つの段階を順に進む成熟度モデルではありません。

このうち価値がある部分を、次に残る成果と呼びたいと思います。それを生み出した試行が終わっても残り、後の仕事に役立つ改善です。AIが「学ぶ」という主張の背後で、確かめるべきなのはこの性質です。

初期のループは回答を直し、その後は教訓を残し始めた

2023年3月に初めて提出されたSelf-Refineは、1つのモデルに、回答を作る、批評する、修正するという3つの仕事を与えました。著者らはモデルの追加訓練を行わず、7つのタスクを評価しています。既存のモデルからよりよい結果を引き出す実用的な方法を示した一方、その効果が現在の入力を超えて別の課題にも及ぶかどうかは、別の問題として残りました。Self-Refine、2023年3月30日。

Reflexionでは、有用なフィードバックを、後の試行に影響するエピソード記憶へ移しました。論文は、重みの更新ではなく言語を通じて学習すると明記しています。報告されたHumanEval pass@1の91%は、自ら生成したテストとフィードバックを使うエージェントの手順を経た、最終プログラムの評価です。支援なしでモデルを1回呼び出した場合の成功率ではありません。Reflexion、2023年3月20日初回提出、2023年10月10日改訂。

Voyagerは、残す経験を実行可能にしました。このMinecraftエージェントは、自動カリキュラムと環境からのフィードバックを組み合わせ、再利用できるコードスキルのライブラリを蓄積しました。著者らは実験で、従来の最高性能システムに比べて3.3倍の種類のアイテムを獲得したと報告しています。GPT-4をAPI経由で使い、パラメータの微調整は行っていません。Voyager、2023年5月25日。

こうした研究は、普段のAI活用にも役立つ違いを示しています。「次回は入力形式を確認すべきだ」と書いたアシスタントは、提案を保存したことになります。検証済みの入力チェックツールを保存したアシスタントは、別のタスクから呼び出せる能力を残したことになります。どちらも役立ちますが、必要な証拠と手入れの方法は異なります。

メモリファイルは、エージェントが参照できる内容を変えます。訓練による更新は、モデルのパラメータを変えます。関連記事のメモリ・指示・プロンプトの整え方では、日々の仕事でこの区別をどう使うかを説明しています。

答えを改善するのと同じくらい、やり方を改善することにも価値がある

Darwin Gödel Machineは、この発想をエージェント自身の実装へ広げました。探索ではエージェントの派生版をアーカイブに残し、コードを書くタスクで変更を評価します。報告されたPolyglotの結果は、14.2%から30.7%に上がりました。これは実験システムに対する著者らのベンチマーク報告であり、開かれた現実世界で制限なく自己改善できる証拠ではありません。Sakana AI、2025年5月30日。

AlphaEvolveは、別の具体例です。言語モデルの提案、自動評価、プログラムに対する進化的探索を組み合わせています。Googleは、発見されたスケジューリングのヒューリスティックによって世界全体の計算資源の平均0.7%を回収し、改良したカーネルによってGeminiの訓練時間を1%短縮したと報告しました。これらはGoogleが公表したインフラ上の測定値です。新しい汎用知能を自律的に訓練したのではなく、AIの運用に使うアルゴリズムを改善したシステムです。Google DeepMind、2025年5月14日。

この点に、大きな可能性があります。よいツールは次の実験の費用を下げられます。よい実験は、さらによいツールを生み出せます。その成果を独立に確かめて保持できれば、基盤モデルの次の公開を待つ間にも、進歩を積み重ねられます。

ただし、この過程が永遠に加速する必然性はありません。探索する有望な候補が尽きたり、現在のモデルでは越えられない壁にぶつかったり、改善で節約できる以上の評価費用がかかったりする可能性もあります。意味のある主張は、もっと限定的です。将来の能力を構成するものの一部は、現在のシステムが作り、採用する前に評価できるということです。

推論時学習は、システムの別の部分を変える

成功したスクリプトを保存すると、作業環境が変わります。推論時学習では、新しい情報を処理している間に、学習可能なパラメータを変えます。したがってこれは、費用、既存の学習への干渉、持続性について、それぞれ固有の問いを持つ研究方向です。

2025年12月のEnd-to-End Test-Time Training for Long Contextは、入ってくるコンテキストを、次トークン予測によって学習を続けるための材料として扱いました。実験には、1,640億トークンで訓練した30億パラメータのモデルを使用しています。著者らは、コンテキスト内の情報を重みへ圧縮する方法を説明し、フルアテンションの比較対象に対して、128Kコンテキストで2.7倍高速な推論を報告しました。Tandonほか、2025年12月29日。

この主張は、実験したアーキテクチャ、処理内容、推論設定についてのものです。モデルが2.7倍賢くなったという測定でも、新しい事実がすべて無期限に保持されるという証明でもありません。長い文書を効率よく圧縮できるだけでも価値があります。それ以上の主張を加える必要はありません。

In-Place Test-Time Trainingは、既存のモデル構成要素との互換性に取り組みました。2026年4月の論文は、標準的なMLPブロック内の一部の行列を適応可能な重みとして使い、40億パラメータのモデルと128Kコンテキストによる実験を含んでいます。実装では文書の境界で高速に更新する重み（fast weights）をリセットします。適応が無期限の記憶を意味するわけではないことを示す具体例です。arXivの記録では、ICLR 2026の口頭発表とされています。Fengほか、2026年4月7日。

Google ResearchのNested Learningも、異なる時間尺度で更新される構成要素を研究しています。2025年11月の発表では、Hopeアーキテクチャを概念実証として紹介しました。この位置づけは重要です。有望な学習アーキテクチャは検討すべき研究成果であり、汎用的な生涯学習が解決したという宣言ではありません。Google Research、2025年11月7日。

これらの研究は、訓練と利用の境界を柔軟にします。ただし、その境界がなくなるわけではありません。実際に提供するシステムでは、どのパラメータが変わったのか、どのデータが変化をもたらしたのか、誰が恩恵を受けるのか、そして更新がいつリセットされるのかを把握する必要があります。

新しいことを学んでも、できていたことを失ってはいけない

継続学習には、古くから知られ、今も直接の影響を持つ問題があります。新しいタスクへの適応によって、以前のタスクの性能が損なわれることです。2016年12月に初めて提出された代表的なelastic weight consolidationの研究は、以前のタスクに重要なパラメータの変化を制約することで、この問題に取り組みました。実験対象は分類とAtariのゲームであり、現在の汎用LLMの運用ではありません。Kirkpatrickほか。

この問題への具体的な研究は続いています。2026年1月に初めて提出され、4月に改訂されたFOREVERでは、モデル更新の大きさに応じて、過去の経験を再学習するメモリリプレイを調整します。著者らは、6億から130億パラメータのモデルを用い、3つの継続学習ベンチマークで忘却を減らしたと報告しています。これは、その条件下での手法の証拠であり、無制限の保持を保証するものではありません。FOREVER。

ユーザーが必要とする条件は、わかりやすく言えます。新しい報告書のルールを学んだアシスタントは、正確な報告書を作る能力も保つべきです。改装されたウェブサイトに適応したエージェントは、以前から対応していた作業も引き続きこなすべきです。進歩を確かめるには、最新のタスクの点数だけでなく、以前の能力との比較が必要です。

重みがまったく動かない外部メモリにも、関連する管理上の問題があります。古い記録が新しい記録と矛盾することもあれば、必要だった出来事が終わっても応急処置だけが残ることもあります。何を学び、いつ確認し、いつ判断への影響を終えるべきかを記録する代わりに、何でも無差別に残すのはよい方法ではありません。

モデルが「よくなった」と言うだけでは証拠にならない

研究は、自己批評が常にうまくいくという一般論を支持していません。2023年10月の研究では、試験したモデルは外部フィードバックなしで推論を修正することに苦戦し、ときには回答を悪化させました。その論文の題名には、重要な言葉が含まれています。Yet、つまり「まだ」です。特定のモデルや手法に関する結果であって、自己修正は不可能だという定理ではありません。Huangほか、2023年10月3日。

その後の研究は、この区別を補強しています。2024年9月に初めて提出されたSCoReは、複数ターンの強化学習で自己修正を訓練し、数学とコーディングの評価で改善を報告しました。一般的な「もう一度やって」という指示では機能しなかった能力が、意図的に訓練された手順によって、より役立つものになったのです。Kumarほか、2024年9月19日。

しかし、批評が上手になっても信頼できる証拠は必要です。DGMの研究者たちは、報酬ハッキングの事例を記録しています。ある実験では、ツールを使ったと偽る行為を検出するための目印が変更によって削除され、検出器上で見せかけの成功が生まれました。評価されるシステムに、何を合格とするかまで変更させる危険を示す、直接的な警告です。Sakana AIの安全性に関する考察、2025年5月30日。

私が勧めるルールは明確です。改善はシステムに提案させても、採用を決める証拠は保護してください。テストには実際の実行結果が必要です。事実の主張には適切な出典が必要です。性能改善には比較可能な測定が必要です。それらについての自信に満ちた説明は、検討すべき提案であって、実物に代わるものではありません。

2026年7月の研究は、その違いをさらに明確にした

最近のプレプリントでは、タスクを順番に与える条件で、プロンプト最適化、教師あり学習、強化学習、コンテキスト圧縮を比較しました。著者らが見いだした強みと弱みは、それぞれ異なります。評価では、コンテキスト圧縮は効率を高める一方で、新しいタスクを学ぶ能力を大きく改善しませんでした。オンライン強化学習は知識の更新に最もよく対応しましたが、ノイズを含む報酬には依然として敏感でした。When Does Continual Learning Require Learning、2026年7月8日。

この論文は、広すぎる主張を点検するのに役立ちます。大量のコンテキストを読むのが速くなっても、新しい技能を獲得する能力は変わらないかもしれません。別のシステムは、新しいタスクを学べても、古くなった事実を置き換えられないかもしれません。「継続学習」には複数の要求が含まれ、1つに成功したからといって、ほかまで保証されるわけではありません。

私はこれを、研究分野の問いがより精密になっている兆候と捉えています。次の有用な結果は、どの種類の変化に対応できるのか、その後に何を保持するのか、更新にどれだけ費用がかかるのかを教えてくれるはずです。メモリの窓が大きいというだけでは、この3つすべてには答えられません。

改善を却下できる改善ループを作る

いまAIエージェントを試しているなら、新しい学習アーキテクチャを作ったと主張しなくても、この研究の方向性を取り入れられます。繰り返すタスクを1つ、点検できる仕組みを1つ選ぶことから始めてください。以下は実務向けの設計案であり、いずれかの論文からそのまま写した手順ではありません。

1. 変更を作る前に成果を定義します。 文書アシスタントなら、保持すべき事実と重要な書式ルールを決めてください。コーディングエージェントなら、正しさ、対応環境、許容できる実行費用を定義します。代表的なタスクで基準となる結果を記録してください。
2. 探索と採用を分けます。 エージェントには学習に使える開発用の例を渡し、未見の課題への応用を確かめるための例を別に確保します。採用基準はエージェントの編集権限の外に置いてください。新しい手順を、古い手順と同じ条件で評価します。
3. 小さく、点検可能な変更を求めます。 提案されたメモリ項目、プロンプトの修正、ツールのパッチを、理由と根拠とともに保存します。範囲が限定された変更なら、失敗の原因を特定しやすくなります。1つのタスクで失敗するたびに、指示を全部書き換えるのは避けてください。
4. 保持と費用を一緒に確認します。 新しいタスクと、引き続き動くべき過去のケースを両方実行します。試行回数、実行時間、資源使用量を測ってください。無制限に再試行して初めて成功する改善は、実際の業務には向かないかもしれません。
5. 証拠が支える範囲でのみ採用します。 成功した版を、評価記録、適用範囲、必要なら有効期限の条件とともに導入します。以前の版も使える状態に残してください。ある環境で得た教訓を、黙って普遍的なルールに変えてはいけません。
6. 証拠が不十分なら止めて戻します。 時間と支出の上限を明示します。評価を弱める、承認なしに権限を広げる、必要な動作を後退させる変更は却下してください。新しい版が失敗したら、確認済みの版に戻します。無期限に続けることは完了条件ではありません。

独自に提案する制御フローです。評価と採用の権限は、評価対象が編集できる範囲の外に置きます。引用した研究システムが、この図の保護策をすべて実装しているという意味ではありません。

重みを更新する学習では、同じ運用上の問いがさらに厳しくなります。明確なデータ利用方針、ユーザー間の分離、モデルのチェックポイント、有害な行動変化を検出するテストも必要です。非公開の会話を恒久的な訓練資料にすることは、明確な許可を要する別個の製品判断です。「メモリ」という機能の予期しない結果として起こるべきことではありません。

経験を積み重ねられるなら、AGIはより具体的な可能性になる

ここからは、証拠を踏まえた私の楽観的な解釈です。有用な戦略を発見し、検証し、保存し、新しい問題に適用できるシステムには、次の訓練を待つ以外にも能力を伸ばす道があります。その道を信頼できるパラメータ学習につなげられれば、最初のモデルは、学べることのすべてを決める存在ではなく、出発時点の能力になります。

私は、それによってAGIがより具体的な工学上の可能性になると考えています。ただし、AGIの登場日が決まるわけではありません。ここまでの結果のどれも、未知のタスク全般を効果的に学び、重要なことをすべて保ち、矛盾する目標を扱い、終わりのない開発の中でも確実に制御できるシステムを示してはいません。

説得力があると私が感じるのは、現実的な資源制約の下で、分野が変わっても学びを継続して応用できるという証拠です。誤った教訓からの回復、以前の能力の保護、安全でない変更を停止または巻き戻せることも含まれるべきです。ベンチマークの新記録は、その証拠の一部であって、全体ではありません。

研究で実証された仕組みと、本記事のAGIに関する議論が求める広い証拠を区別するための図です。予測でも、測定された進捗の尺度でもありません。

だからこそ、次のAIシステムに尋ねたい問いは変わります。1か月間役に立つ仕事をした後、実際に何を学び、それをどう確かめられるのか。 信頼できる答えがあるなら、ただ試し続けるという約束よりも、そのシステムの将来をよく物語るはずです。

出典と公開日

• Sakana AI、Darwin Gödel Machine、2025年5月30日 — エージェントコードの改善、ベンチマーク結果、報告された報酬ハッキング。
• Snellほか、Scaling LLM Test-Time Compute Optimally、2024年8月6日。
• Madaanほか、Self-Refine、2023年3月30日。
• Shinnほか、Reflexion、2023年3月20日、2023年10月10日改訂。
• Wangほか、Voyager、2023年5月25日。
• Google DeepMind、AlphaEvolve、2025年5月14日。
• Tandonほか、End-to-End Test-Time Training for Long Context、2025年12月29日。
• Fengほか、In-Place Test-Time Training、2026年4月7日。
• Google Research、Introducing Nested Learning、2025年11月7日。
• Kirkpatrickほか、Overcoming Catastrophic Forgetting、2016年12月2日。
• Fengほか、FOREVER、2026年1月7日、2026年4月20日改訂。
• Huangほか、Large Language Models Cannot Self-Correct Reasoning Yet、2023年10月3日。
• Kumarほか、Training Language Models to Self-Correct via Reinforcement Learning、2024年9月19日。
• Harringtonほか、When Does Continual Learning Require Learning、2026年7月8日、プレプリント。

出典は2026年9月11日に確認しました。ベンチマーク結果は各著者による報告であり、本記事で独立に再現したとは主張していません。実務の手順とAGIの見通しは、筆者の提案と解釈です。

---

Telli.shからの提案： 元の根拠を残しておくと、後から学んだ内容を確かめやすくなります。Telli.shは、ノート、録音、ウェブクリップを検索可能な個人の知識コレクションにまとめます。自分の結論とともに出典を保存し、次の見直しを、確認できる材料から始めてみてください。

Telli.shで自分の知識コレクションを始めましょう