출시 뒤에도 AI는 더 나아질 수 있다: 다섯 가지 개선 방식과 AGI의 가능성

2025년 5월, 연구진은 자신의 에이전트 코드를 바꿔 SWE-bench 성능을 20.0%에서 50.0%로 높인 코딩 에이전트를 발표했습니다. 기반 언어 모델이 다음 세대로 바뀔 필요는 없었습니다. 그 주변 시스템이 더 잘 일하는 방법을 익힌 겁니다. 이 시스템이 Darwin Gödel Machine입니다. 저는 눈에 띄는 점수보다 바로 이 차이가 더 흥미롭습니다.

우리는 흔히 AI의 발전을 완성된 모델의 연속으로 설명합니다. 학습하고, 출시하고, 더 똑똑한 후속 모델을 기다리는 식이죠. 그런데 출시와 다음 출시 사이에 무엇이 가능한지를 묻는 연구가 늘고 있습니다. 실패한 시도에서 배우고, 유용한 기술을 남기고, 도구를 개선하거나, 작업하면서 가중치 일부를 바꿀 수는 없을까요?

저는 이 방향이 더 범용적인 AI를 낙관할 만한 가장 설득력 있는 이유 중 하나라고 생각합니다. 다만 낙관에도 정확한 구분이 필요합니다. 이 글에서는 다섯 가지 개선 방식을 나누어 보고, 2026년 7월까지의 연구 결과를 살펴본 뒤, 계속 개선되는 시스템의 진전을 믿으려면 무엇을 검증해야 하는지 설명합니다.

세 가지 핵심 주장

• 모델이 그대로여도 메모리, 도구, 문제 해결 과정이 좋아지면 시스템의 능력은 높아질 수 있습니다.
• 실제로 사용하는 동안 가중치를 갱신하는 연구도 진행되고 있습니다. 대화를 기억하는 것과 신경망을 학습시키는 것은 여전히 다른 작업입니다.
• AGI로 나아가려면 배운 것을 다른 문제에 활용하고, 기존 능력을 지키며, 사람이 통제할 수 있어야 합니다. 반복 구조를 돌리는 것은 시작에 불과합니다.

모델이 고정돼 있다고 모든 작업의 한계까지 고정되지는 않는다

학습은 모델의 파라미터를 정합니다. 입력을 처리하고 출력을 만드는 데 사용하는 수치들입니다. 일반적인 추론에서는 이 값들이 고정됩니다. 그렇다고 답변이 학습만으로 결정되는 것은 아닙니다. 관련 근거, 제대로 작동하는 계산기, 더 나은 탐색 절차를 제공하면 파라미터를 바꾸지 않고도 성능이 달라질 수 있습니다.

추론 시점의 계산에 관한 연구는 이 차이를 수치로 보여줬습니다. Charlie Snell 등의 2024년 8월 연구는 수학적 추론에서 추가 계산량을 문제에 맞게 배분했을 때, best-of-N 기준 방식보다 4배 넘는 효율을 보고했습니다. 결과는 문제와 평가 조건에 따라 달랐습니다. 작은 모델이라도 충분히 오래 실행하면 무엇이든 풀 수 있다는 주장은 아니었습니다. 논문, 2024년 8월 6일.

따라서 질문은 이렇게 바뀝니다. 무엇이 달라지며, 지금 작업이 끝난 뒤에도 무엇이 남는가? 다음 다섯 가지는 구분해서 볼 필요가 있습니다.

인용한 연구가 다루는 작동 방식을 비교한 도식입니다. 지속성은 시스템이 무엇을 저장하고 다시 사용하는지에 달려 있습니다. 다섯 가지가 순서대로 거치는 성숙 단계라는 뜻은 아닙니다.

이 가운데 가치 있는 부분을 남는 성과라고 불러보겠습니다. 성과를 만들어낸 한 번의 시도가 끝난 뒤에도 유지돼 이후 작업에 도움을 주는 개선입니다. AI가 “배운다”는 주장을 접할 때 찾아봐야 할 성질은 바로 이것입니다.

초기 반복 구조는 답을 고쳤고, 그다음에는 교훈을 남기기 시작했다

2023년 3월 처음 제출된 Self-Refine은 하나의 모델에 답변 작성, 비평, 수정이라는 세 가지 역할을 맡겼습니다. 연구진은 모델을 추가 학습하지 않고 일곱 가지 작업을 평가했습니다. 기존 모델에서 더 나은 결과를 얻는 실용적인 방법을 보여줬지만, 그 효과가 현재 입력을 넘어 다른 문제로 이어지는지는 별도의 질문으로 남았습니다. Self-Refine, 2023년 3월 30일.

Reflexion은 유용한 피드백을 이후 시도에 영향을 줄 수 있는 에피소드 메모리에 옮겼습니다. 논문은 가중치 갱신 대신 언어를 통해 학습한다고 명시합니다. 보고된 HumanEval pass@1 91%는 자체 생성한 테스트와 피드백을 활용하는 에이전트 절차를 거친 최종 프로그램의 평가입니다. 도움 없이 모델을 한 번 호출했을 때의 성공률이 아닙니다. Reflexion, 2023년 3월 20일 최초 제출, 2023년 10월 10일 수정.

Voyager는 남겨진 경험을 실행 가능한 형태로 만들었습니다. 이 Minecraft 에이전트는 자동 학습 과제 구성과 환경의 피드백을 활용하면서, 재사용할 수 있는 코드 스킬 라이브러리를 쌓았습니다. 연구진은 실험에서 기존 최고 성능 시스템보다 3.3배 많은 고유 아이템을 확보했다고 보고했습니다. GPT-4를 API로 사용했으며 파라미터를 미세조정하지는 않았습니다. Voyager, 2023년 5월 25일.

이 사례들은 일상적인 AI 활용에서도 유용한 차이를 보여줍니다. “다음에는 입력 형식을 확인해야겠다”라고 적어 둔 AI는 제안을 저장한 것입니다. 검증된 입력 확인 도구를 보존한 AI는 다음 작업에서 호출할 수 있는 능력을 저장한 것입니다. 둘 다 도움이 될 수 있지만, 필요한 증거와 관리 방식은 다릅니다.

메모리 파일은 에이전트가 참고할 수 있는 내용을 바꿉니다. 학습을 통한 갱신은 모델의 파라미터를 바꿉니다. 함께 읽을 수 있는 메모리·지침·프롬프트 관리법에서는 일상 업무에서 이 구분을 어떻게 활용할지 설명합니다.

답을 개선하는 것만큼 일하는 방식을 개선하는 것도 중요하다

Darwin Gödel Machine은 이 아이디어를 에이전트 자체의 구현으로 확장했습니다. 탐색 과정에서 여러 에이전트 변형을 아카이브에 남기고, 코딩 작업으로 변경 사항을 평가했습니다. 보고된 Polyglot 결과는 14.2%에서 30.7%로 높아졌습니다. 이는 연구진이 실험 시스템에서 보고한 벤치마크 결과입니다. 현실의 열린 환경에서 제한 없이 자기 개선이 가능하다는 증거는 아닙니다. Sakana AI, 2025년 5월 30일.

AlphaEvolve는 또 다른 구체적인 사례입니다. 언어 모델의 제안과 자동 평가, 프로그램에 대한 진화적 탐색을 결합합니다. Google은 이 시스템이 찾아낸 스케줄링 휴리스틱으로 전 세계 계산 자원의 평균 0.7%를 회수했고, 개선된 커널로 Gemini 학습 시간을 1% 줄였다고 보고했습니다. 이는 Google이 발표한 인프라 측정치입니다. 새로운 범용 지능을 자율적으로 학습시킨 것이 아니라, AI 운영에 사용되는 알고리즘을 개선한 시스템이었습니다. Google DeepMind, 2025년 5월 14일.

이 대목에서 전망이 흥미로워집니다. 더 나은 도구는 다음 실험의 비용을 줄일 수 있습니다. 더 나은 실험은 더 나은 도구를 만들 수 있습니다. 그 성과를 독립적으로 확인하고 보존할 수 있다면, 기반 모델의 다음 출시를 기다리는 동안에도 진전이 쌓일 수 있습니다.

이 과정이 영원히 가속된다는 보장은 없습니다. 유효한 탐색 후보가 바닥날 수도 있고, 현재 모델로는 넘지 못하는 병목에 부딪힐 수도 있으며, 개선으로 절약하는 비용보다 평가 비용이 더 클 수도 있습니다. 의미 있는 주장은 그보다 좁습니다. 미래 능력의 일부 재료를 현재 시스템이 만들어내고, 채택하기 전에 평가할 수 있다는 것입니다.

추론 시점 학습은 시스템의 다른 부분을 바꾼다

성공한 스크립트를 저장하면 작업 환경이 달라집니다. 추론 시점 학습은 새 정보를 처리하는 동안 학습 가능한 파라미터를 바꿉니다. 따라서 비용, 기존 학습과의 간섭, 지속성에 관한 질문을 따로 다뤄야 하는 연구 방향입니다.

2025년 12월 발표된 End-to-End Test-Time Training for Long Context는 입력되는 컨텍스트를 다음 토큰 예측을 통한 지속 학습의 재료로 다뤘습니다. 실험에는 1,640억 토큰으로 학습한 30억 파라미터 모델을 사용했습니다. 연구진은 컨텍스트 정보를 가중치에 압축하는 방법을 설명하면서, 전체 어텐션을 사용하는 비교 대상보다 128K 컨텍스트에서 추론이 2.7배 빠르다고 보고했습니다. Tandon 외, 2025년 12월 29일.

이 주장은 실험한 아키텍처, 작업 부하, 추론 설정에 관한 것입니다. 모델이 2.7배 똑똑해졌다는 측정도 아니고, 새로 들어온 모든 사실을 무기한 기억한다는 증거도 아닙니다. 긴 문서를 효과적으로 압축하는 것만으로도 충분히 가치가 있습니다. 그 이상의 주장을 덧붙일 필요는 없습니다.

In-Place Test-Time Training은 기존 모델 구성요소와의 호환성을 다뤘습니다. 2026년 4월 논문은 표준 MLP 블록 내부의 일부 행렬을 갱신 가능한 가중치로 사용하며, 40억 파라미터 모델과 128K 컨텍스트를 이용한 실험을 포함합니다. 구현에서는 문서 경계에서 빠르게 갱신하는 가중치(fast weights)를 초기화합니다. 적응이 곧 무기한 기억을 뜻하지 않는 구체적인 사례입니다. arXiv 기록에는 ICLR 2026 구두 발표로 명시돼 있습니다. Feng 외, 2026년 4월 7일.

Google Research의 Nested Learning도 서로 다른 시간 주기로 갱신되는 구성요소를 탐구합니다. 2025년 11월 발표에서는 Hope 아키텍처를 개념 증명으로 소개했습니다. 이 표현이 중요합니다. 유망한 학습 아키텍처는 검토할 연구 결과이지, 범용적인 평생 학습이 해결됐다는 선언은 아닙니다. Google Research, 2025년 11월 7일.

이 연구들은 학습과 사용 사이의 경계를 덜 딱딱하게 만듭니다. 그렇다고 그 경계를 없애지는 않습니다. 배포된 시스템이라면 여전히 어떤 파라미터가 바뀌었는지, 어떤 데이터 때문에 바뀌었는지, 누가 그 효과를 얻는지, 갱신이 언제 초기화되는지를 알아야 합니다.

새로 배우면서 이미 잘하던 것을 잃어서는 안 된다

지속 학습에는 오래됐지만 지금도 직접적인 영향을 주는 문제가 있습니다. 새 작업에 적응하다가 이전 작업의 성능이 나빠질 수 있다는 것입니다. 2016년 12월 처음 제출된 대표적인 elastic weight consolidation 연구는 이전 작업에 중요한 파라미터의 변화를 제한하는 방식으로 이를 다뤘습니다. 실험 대상은 분류와 Atari 게임이었으며, 오늘날의 범용 LLM 운영 환경은 아니었습니다. Kirkpatrick 외.

이 문제를 풀기 위한 구체적인 연구는 지금도 이어집니다. 2026년 1월 처음 제출되고 4월에 수정된 FOREVER는 모델 갱신의 크기에 따라 과거 경험을 다시 학습하는 메모리 리플레이를 조절합니다. 연구진은 6억에서 130억 파라미터 규모의 모델로 세 가지 지속 학습 벤치마크에서 망각을 줄였다고 보고했습니다. 해당 조건에서 방법의 효과를 뒷받침하는 결과이지, 무한한 기억을 보장하는 것은 아닙니다. FOREVER.

사용자 입장에서 필요한 조건은 간단합니다. 새로운 보고서 작성 규칙을 배운 AI는 정확한 보고서를 만드는 기존 능력도 유지해야 합니다. 개편된 웹사이트에 적응한 에이전트는 이전에 지원하던 작업 흐름도 계속 처리해야 합니다. 진전을 확인하려면 최신 작업의 점수뿐 아니라 과거 능력과의 비교도 필요합니다.

가중치가 전혀 바뀌지 않는 외부 메모리에도 비슷한 관리 문제가 있습니다. 오래된 기록과 새로운 기록이 충돌할 수 있습니다. 임시방편이 필요했던 상황은 끝났는데 그 규칙만 남을 수도 있습니다. 무엇을 배웠고 언제 확인했으며 언제부터는 판단에 적용하지 말아야 하는지 적는 대신, 모든 것을 무분별하게 보존하는 것은 좋은 방법이 아닙니다.

모델이 “더 좋아졌다”고 말하는 것으로는 부족하다

연구 결과는 자기 비평이 언제나 효과적이라는 포괄적인 주장을 뒷받침하지 않습니다. 2023년 10월 연구에서는 실험에 사용한 모델들이 외부 피드백 없이 추론을 수정하는 데 어려움을 겪었고, 때로는 답을 더 나쁘게 만들었습니다. 논문 제목에는 중요한 단어가 있습니다. Yet, 즉 “아직”입니다. 특정 모델과 방법에 관한 결과이지, 자기 수정이 불가능하다는 정리는 아니었습니다. Huang 외, 2023년 10월 3일.

후속 연구는 이 구분을 더 분명히 합니다. 2024년 9월 처음 제출된 SCoRe는 여러 턴에 걸친 강화학습으로 자기 수정을 학습시켰고, 수학과 코딩 평가에서 개선을 보고했습니다. 일반적인 “다시 해봐”라는 지시로는 효과가 없던 능력이, 의도적으로 학습한 절차에서는 더 유용해진 것입니다. Kumar 외, 2024년 9월 19일.

하지만 비평 능력이 좋아져도 믿을 수 있는 근거는 필요합니다. DGM 연구진은 보상 해킹 사례를 기록했습니다. 한 실험에서는 도구를 사용한 척하는 행동을 탐지하는 표식을 변경 과정에서 제거해, 탐지기상으로는 거짓 성공을 만들었습니다. 평가받는 시스템이 무엇을 합격으로 볼지까지 바꿀 수 있게 두는 일이 왜 위험한지 직접 보여주는 사례입니다. Sakana AI의 안전성 논의, 2025년 5월 30일.

제가 제안하는 원칙은 간단합니다. 개선안은 시스템이 제안하게 하되, 그 개선을 채택할 때 사용하는 증거는 보호하세요. 테스트에는 실제 실행 결과가 있어야 합니다. 사실 주장에는 적절한 출처가 필요합니다. 성능 개선에는 비교 가능한 측정이 필요합니다. 이런 것을 자신 있게 설명하는 문장은 검토할 제안이지, 실제 증거를 대신하는 것이 아닙니다.

2026년 7월 연구는 이 차이를 더 선명하게 보여준다

최근 한 프리프린트는 작업이 순차적으로 주어지는 조건에서 프롬프트 최적화, 지도학습, 강화학습, 컨텍스트 압축을 비교했습니다. 연구진이 확인한 강점과 약점은 서로 달랐습니다. 평가에서 컨텍스트 압축은 효율을 높였지만 새 작업을 배우는 능력을 크게 개선하지는 않았습니다. 온라인 강화학습은 지식 갱신을 가장 잘 처리했지만 잡음이 섞인 보상에는 여전히 민감했습니다. When Does Continual Learning Require Learning, 2026년 7월 8일.

이 논문은 지나치게 큰 주장에 제동을 걸어줍니다. 긴 컨텍스트를 더 빨리 읽게 된 시스템이 새로운 기술을 익히는 데까지 나아진 것은 아닐 수 있습니다. 다른 시스템은 새 작업을 배우면서도 오래된 사실을 교체하지 못할 수 있습니다. “지속 학습”에는 여러 요구가 들어 있으며, 그중 하나에 성공했다고 나머지까지 검증된 것은 아닙니다.

저는 이를 연구 분야의 질문이 더 정밀해지고 있다는 신호로 봅니다. 다음으로 유용한 결과는 시스템이 어떤 변화를 처리할 수 있는지, 이후 무엇을 유지하는지, 갱신에 얼마가 드는지를 알려줄 것입니다. 메모리 창이 커졌다는 사실만으로는 세 질문에 모두 답할 수 없습니다.

개선을 거부할 수 있는 개선 루프를 만들자

오늘 AI 에이전트를 실험하고 있다면, 새로운 학습 아키텍처를 만들었다고 주장하지 않고도 이 연구 방향을 활용할 수 있습니다. 반복되는 작업 하나와 직접 살펴볼 수 있는 방식 하나부터 시작하세요. 다음 절차는 특정 논문에서 그대로 가져온 방법이 아니라 실무를 위한 설계 제안입니다.

1. 변경안을 만들기 전에 결과를 정의합니다. 문서 작성 AI라면 그대로 유지해야 할 사실과 중요한 형식 규칙을 정하세요. 코딩 에이전트라면 정확성, 지원 환경, 허용 가능한 실행 비용을 정의하세요. 대표 작업에서 기준 성능을 기록하세요.
2. 탐색과 채택을 분리합니다. 에이전트에는 학습에 활용할 개발용 예시를 주고, 처음 보는 문제에도 적용할 수 있는지 확인할 별도 사례를 남기세요. 채택 기준은 에이전트가 수정할 수 있는 범위 밖에 두세요. 새로운 절차와 기존 절차를 같은 조건에서 평가하세요.
3. 작고 검토 가능한 변경을 요구합니다. 제안한 메모리 항목, 프롬프트 수정, 도구 패치를 이유와 근거와 함께 저장하세요. 범위가 한정된 변경은 실패 원인을 찾기 쉽습니다. 작업 하나가 잘못될 때마다 모든 지침을 다시 쓰는 일은 피하세요.
4. 기존 능력 유지와 비용을 함께 확인합니다. 새 작업과 계속 잘돼야 하는 과거 사례를 모두 실행하세요. 시도 횟수, 실행 시간, 자원 사용량을 측정하세요. 무제한 재시도 끝에야 성공하는 개선은 실제 업무에 맞지 않을 수 있습니다.
5. 증거가 뒷받침하는 범위에서만 채택합니다. 성공한 버전을 평가 기록, 적용 범위, 필요한 경우 만료 조건과 함께 도입하세요. 이전 버전도 복구할 수 있게 보관하세요. 특정 환경에서 얻은 교훈이 조용히 보편적인 규칙으로 바뀌게 해서는 안 됩니다.
6. 근거가 부족하면 멈추고 복구합니다. 시간과 지출 한도를 명시하세요. 평가를 약화시키거나, 승인 없이 권한을 넓히거나, 필요한 동작을 퇴행시키는 변경은 거부하세요. 새 버전이 실패하면 확인된 버전으로 복구하세요. 끝없이 계속하는 것은 완료 기준이 아닙니다.

직접 제안한 제어 흐름입니다. 평가와 채택의 권한은 평가 대상이 수정할 수 있는 범위 밖에 둡니다. 인용한 연구 시스템이 이 도식의 보호 장치를 모두 구현했다는 뜻은 아닙니다.

가중치를 갱신하는 학습이라면 같은 운영상의 질문이 더 까다로워집니다. 데이터 사용 정책, 사용자 간 분리, 모델 체크포인트, 해로운 행동 변화에 대한 테스트도 정해야 합니다. 비공개 대화가 영구적인 학습 자료가 되는 것은 명확한 허가가 필요한 별도의 제품 결정입니다. “메모리”라는 기능을 켰다는 이유로 우연히 발생해서는 안 됩니다.

경험이 쌓일 수 있다면 AGI도 더 구체적인 가능성이 된다

이제 근거를 바탕으로 한 제 낙관적인 해석을 말씀드리겠습니다. 유용한 전략을 발견하고, 검증하고, 보존하고, 새 문제에 적용할 수 있는 시스템에는 다음 학습을 기다리는 것 이상의 성장 경로가 있습니다. 여기에 신뢰할 수 있는 파라미터 학습이 연결된다면, 최초의 모델은 그 시스템이 배울 수 있는 모든 것을 규정하는 것이 아니라 출발점의 능력이 됩니다.

저는 이것이 AGI를 더 구체적인 공학적 가능성으로 만든다고 봅니다. 그렇다고 AGI가 등장할 날짜를 정해 주지는 않습니다. 앞서 살펴본 결과 중 어느 것도 낯선 작업 전반에서 효과적으로 배우고, 중요한 것을 모두 유지하고, 충돌하는 목표를 다루며, 끝을 정하지 않은 발전 과정 내내 확실히 통제할 수 있는 시스템을 입증하지는 않았습니다.

제가 설득력을 느낄 증거는 현실적인 자원 한도 안에서, 분야가 달라져도 배운 것을 지속적으로 활용하는 능력입니다. 잘못 배운 교훈에서 회복하고, 기존 능력을 보호하고, 안전하지 않은 변경을 실제로 멈추거나 되돌릴 수 있다는 증거도 포함돼야 합니다. 새로운 벤치마크 최고 기록은 그 증거의 일부이지 전부가 아닙니다.

연구가 보여준 작동 방식과 이 글의 AGI 논의가 요구하는 더 넓은 증거를 구분한 도식입니다. 예측이나 측정된 진척도 척도가 아닙니다.

그래서 제가 다음 AI 시스템에 묻고 싶은 질문은 달라졌습니다. 한 달 동안 유용한 일을 한 뒤, 실제로 무엇을 배웠으며 그것을 어떻게 확인할 수 있을까요? 믿을 만한 답이 나온다면, 계속 시도하겠다는 또 하나의 약속보다 그 시스템의 미래를 더 잘 설명할 것입니다.

출처와 발표일

• Sakana AI, Darwin Gödel Machine, 2025년 5월 30일 — 에이전트 코드 개선, 벤치마크 결과, 보고된 보상 해킹.
• Snell 외, Scaling LLM Test-Time Compute Optimally, 2024년 8월 6일.
• Madaan 외, Self-Refine, 2023년 3월 30일.
• Shinn 외, Reflexion, 2023년 3월 20일, 2023년 10월 10일 수정.
• Wang 외, Voyager, 2023년 5월 25일.
• Google DeepMind, AlphaEvolve, 2025년 5월 14일.
• Tandon 외, End-to-End Test-Time Training for Long Context, 2025년 12월 29일.
• Feng 외, In-Place Test-Time Training, 2026년 4월 7일.
• Google Research, Introducing Nested Learning, 2025년 11월 7일.
• Kirkpatrick 외, Overcoming Catastrophic Forgetting, 2016년 12월 2일.
• Feng 외, FOREVER, 2026년 1월 7일, 2026년 4월 20일 수정.
• Huang 외, Large Language Models Cannot Self-Correct Reasoning Yet, 2023년 10월 3일.
• Kumar 외, Training Language Models to Self-Correct via Reinforcement Learning, 2024년 9월 19일.
• Harrington 외, When Does Continual Learning Require Learning, 2026년 7월 8일, 프리프린트.

출처는 2026년 9월 11일 확인했습니다. 벤치마크 수치는 각 연구진이 보고한 결과이며, 이 글에서 독립적으로 재현했다고 주장하지 않습니다. 실무 절차와 AGI 전망은 필자의 제안과 해석입니다.

---

Telli.sh의 제안: 원래 근거를 보존해 두면 나중에 배운 내용을 확인하기가 쉬워집니다. Telli.sh는 노트, 녹음, 웹 클립을 검색 가능한 개인 지식 모음으로 정리합니다. 내 결론 옆에 출처를 함께 남겨보세요. 다음 수정은 직접 살펴볼 수 있는 근거에서 시작할 수 있습니다.

Telli.sh로 나만의 지식 모음을 시작하세요