모델이 좋아지자, 하네스를 걷어내기 시작했다
최근에 직접 만들어 쓰던 AI 하네스의 상당 부분을 지웠다.
하네스는 AI가 일을 수행하는 방식과 검토 절차를 정해놓은 장치다. 작업을 반복하게 만드는 루프, 결과물을 검수하는 지침, 다음 단계로 넘어가는 조건 같은 것들이 여기에 들어간다.
한동안은 이것을 얼마나 잘 만드느냐가 AI 활용 능력의 중요한 부분이라고 생각했다.
그런데 모델이 바뀔 때마다, 내가 만든 장치의 역할도 달라졌다.
Opus 4.6~4.8을 쓸 때는 결과물이 나오는 것과 제대로 작동하는 것이 다른 문제였다. 요청한 페이지는 만들어줬지만, 직접 열어보면 치명적인 버그가 나오는 일이 종종 있었다.
작업을 끝냈다는 말을 그대로 믿기 어려웠다.
그래서 ralph-loop를 붙이고, 별도의 검토 스킬과 문서를 넣었다. 결과물을 한 번 더 확인하고, 문제가 있으면 수정한 뒤 작업을 이어가게 만들었다. 당시에는 이런 장치가 필요했다.
Opus 5와 GPT 5.6 Sol을 쓰면서는 다른 문제가 생겼다.
작업과 검토가 너무 오래 돌아가기 시작했다. 검토에서 문제를 발견해 수정하고, 수정한 결과를 다시 검토하면 새로운 수정 사항이 나왔다. 완성까지 40시간 넘게 작업이 이어진 경우도 있었다.
검토를 충실하게 할수록 끝내기 어려워지는 상황이었다.
이전 모델의 실수를 막으려고 촘촘하게 만든 지침이, 새로운 모델에서는 계속 일을 만들어내는 조건이 된 것 같았다. 그래서 기존 하네스의 70% 정도를 걷어냈다. 최소한의 가이드라인과 작업을 이어가는 루프만 남겼다.
GPT 6 Astra를 쓰면서는 그 작업 루프도 대부분 없앴다.
내가 쓰는 업무에서는 기본 하네스만으로도 충분하다는 느낌을 받았다. 별도로 붙여놓은 장치가 결과를 개선하기보다, 이미 수행한 검토를 다시 시키는 경우가 늘었다.
기본적으로 검토하는 에이전트 위에 내가 만든 검토 루프를 올리고, 그 위에 다시 검수 지침을 얹으면 같은 일을 두세 번 하게 된다.
더 잘 일하게 하려고 만든 장치가 중복 업무를 만드는 셈이다.
물론 이것은 내가 사용하는 업무와 환경에서의 경험이다. 모든 하네스가 불필요해졌다는 이야기는 아니다.
다만 한 가지는 분명하게 느꼈다. 모델의 약점을 보완하기 위해 만든 시스템은, 그 약점이 사라지면 가치가 빠르게 줄어들 수 있다.
더 정교한 하네스에 계속 투자해야 할까
올해 초까지만 해도 프롬프트 엔지니어링에서 컨텍스트 엔지니어링으로, 다시 하네스 엔지니어링으로 관심이 이동했다. 나 역시 하네스의 중요성을 많이 이야기했다.
지금도 하네스는 중요하다. 다만 필요한 기능의 상당 부분을 모델과 서비스가 기본으로 제공하기 시작했다.
개인이 시간을 들여 구현한 작업 관리와 검토 기능을, 다음 세대 서비스가 더 잘 만들어서 내놓는 것이다.
2026년 2분기까지는 직접 만든 시스템이 최첨단은 아니어도, 나에게 맞춘 시스템이고 구축 경험 자체에도 가치가 있다고 생각했다. 그 생각이 완전히 틀렸다고 보지는 않는다.
하지만 경험의 가치와 앞으로 시간을 더 투자할 이유는 구분해야 한다.
새로운 모델이 나올 때마다 걷어낼 장치를 계속 정교하게 만드는 것이, 개인과 팀에게 가장 좋은 투자일까?
다음 모델에 가져갈 수 있는 재료
여기서 내가 쌓아야 할 자산에 대한 생각이 바뀌었다.
새로운 모델과 서비스가 나오면, 그것에 넣어줄 수 있는 재료가 더 중요해지는 것 같다.
모델이 아무리 좋아져도 내가 어떤 일을 해왔는지, 우리 팀이 무엇을 시도했는지, 어떤 선택지를 검토하다 버렸는지까지 저절로 알지는 못한다.
회의록에 “A안을 선택했다”는 결론만 남아 있다면, 다음 모델도 그 결론만 보게 된다.
당시에는 어떤 제약이 있었는지, B안을 왜 버렸는지, 누구의 우려가 맞았는지, 실행해보니 무엇이 달랐는지가 남아 있어야 다음 판단에 쓸 수 있다.
매번 이런 맥락을 기억에서 꺼내 설명하는 데도 한계가 있다. 시간이 지나면 당시 중요하게 생각했던 이유부터 잊힌다.
그래서 지금 개인과 팀이 우선적으로 만들어야 할 것은, 일하는 과정에서 생기는 맥락이 자연스럽게 남는 시스템이라고 생각한다.
개인에게는 읽은 글, 본 영상, 들은 팟캐스트가 재료가 된다. 여기에 내가 무엇을 중요하게 봤고, 어떤 생각을 했으며, 무엇을 쓰고 말했는지가 더해진다.
팀에는 리서치, 인터뷰, 회의, 의사결정과 실행 결과가 쌓인다. 최종 보고서만 보관해서는 부족하다. 보고서가 만들어지는 동안의 질문과 판단도 남아야 한다.
중요한 것은 이것을 저장하는 일이 또 하나의 업무가 되지 않게 만드는 것이다.
매번 마음먹고 정리해야 한다면 바쁠 때부터 빠진다. 읽고, 대화하고, 결정하고, 실행하는 평소의 흐름 안에서 최대한 자동으로 남아야 한다.
그렇다고 무조건 많이 모으면 된다는 뜻은 아니다.
자료의 출처와 시점, 내가 붙인 생각, 결정의 이유와 결과가 연결되어 있어야 한다. 원문만 잔뜩 모인 저장소와, 판단의 맥락이 남아 있는 기록은 다음 모델에 제공하는 가치가 다르다.
이런 기록에는 하네스와 다른 성질이 있다.
더 좋은 하네스가 출시되면 기존 시스템을 교체할 수 있다. 하지만 기록하지 않은 지난 1년의 판단을, 새 서비스가 나왔다고 그대로 복원할 수는 없다.
언젠가 누군가 더 좋은 축적 시스템을 만들어 배포할 것이다. 그때 시스템은 갈아타면 된다. 지금부터 남긴 기록까지 버릴 필요는 없다.
축적의 가치는 저장 도구보다 그 안에 쌓인 시간에 있다.
모델이 발전하면 적은 정보만으로도 의도를 잘 추론할 것이고, 개인 데이터의 추가적인 가치가 줄어드는 시점도 올 수 있다. 모든 기록이 같은 가치를 갖는 것도 아니다.
그래도 지금 기록한 판단을 나중에 돌아보고, 결과와 비교하고, 다음 판단에 다시 쓸 수 있다는 점에서 누적 효과는 분명히 있다고 본다.
나를 복제하는 데서 끝나지 않으려면
다만 여기에는 한 가지 함정이 있다.
나의 말과 행동, 판단을 충분히 모으면 AI는 나를 점점 더 잘 흉내 낼 수 있게 된다.
그런데 현재의 나를 잘 흉내 내는 것이 최종 목표일까?
나에게는 익숙한 방식이 있지만, 그 방식이 가장 좋은 방법이라는 보장은 없다. 내가 반복하는 실수와 편견까지 충실하게 재현하는 AI가 만들어질 수도 있다.
앞으로 나보다 훨씬 뛰어난 사람의 판단 방식을 구현한 에이전트가 나올 수도 있다. 지금의 내가 일하는 방식을 그대로 고집할 이유는 더 줄어들 것이다.
그렇다고 내 기록의 가치가 없어지는 것은 아니다.
내 기록은 AI에게 나처럼 판단하라고 주는 정답지가 아니라, 내 상황을 이해하고 내 판단을 개선하라고 주는 재료다.
무엇을 시도했고, 어디서 틀렸고, 어떤 제약 속에서 선택했는지를 알아야 더 나은 방법도 제안할 수 있다.
기록을 쌓고, 나의 판단도 발전시키기
따라서 데이터 축적과 함께 해야 할 일은 나 자신을 발전시키는 것이다. 더 많이 배우고, 더 다양한 경험을 하고, 생각을 더 정확하게 표현할 수 있어야 한다.
이 부분에서도 AI를 활용할 수 있다. 내가 혼자라면 접근하지 못했을 일을 시도하고, 이해하기 어려웠던 내용을 배우고, 내 판단의 빈틈을 확인하는 데 쓰는 것이다.
그래서 요즘은 두 가지 원칙을 지키려고 한다.
첫째, AI가 작업을 끝내면 무엇을 했는지 적어도 한 번은 훑어본다. 결과물이 나왔는지만 보는 것이 아니라, 어떤 자료를 읽고 어떤 선택을 했는지 확인한다. 다음에는 내가 더 나은 질문과 판단을 할 수 있어야 하기 때문이다.
둘째, 최대한 많이 읽고 접하되, 그에 대한 내 생각을 글이나 말로 남긴다. 알고 있다고 느끼는 것과 다른 사람에게 설명할 수 있는 것은 꽤 다르다. 표현하는 과정에서 생각의 빈틈이 드러나고, 그 빈틈을 메우는 것이 배움이 된다.
하네스는 앞으로도 만들고 고치게 될 것이다. 다만 모델이 바뀌면 버릴 수 있는 장치와, 모델이 바뀌어도 가져갈 자산을 구분해서 시간을 쓰려고 한다.
지금 점검할 것은 두 가지다.
오늘의 경험과 판단이 다음에 쓸 수 있는 기록으로 남고 있는가.
그리고 그 일을 하기 전보다, 내가 조금이라도 더 나아졌는가.