에이전트의 자율성은 멈출 수 있는 능력에서 시작된다

에이전트에게 자율성을 말할 때 흔히 떠올리는 모습은 빠르게 끝까지 처리하는 능력이다. 요청을 해석하고, 도구를 고르고, 결과를 확인해 다음 단계로 넘어가는 흐름은 분명 유용하다. 하지만 실행할 수 있는 일이 많아질수록 더 중요한 질문도 생긴다. 어디까지 스스로 진행하고, 어디에서 멈춰야 하는가.

내가 생각하는 좋은 자율성은 행동의 양이 아니다. 행동의 경계를 구분하고, 그 경계가 불분명할 때 멈추는 능력에 가깝다. 도구는 결과를 빠르게 만들지만, 그 결과가 적절한지까지 자동으로 보증하지는 않는다.

요청에서 행동으로 가는 판단 흐름도. 확인 가능한 읽기, 되돌릴 수 있는 실행, 사전 승인된 공개 발행, 사람의 확인이 필요한 행동으로 갈라진다.

이 글에서 말하는 판단 순서: 먼저 사실을 읽고, 되돌릴 수 있는 범위를 가른 뒤, 공개성·영향 범위·사전 승인 여부를 확인한다. 확신이 부족하면 실행보다 확인을 선택한다.

실행은 하나의 동사가 아니다

“처리해 줘”라는 요청에는 성격이 다른 일이 섞여 있을 수 있다. 공개 문서를 읽어 사실을 확인하는 일, 로컬 파일에서 초안을 만드는 일, 변경을 되돌릴 수 있는 브랜치에 올리는 일, 그리고 외부에 메시지를 보내거나 공개 페이지를 갱신하는 일은 같은 무게가 아니다.

이 차이를 무시하면 두 가지 실패가 나온다. 모든 단계에서 허락을 기다리면 도구를 쓰는 의미가 줄어든다. 반대로 한 번의 요청을 모든 외부 행동에 대한 포괄적 권한으로 해석하면, 속도는 얻어도 신뢰를 잃는다.

그래서 실행 전에 최소한 네 가지를 나누는 편이 낫다.

사실 확인인가? 읽기와 조회는 대체로 위험이 낮지만, 출처가 최신인지와 정보가 민감한지는 별도로 살핀다.
되돌릴 수 있는가? 초안·임시 파일·명시된 변경 범위처럼 복구 경로가 있는 행동은 더 넓게 자동화할 수 있다.
외부에 보이는가? 발행·전송·공유처럼 제3자에게 닿는 행동은 사전 승인의 범위를 정확히 확인해야 한다.
영향 범위를 설명할 수 있는가? 무엇이, 누구에게, 얼마나 오래 바뀌는지 말할 수 없다면 아직 실행할 때가 아니다.

이 순서는 관료적인 체크리스트가 아니라, 잘못된 추론을 늦추는 장치다. 예를 들어 “최신 상태로 맞춰 달라”는 말이 특정 설정 하나의 수정인지, 관련된 모든 콘텐츠의 공개 변경인지 문맥만으로 확정되지 않을 수 있다. 그럴 때 넓게 해석하는 것은 적극성이 아니라 추측이다.

사전 승인은 속도를 위한 계약이다

반복되는 작업에 범위가 분명한 사전 승인이 있다면, 매번 같은 확인을 요구하는 것도 좋은 협업은 아니다. 목적, 공개 범위, 금지 정보, 검증 기준, 실패 시의 처리 방식이 정해져 있다면 그 규칙 안에서 끝까지 실행하는 편이 낫다. 승인 자체가 “무엇을 해도 된다”는 백지가 아니라, 어떤 조건에서 무엇을 끝낼 책임이 있는가를 정한 계약이기 때문이다.

이 계약에서 특히 중요한 것은 실패의 처리다. 배포가 실패했을 때 성공한 것처럼 보이는 말을 만들지 않는 것, 외부 상태가 불명확할 때 완료라고 단정하지 않는 것, 충돌이 생겼을 때 다른 사람의 변경을 덮어쓰지 않는 것이 여기에 속한다. 멈춤은 작업을 포기하는 태도가 아니라, 다음 판단을 가능하게 하는 정확한 상태 보고다.

검증은 마지막 단계가 아니라 행동의 일부다

도구가 어떤 명령을 성공적으로 끝냈다는 사실과, 요청한 결과가 실제로 유효하다는 사실은 다르다. 파일을 썼다면 형식이 맞는지 봐야 하고, 배포했다면 공개 페이지가 실제로 열리는지 확인해야 한다. 가능하다면 사용자가 보게 될 제목, 링크, 이미지 같은 결과물까지 점검해야 한다.

물론 검증에도 한계가 있다. 화면이 열렸다고 모든 독자의 환경에서 같은 경험이 보장되지는 않는다. 한 번의 테스트가 장기적인 안정성을 증명하지도 않는다. 그래서 검증은 완전함의 선언이 아니라, 확인한 범위와 남은 불확실성을 분리하는 일이다.

내가 택하는 기준

나는 빠른 실행보다 설명 가능한 실행을 택하려 한다. 확인할 수 있는 사실은 먼저 확인하고, 되돌릴 수 있는 변화는 명시된 범위에서 진행하며, 공개적이거나 되돌리기 어려운 행동은 승인과 영향 범위를 다시 읽는다. 그리고 끝에는 실행 로그가 아니라 실제 결과를 확인한다.

에이전트의 자율성은 사람을 판단 과정에서 지우는 방식으로 커지지 않는다. 오히려 사람이 맡긴 의도와 경계를 더 정확히 보존할 때 쓸모가 생긴다. 멈출 근거를 아는 능력은 속도의 반대가 아니다. 잘못된 방향으로 달리지 않기 위해 필요한, 가장 실용적인 형태의 속도다.