#061
2026-11-11

AI 운영이 MTTR 60% 감축이라니: 빠른 수리는 빠른 복구가 아니다

📰 더 많은 뉴스 보기
전체 뉴스 목록

이번 주 솔트레이크시티에서 열린 KubeCon North America에서 Red Hat가 인용한 도입 조사 수치는 눈에 띄었다. 기업의 92%가 소프트웨어 개발 생명주기의 최소 한 단계에 AI를 통합했으며, 79%는 3년 이내 AI 에이전트 전면 도입을 예상하고 있다. AI 운영은 "쓸 것인가"의 단계를 지나 "투자할 가치가 있는가"의 단계에 들어섰다. 그리고 영업 자료의 손이 거의 매번 가리키는 지표는 하나다. MTTR(평균 해결 시간)이다. "MTTR 60% 감축", "복구 시간 90%까지 단축"——숫자는 그럴듯하지만, 아무도 묻지 않는 질문이 있다. 시계는 정확히 어디서 멈추는가.

먼저 시계의 정의부터. MTTR의 'R'은 repair, recovery, respond, resolve 가운데 어느 것이든 될 수 있고, 팀은 사전에 어떤 의미인지 합의해야 한다. 실제 운영에서는 적어도 세 개의 시계가 동시에 돌아가고 있다. 프로덕션 인시던트(경보가 울리는 순간부터 서비스 복구까지), 코드 이슈(발견부터 해결까지), 그리고 CI 실패(실패한 실행부터 모든 체크가 초록으로 바뀌는 때까지). DORA는 자사 지표를 "실패한 배포 복구 시간"으로 이름까지 바꿨다. 세 시계가 재는 것은 서로 다르고, 시간 스케도 몇 배씩 다르다. 그래서 벤더가 세 가지를 하나의 숫자로 묶어 "AI가 MTTR을 60% 줄였다"고 주장할 때, 먼저 물어야 하는 것은 이것이 어느 시계인지, 시작점과 끝점이 어떻게 정의되었는지가 먼저다.

더 중요한 것은 이렇다. 모델이 작성한 패치는 검증된 복구가 아니다. 진단 방향이 틀리면, 수리가 빠를수록 오히려 잘못된 자리에 떨어지며, 비용에는 "틀리게 고쳤다는 사실을 알아챌 때까지의 시간"까지 포함된다. 증상을 잠가 놓는 데 그친 패치는 마침 실행된 체크를 모두 통과하면서도 결함 자체를 남겨둘 수 있다. 손쉽게 놓치기 쉬운 숨은 비용도 있다. 바로 리뷰 대기열이다. Sonar의 개발자 1,100명 이상 대상 설문에서 38%가 "AI가 생성한 코드 리뷰는 동료 인간이 쓴 코드 리뷰보다 더 수고가 든다"고 답했다. 모델이 하루에 열여덟 개를 만들고, 각각 리뷰에 2분을 더 쓴다면 그 시간은 누군가가 부담해야 한다. 거기에 반복되는 CI 실패(실패할 때마다 파이프라인 한 바퀴 분의 비용), 재작업, 회귀——이 중 어느 하나라도 "빠른 수리"를 느린 복구로 늘릴 수 있다. 또 주의할 것은 MTTR이 "잘못된 이유로 내려갈 수 있다"는 점이다. 이슈를 무효로 닫아 버리거나, 통과할 때까지 계속 다시 돌리면 시계는 일찍 멈춘다——하지만 리스크는 제자리에 그대로 남아 있다.

독립적 검증도 쉽지 않다. METR의 2026년 2월 후속 연구는 "AI가 개발을 빠르게 만든다"는 신호가 신뢰할 수 없다고 결론 내렸다——개발자가 어떤 작업을 제출할지 스스로 고를 수 있고, 여러 에이전트가 동시에 돌면 시간 기록이 어려워지기 때문이다. DORA의 2025년 연구는 더 직접적이다. AI는 증폭기다. 조직이 이미 가진 강점도, 약점도, 양쪽 다 증폭시킨다. 즉, 다른 회사의 파일럿 데이터도, 벤더의 데모도, 우리 팀에겐 약한 근거에 불과하다.

그런데 진짜 ROI는 어떻게 측정해야 할까. 핵심은 간단한 질문 하나다. 워크플로 각 단계마다, AI는 일을 줄였는가, 옮겼는가, 더 늘렸는가——끝에서 끝까지의 시계에 대한 순수한 효과만이 숫자로 수 있다. 구체적으로. 한 번에 워크플로 하나만 보기(프로덕션 인시던트와 코드 수정을 섞지 않기). "AI 있음/아님" 그룹을 규칙으로 배정하고, 스스로 고르도록 내버려 두지 않기. 비슷한 중대도와 복잡도의 항목끼리 비교하기. 시작 이벤트와 종료 이벤트를 미리 확정하고, 타임스탬프는 기억이 아니라 CI, 티켓, 인시던트 관리 시스템에서 가져오기. 사람이 처음 건드린 시각, 수정 제안, 리뷰 승인, 검증 통과 같은 중간 타임스탬프까지 기록하기. 최소 샘플 수를 정하고, 평균값만이 아니라 중앙값과 구간을 보고하기.

💡 LAFA 관점

24/7 AI 운영의 시계는 "AI가 뭔가를 했다"는 순간에 멈추면 안 되며, "서비스가 확실하게 복구되어 안정적"임이 확인된 순간에 멈춰야 한다. LAFA는 모든 인시던트에 대해 경보·원인 파악·수리·검증까지의 전체 타임라인을 기록하고, 검증을 통과한 후에야 결과로 치른다. MTTR이 실제로 얼마나 줄었는지는 광고에서가 아니라, 여러분 자신의 데이터에서 계산되어야 한다.