법과 절차를 지키면 안전하다는 믿음의 붕괴

우리는 오랫동안 법과 절차를 지키는 것이 곧 안전이라고 믿어왔다. 규정을 준수하면 책임에서 자유로워지고, 매뉴얼대로 움직이면 조직은 보호받는다고 여겼다. 그러나 AI가 스스로 판단하고 행동하는 시대에 들어서면서 이 전제는 더 이상 성립하지 않는다. 오늘날 발생하는 많은 사고는 불법의 결과가 아니라, 오히려 법과 절차를 충실히 따른 결과로 나타난다.

사고 이후 반복되는 질문은 늘 같다. “법과 절차를 다 지켰는데 왜 문제가 생겼는가.” 현실에서 이 질문은 책임의 공백으로 귀결된다. 실무자는 규정을 따랐고, 조직은 절차를 준수했으며, 제도는 당시 기준에 문제가 없었다고 말한다. 그 결과 책임은 개인에게도 제도에게도 귀속되지 않는다. 사고는 발생했지만, 누구도 잘못하지 않은 상태가 만들어진다.

절차는 문서가 아니라 제어 로직이다

절차는 행정 문서가 아니다. 공학적으로 보면 절차는 알고리즘이며, 제어 로직이다. 특히 AI가 포함된 복합시스템(System of Systems, SoS) 환경에서는 절차 자체가 시스템의 일부로 작동한다. 그렇다면 절차에는 반드시 충족돼야 할 조건이 있다. 절차가 멈추지 않아야 하고, 헛돌지 않아야 하며, 절차대로 수행하면 목적 상태에 도달함이 보장돼야 한다.

제어 이론의 언어로 말하면, 절차에는 교착상태(Deadlock, 문제는 해결되지 않았는데 행위가 멈춘 상태)가 없어야 하고, 무한반복(Livelock, 행위는 진행되지만 문제는 해결되지 않은 상태)도 없어야 하며, 무엇보다 수렴성이 입증돼야 한다. 이 조건을 만족하지 못하는 절차는 안전 장치가 아니다. 그것은 사고를 구조적으로 내포한 설계다. 그럼에도 우리는 절차가 존재한다는 이유만으로 안전하다고 착각해왔다.

AI 시대에 기존 매뉴얼이 실패하는 이유

현재의 법규와 매뉴얼은 사람의 판단 속도와 사후 책임을 전제로 설계돼 있다. 이상이 발생하면 보고하고, 검토하고, 승인하고, 조치하는 흐름이 기본이다. 그러나 AI 기반 국방·산업 시스템에서는 몇 초의 지연이 수천 번의 자동 판단과 행동으로 증폭된다. 이 환경에서 사람 중심의 절차는 대응을 돕기보다 오히려 시스템을 위험한 상태로 몰아넣을 수 있다.

더 큰 문제는 많은 매뉴얼이 ‘상태’를 정의하지 않는다는 점이다. 위험이 언제 시작되고 언제 종료되는지, 지금 시스템이 정상 상태인지 위험 상태인지, 아니면 통제 불능 상태로 진입했는지에 대한 정의가 없다. 행위는 기록되지만, 그 행위가 실제로 위험을 줄였는지는 검증되지 않는다. 그 결과 절차를 성실히 따를수록 문제 해결과 멀어지는 무한반복상태(Livelock)가 발생한다.

전쟁 상황에서도 절차는 우리를 지켜줄 수 있는가

일어나서는 안 되겠지만, 만약 전쟁이 발발한다면 어떨까. 법과 절차를 잘 지키며 지휘통제를 수행하면 피해를 최소화할 수 있을까. 국방 시스템은 과연 제대로 작동할까.

전쟁은 가장 극단적인 시간 압축 환경이다. 센서, 무기, 지휘통제, 통신, AI 판단이 동시에 작동하는 복합시스템(System of Systems)에서는 단 하나의 절차 지연이나 상태 정의 오류가 연쇄적인 오판과 오작동으로 이어진다. 이때 절차가 단순히 “규정에 맞게 실행되었는가”만을 기준으로 설계돼 있다면, 그 절차는 안전장치가 아니라 위험 증폭기가 된다.

전쟁 상황에서 필요한 것은 절차 준수 그 자체가 아니라, 절차를 실행했을 때 시스템이 실제로 안전 상태 또는 목표 상태로 수렴하는가에 대한 보장이다. 수렴하지 않는 절차는 평시에는 비효율로 끝날 수 있지만, 전시에는 치명적인 피해로 이어진다.

목적에 수렴하지 않는 절차는 존재할 이유가 없다

AI 시대의 절차는 사람의 선의나 숙련에 기대서는 안 된다. 이상이 감지되면 사람이 판단하기 전에 시스템이 먼저 안전 상태로 전이할 수 있어야 한다. 절차의 종료 조건은 “조치를 했다”가 아니라 “위험이 통제되었다”여야 한다. 무엇보다 절차 자체가 사전에 검증돼야 한다.

매뉴얼은 승인되기 전에 질문을 받아야 한다. 이 절차를 그대로 실행하면 교착상태(Deadlock)에 빠지지 않는가, 무한반복상태(Livelock)로 헛돌지는 않는가, 시간 제약 하에서도 목적 상태로 수렴하는가. 이러한 질문에 대한 답은 문서 검토로 얻어지지 않는다. 가상실험과 시뮬레이션을 통해서만 검증될 수 있다.

법의 역할은 면책이 아니라 예방이다

이제 법의 역할도 달라져야 한다. 법은 절차 준수 여부를 확인하는 장치가 아니라, 위험을 사전에 검증했는지를 묻는 기준이 돼야 한다. 문서가 존재했는지가 아니라, 그 절차가 실제 시스템에서 작동하며 목적 상태로 수렴함이 증명됐는지가 책임의 기준이 되어야 한다.

법과 절차가 현실의 속도와 구조, 특히 AI와 복합시스템의 작동 방식을 반영하지 못한다면, 그것은 선의로 지켜질수록 더 큰 사고를 만든다. AI 시대에 법은 면책의 방패가 아니라, 사고를 미리 막는 설계 기준이어야 한다.

수렴이 증명되지 않은 절차는 위험하다

법을 지켜서 사고가 났다면, 그것은 개인의 잘못이 아니라 제도 설계의 실패다. 이제 매뉴얼은 책임을 피하기 위한 종이가 아니라, 목적 달성을 보증하는 설계여야 한다. 교착상태(Deadlock)와 무한반복상태(Livelock)가 제거되지 않은 절차는 집행돼서는 안 된다.

정리하면, AI가 실제로 행동하는 시대에 우리가 다시 정의해야 할 법과 절차의 출발점은 디지털트윈 기반 가상실험을 통해 수렴성과 안전성을 검증한 절차만 시행한다는 원칙이다. 정책과 법제도를 시행하기 전에, 반드시 가상실험으로 검증 및 최적화하도록 법제화해야하는 이유다.