Deadlock과 Livelock, 자율성을 가르는 기준

피지컬 AI 논의가 자주 막히는 지점이 있다. “위험하다는 건 알겠는데, 그래서 무엇이 문제인가?”

이 질문에 답하지 못하면 논의는 감정이나 신념으로 흘러간다. 기존 제어공학이 강했던 이유는 단순하다. 문제를 감으로 말하지 않고, 구조와 성질(property)로 정의했기 때문이다. 피지컬 AI 역시 같은 언어를 써야 한다.

제어공학이 가장 먼저 묻는 질문

기존 제어 시스템에서 가장 먼저 묻는 질문은 성능이 아니다. 얼마나 빠른지, 얼마나 정확한지 이전에 다음을 확인한다.

이 시스템은 스스로 멈춰버리지 않는가.

이 시스템은 목적한 상태로 실제로 도달할 수 있는가.

제어공학에서는 이 두 질문을 각각 deadlock-free와 livelock-free라는 개념으로 정리해 왔다. 이는 고급 이론이 아니라, 시스템을 시스템으로 인정하기 위한 최소 조건이다.

Deadlock-free란, 시스템이 어떤 상태에 도달하더라도 더 이상 실행 가능한 행동이 완전히 사라지는 상황에 빠지지 않는다는 뜻이다. 판단을 반복하다가 스스로를 교착상태(deadlock)로 빠지지 않는다는 보장이다.

Livelock-free란, 시스템이 계속 움직이기는 하지만 의미 없는 반복 상태에 갇히지 않고 결국 의도한 목표 상태로 향한다는 성질을 말한다. 겉으로는 정상처럼 보이지만 아무것도 달성하지 못하는 공전상황(livelock)을 허용하지 않겠다는 선언에 가깝다.

이 두 조건은 “잘 동작하는가”가 아니라 “판단을 맡길 자격이 있는가”를 묻는 질문이다.

Deadlock은 왜 치명적인가

Deadlock은 시스템이 어떤 상태에 도달한 뒤 더 이상 선택할 수 있는 행동이 없는 상태를 의미한다. 이벤트는 발생하지 않고, 제어기는 아무것도 할 수 없다.

중요한 점은 deadlock이 명백한 오류나 무모한 행동 때문에 발생하지 않는다는 것이다. 오히려 각각은 합리적으로 보였던 판단들의 조합 결과로 나타난다. 제어공학에서는 이를 구조적 문제로 본다.

시스템이 현재 상태에서 의도한 방향으로 상태를 계속 이동시킬 수 있는지, 즉 제어 가능성(controllability)이 유지되는지를 묻는다.

강화학습 기반 피지컬 AI는 이 질문에 답하지 않는다. 정책은 “지금 이 상태에서 무엇을 할 것인가”만 알려줄 뿐, 그 선택이 이후의 선택 가능성을 어떻게 제한하는지는 설명하지 않는다.

그래서 학습된 판단이 실제 제어기나 상위 시스템과 맞지 않는 순간, 시스템은 그대로 멈춘다.

Livelock는 왜 더 위험한가

Livelock는 더 발견하기 어렵다. 시스템은 멈추지 않는다. 센서는 반응하고, 액추에이터는 움직이며, 로그는 계속 쌓인다.

하지만 목적 상태에는 도달하지 못한다. 시스템은 같은 상태 공간 안을 반복해서 순환할 뿐이다. 제어공학에서는 이를 안정성(stability) 문제로 본다. 시스템이 목표 상태로 수렴하는지, 아니면 의미 없는 궤도를 계속 도는지의 문제다.

강화학습에서는 이 현상이 국소 최적점에 갇힌 정책으로 나타난다. 보상은 나쁘지 않다. 그래서 학습은 이를 성공으로 오인한다.

하지만 시스템 차원에서는 실패다. 열심히 움직이지만, 아무 일도 이루지 못한다. 이것이 livelock의 본질이다.

왜 이 문제는 실험으로 해결되지 않는가

많은 피지컬 AI 프로젝트는 이렇게 말한다. “충분히 테스트했고, 문제는 발견되지 않았다.”

하지만 deadlock과 livelock는 드문 상태 조합에서 나타나는 구조적 속성이다. 유한한 실험으로 전체 상태 공간을 커버하는 것은 불가능하다.

그래서 제어공학은 실험 이전에 모델을 만든다. 모델을 통해 상태 공간을 드러내고, 그 구조 위에서 deadlock-free와 livelock-free 여부를 검증한다. 실험은 확인 수단이지, 증명 수단이 아니다.

시스템 차원의 언어가 사라진 자리

피지컬 AI 논의가 위험해지는 지점은 여기다. 판단을 이야기하면서 시스템을 이야기하지 않는다. 정책은 있지만 상태 공간은 없고, 성능은 있지만 구조적 속성은 없다.

이 순간 자율성은 기술이 아니라 신념이 된다. “잘 될 것이다”라는 기대가 “검증되었다”를 대신한다. 하지만 물리계는 신념을 받아들이지 않는다.

다음 질문은 이것이다.

그렇다면 질문은 자연스럽게 이어진다.

학습된 판단을 어떻게 시스템의 언어로 되돌릴 것인가.

AI의 결정을 어떻게 상태 전이 구조 안에 가둘 것인가.

그리고 그 구조를 어떻게 검증할 것인가.

다음 글에서는 이 질문에 대한 하나의 답, BAS 모델링이 왜 등장할 수밖에 없었는지를 다룬다. 피지컬 AI의 문제는 지능이 아니다. 지능을 담을 구조가 없다는 데 있다.

– 4탄에서 계속