학습된 지능과 책임질 수 있는 판단의 간극

피지컬 AI(Physical AI, PAI)에 대한 기대가 커질수록 반복해서 등장하는 질문이 있다. “이 정도면 이제 실제로 써도 되지 않나?”

강화학습 기반 PAI는 시뮬레이션과 제한된 실험 환경에서 놀라운 성능을 보여준다. 복잡한 상태 공간에서도 스스로 정책을 형성하고, 인간이 명시적으로 설계하지 않은 행동 전략을 만들어낸다. 화면 속 데모만 보면, 자율 시스템은 이미 완성된 것처럼 보인다. 그러나 현실의 물리계 앞에서 이 판단은 멈춘다. 문제는 성능이 아니다. 적용이다. 정확히 말하면, 책임질 수 있느냐의 문제다.

잘 작동한다는 것과 맡길 수 있다는 것의 차이

시뮬레이션에서 잘 작동하는 것과 실제 시스템에 맡겨도 된다는 것은 전혀 다른 이야기다. 물리계는 되돌릴 수 없고, 실패 비용이 크며, 단 한 번의 오판이 시스템 전체를 파괴할 수 있다.

그래서 제어공학은 전통적으로 매우 보수적이었다. “잘 되더라”가 아니라 “왜 항상 망가지지 않는가”를 먼저 증명해왔다.

인간이 판단을 위임하는 순간, 질문은 바뀐다. 이 판단이 똑똑한가가 아니라, 이 판단이 시스템을 파괴하지 않는가가 된다.

PAI는 이 질문에 바로 답하지 못한다.

PAI 판단의 구조적 한계

강화학습 기반 PAI는 정책(policy)을 학습한다. 그러나 그 정책은 전체 시스템 차원의 논리로 환원되지 않는다.

어떤 상태에서 어떤 행동을 선택했는지는 알 수 있다. 하지만 그 선택들이 누적되며 만들어내는 전체 상태 전이 구조는 명시적으로 드러나지 않는다.

이때 두 가지 근본적인 문제가 발생한다. 하나는 시스템이 더 이상 진행할 수 없는 상태에 빠지는 경우다. 다른 하나는 계속 움직이지만 목적 상태에 도달하지 못하는 경우다.

전자를 deadlock(교착 상태), 후자를 livelock(공전 상태)이라 부른다. 이 둘은 단순한 오류나 구현상의 버그가 아니다. 개별 판단이 아니라 시스템 전체의 속성이다.

Deadlock-free가 보장되지 않는 판단

Deadlock은 시스템이 막다른 상태에 도달해 더 이상 어떤 행동도 할 수 없게 되는 경우다. 물리계에서는 정지, 충돌, 임무 실패로 직결된다.

그러나 PAI의 관점에서는 이는 단지 “보상이 낮은 상태”일 수 있다. 학습 과정에서는 다시 빠져나올 수 있었던 상태가, 현실에서는 회복 불가능한 실패가 된다.

중요한 점은 강화학습이 이 deadlock 가능성을 사전에 증명하지 못한다는 사실이다. 정책이 학습되었다는 사실은 전체 상태 공간 어딘가에 막다른 길이 존재하지 않는다는 보증이 아니다.

Deadlock-free 여부는 학습 결과로 확인되는 성질이 아니다. 모델의 구조로 증명되어야 하는 조건이다.

Livelock-free와 안정성의 문제

Livelock은 더 위험하다. 시스템은 멈추지 않는다. 계속 움직이고, 판단도 하고, 이벤트도 발생한다. 그러나 목표 상태에는 도달하지 못한 채 같은 영역을 반복해서 순환한다.

제어이론적으로 이는 안정성(stability)의 문제와 연결된다. 시스템이 목표 상태로 수렴하는가, 아니면 의미 없는 반복 궤도에 갇히는가의 문제다.

강화학습 정책은 국소 최적점에 머무를 수 있다. 학습은 성공했지만, 임무는 실패한 상태다. 이 역시 개별 행동의 우수성으로는 판단할 수 없다. 전체 전이 구조를 기준으로 livelock-free가 검증되지 않으면, 실제 물리계 적용은 불가능하다.

왜 RTA만으로는 부족한가

Run-Time Assurance(RTA)는 중요한 안전장치다. 실행 중 위험한 행동을 차단하고, 비상 상황에서 시스템을 안전 상태로 되돌린다.

그러나 RTA는 어디까지나 사후적 방어다. 판단 자체가 안전한지, 시스템 구조상 문제가 없는지를 증명하지는 않는다.

Deadlock이나 livelock은 실행 중 즉시 드러나지 않을 수도 있다. 문제가 발생했을 때 개입하는 것과, 문제가 구조적으로 발생하지 않음을 사전에 증명하는 것은 전혀 다른 차원의 이야기다.

자율성을 부여하려면, 실행 이전에 판단을 포함한 전체 시스템이 deadlock-free이고 livelock-free임이 검증되어야 한다. 이 조건이 빠진 자율성은 기술이 아니라 도박이다.

다시 BAS로 돌아오는 이유

이 지점에서 다시 BAS(Big Data+AI+Simulation) 모델링의 필요성이 드러난다.

PAI의 판단을 Petri Net, Automata, DEVS와 같은 형식 모델에 연결하지 않으면 상태 공간과 전이 구조는 보이지 않는다. 보이지 않는 위험은 관리할 수 없다.

BAS는 AI를 제한하기 위한 틀이 아니다. AI의 판단을 검증 가능한 구조로 드러내기 위한 장치다.

학습된 판단이 모델 안에 귀속되는 순간, deadlock과 livelock은 비로소 분석 대상이 된다.

자율성의 최소 조건

PAI의 판단이 실제 물리계에 적용되기 위한 최소 조건은 명확하다. 판단을 포함한 전체 시스템이 deadlock-free이며 livelock-free임이 사전에 검증되어야 한다.

이는 과도한 요구사항이 아니다. 오히려 자율성을 논하기 위한 최소한의 출발선이다.

마무리하며

피지컬 AI의 한계는 지능의 부족이 아니다. 검증 없이 판단을 맡기려는 우리의 성급함이다.

기대가 실망으로 바뀌지 않으려면, 기술의 한계를 감추는 대신 정확히 정의해야 한다. 그리고 그 정의의 중심에는 언제나 같은 질문이 있다.

이 판단은, 책임질 수 있는가? 다음 편에서는 이 질문에 정면으로 답한다. 피지컬 AI의 마지막 관문은 기술이 아니라 책임의 구조화다.

– 6편에서 계속