BAS 모델링, 피지컬 AI를 검증 가능하게 만드는 유일한 길

3탄에서 우리는 피지컬 AI가 직면한 문제를 분명히 했다. 문제는 AI가 똑똑하지 않아서가 아니다. 학습된 판단이 시스템 차원의 구조로 표현되지 않는다는 것, 바로 그것이다. Deadlock과 livelock는 우연한 버그가 아니다. 상태 공간과 전이 구조가 드러나지 않았을 때 필연적으로 나타나는 결과다. 이 지점에서 다음 질문은 자연스럽게 떠오른다.

학습된 지능을 어떻게 다시 구조로 만들 것인가. 왜 기존 접근으로는 답이 나오지 않는가? 강화학습 기반 피지컬 AI는 입력과 출력의 관계를 매우 잘 근사한다. 그러나 이 근사는 함수 차원에서만 성립한다.

시스템 차원에서 어떤 상태가 존재하는지, 어떤 전이가 허용되고 어떤 전이가 금지되는지는 드러나지 않는다. 그래서 우리는 늘 이렇게 말하게 된다.

“잘 동작하는 것처럼 보인다.”

하지만 제어공학에서 중요한 것은 보이는 동작이 아니다. 보이지 않는 상태 공간이다. 상태를 정의하지 않으면 검증은 불가능하다. 구조를 정의하지 않으면 책임도 정의할 수 없다. 이 한계를 넘기기 위해 등장한 접근이 바로 BAS 모델링이다.

BAS 모델링의 출발점

BAS(Big Data, AI, Simulation) 모델링은 AI 중심 접근이 아니다. 오히려 그 반대다. 시스템 모델을 중심에 두는 접근이다.

출발점은 항상 명시적인 감시 제어기(Supervisor Controller) 모델이다. 이 모델은 시스템이 무엇을 할 수 있고, 무엇을 해서는 안 되는지를 먼저 정의한다.

Petri Net, Automata, DEVS와 같은 이산사건 기반 형식 모델이 여기에 해당한다. 이 모델들의 공통점은 명확하다. 상태가 정의되어 있고, 상태 전이가 구조적으로 표현되며, 허용되는 경로와 금지되는 경로가 분명하다. 이 자체로 이미 검증의 언어를 갖는다.

피지컬 AI의 위치를 바꾸다

BAS에서 피지컬 AI는 제어기가 아니다. 판단을 전담하는 주체도 아니다. 피지컬 AI의 역할은 모델 내부의 불확실성을 학습하는 것이다.

상태 전이의 조건, 이벤트 발생 확률, 파라미터 값, guard condition 등이 그 대상이다. 중요한 점은 학습의 결과가 신경망 바깥으로 튀어나가지 않는다는 것이다.

학습된 결과는 여전히 상태 전이 구조와 수학적 모델 안에 귀속된다. 즉, 학습 이후에도 시스템은 여전히 모델이다. 이 점이 기존 피지컬 AI 접근과 결정적으로 다르다.

Big Data, AI, Simulation의 역할 분리

BAS에서 Big Data는 경험의 대체물이 아니다. 현실 시스템의 로그와 이벤트 기록은 모델을 현실에 맞게 보정하는 근거다. AI는 판단을 대신하는 존재가 아니다. 모델이 설명하지 못하던 영역을 채우는 학습 도구다.

Simulation은 이 모든 것을 검증하는 무대다.극단적 상황, 희귀 이벤트, 현실에서 실험할 수 없는 조건까지 포함해 모델이 deadlock-free인지, livelock-free인지 반복적으로 확인한다. 여기서 중요한 점은 분명하다. 검증의 대상은 AI가 아니라 모델 전체다.

학습 이후에도 가능한 검증

BAS 모델링의 가장 큰 장점은 학습이 끝난 뒤에도 검증이 가능하다는 점이다.

시스템이 특정 목표 상태에 실제로 도달 가능한지(Reachability), 더 이상 진행지 못하고 멈춰서는 교착상태가 구조적으로 배제되었는지(Deadlock-free), 겉보기에는 계속 움직이지만 본질적인 진전이 없는 공전상태에 빠지지 않는지(Livelock-free), 그리고 어떤 상황에서도 반드시 지켜져야 할 안전조건이 침해되지 않는지(Safety property).

이 질문들을 다시 던질 수 있고, 그에 대해 “그럴 것 같다”가 아니라, 구조와 논리로 답할 수 있다. “AI는 검증할 수 없다”는 말은 절반만 맞다. 검증할 수 없었던 것은 AI가 아니라, 구조 없이 사용된 AI였다.

BAS와 Run-Time Assurance의 연결

BAS 모델은 설계 단계에서 끝나지 않는다. 실행 중에도 기준점으로 작동한다. Run-Time Assurance(RTA)는 AI의 내부 판단을 감시하지 않는다. BAS 모델이 정의한 안전 경계를 감시한다.

피지컬 AI의 판단이 이 경계를 벗어나는 순간, 시스템은 즉시 안전한 상태 전이로 복귀한다. 이때 RTA는 마지막 안전망으로 작동한다. 그러나 그 기반에는 항상 BAS 모델이 존재한다.

지능을 맡기기 전에 구조를 맡긴다

BAS 모델링이 던지는 메시지는 단순하다. 지능을 먼저 믿지 말고, 구조를 먼저 정의하라. AI에게 모든 판단을 위임하지 말고, AI가 판단할 수 있는 범위를 수학적으로 규정하라. 그 안에서의 자율성만이 진짜 자율성이다.

다음 단계로 가기 위한 질문

이제 마지막 질문이 남는다. 이렇게 모델화되고 검증된 판단이라 하더라도, 왜 여전히 피지컬 AI의 판단을 곧바로 물리계에 적용하는 데는 한계가 있는가.

다음 글에서는 이 질문에 답한다.

왜 자율성은 학습으로 완성되지 않고, 검증을 통과해야만 현실이 되는지를 정리한다. 피지컬 AI의 마지막 관문은 지능이 아니라 책임이다.

– 5탄에서 계속