에이전트 AI와 피지컬 AI가 빠르게 확산되고 있다. 이제 AI는 단순히 분석하고 추천하는 도구가 아니다. 스스로 판단하고 결정하며, 현실 공간에서 움직인다. 로봇은 작업을 수행하고, 자율 시스템은 교통을 제어하며, 무인 체계는 전략적 판단을 지원한다. 알고리즘의 오류는 더 이상 화면 속의 문제가 아니다. 물리적 충돌과 사회적 위험으로 이어질 수 있다.

이 변화는 규제의 성격을 근본적으로 바꾸고 있다. 규제는 산업을 묶는 장치가 아니라, 복잡한 체계를 안정화하는 설계 요소가 되어야 한다. 그렇기에 지금, 규제 합리화는 단순한 완화의 문제가 아니라 신뢰 설계의 문제가 되었다.

피지컬 AI는 제어에 지능이 결합된 구조다

피지컬 AI의 본질은 명확하다. 그것은 제어시스템에 AI가 탑재된 구조다. 전통적인 제어 시스템은 센서로 상태를 인지하고, 수학적 모델 기반 제어기를 통해 오차를 줄이며, 물리적 동작을 수행한다. 목표가 주어지면 안정성을 유지하는 구조였다.

그러나 AI가 제어 루프 안에 들어오면 상황은 달라진다. AI는 단순히 오차를 줄이는 것이 아니라 상황을 해석하고 정책을 선택한다. 동일한 조건에서도 다른 행동을 할 수 있고, 환경에 적응한다. 제어는 더 이상 순수한 안정화 문제가 아니라 판단이 결합된 복합 체계가 된다. 이 순간 규제의 관점도 달라져야 한다. 문제는 통제의 강도가 아니라, 신뢰의 구조다.

통제를 넘어 신뢰로

전통적인 규제는 사후적이었다. 문제가 발생하면 절차를 추가하고, 사고가 나면 기준을 강화했다. 그러나 자율성과 속도가 결합된 시스템에서는 사후 통제가 충분하지 않다. 인간의 개입 속도는 시스템의 작동 속도를 따라가지 못한다.

여기서 중요한 개념이 RTA(Run-Time Assurance)다. RTA는 AI가 판단과 제어를 수행하되, 사전에 정의된 안전 경계를 벗어나려 할 경우 검증된 안전 제어기로 전환하는 구조다. 성능은 AI가 담당하고, 안전은 구조가 보장한다. 인간은 최종 책임을 지되, 실시간 개입이 아닌 구조적 통제를 통해 위험을 관리한다. 이것은 AI를 억제하는 방식이 아니다. 성능과 안전을 분리하여 동시에 확보하는 설계 방식이다.

시스템은 Products·Processes·People의 결합이다

어떤 체계든 단일 기술로 성립하지 않는다. 시스템은 Products, Processes, People의 결합이다. 기술과 장비, 운영 절차, 그리고 역할과 책임을 지는 사람이 정렬되어야 한다.

제품만 발전시키고 절차를 설계하지 않으면 위험은 커진다. 절차만 강화하고 사람의 책임 구조를 명확히 하지 않으면 경직이 생긴다. 사람의 자율만 강조하고 구조를 설계하지 않으면 발산이 일어난다. 규제 합리화는 이 세 요소를 동시에 고려하는 설계 문제다.

국가는 복합체계(System of Systems)다

국가는 하나의 시스템이 아니다. 산업, 국방, 행정, 금융, 에너지, 교육이 상호작용하는 복합체계, 즉 System of Systems다. 피지컬 AI는 이 모든 영역에 영향을 미친다. 따라서 규제는 특정 기술의 허용 여부를 넘어서, 국가 전체 구조의 안정성과 직결된다.

복합체계를 외부 통제로 유지하려 하면 경직이 발생한다. 상호작용이 늘어날수록 예외 상황은 증가하고, 승인 절차는 복잡해지며, 책임은 분산된다. 이 구조를 바꾸지 않으면 규제는 계속 늘어날 수밖에 없다.

DBSE, 신뢰를 사전에 검증하다

여기서 DBSE(Digital twin-Based Systems Engineering)가 중요해진다. DBSE는 목적을 정의하고, 요구사항을 구조화하며, Products·Processes·People을 통합 설계한다. 그리고 운영환경과의 상호작용을 가상환경에서 반복적으로 검증한다.

RTA가 실행 단계의 안전 경계라면, DBSE는 설계 단계의 신뢰 구조다. 두 접근이 결합될 때 성능과 안전은 동시에 확보될 수 있다. 신뢰는 승인 절차의 숫자에서 나오지 않는다. 구조적 검증에서 나온다.

실용주의의 완성

대통령이 강조하는 실용주의는 결과 중심 사고다. 국민의 안전과 신뢰를 지키면서도 효과를 극대화하는 것. 안전을 희생한 속도는 무모하고, 속도를 잃은 안전은 무력하다. 진짜 실용은 성능과 신뢰를 동시에 설계하는 것이다.

규제 합리화는 규제를 줄이는 문제가 아니다. AI가 포함된 제어 체계를 신뢰 가능하도록 설계하고, Products·Processes·People을 정렬하며, 복합체계 전체의 안정성을 확보하는 일이다.

AI가 행동하는 시대에 필요한 것은 더 많은 규칙이 아니다. 더 정교한 신뢰 설계다.