GPT가 세상에 등장했을 때, 사람들은 AI가 글을 쓰고 그림을 그리고 코드를 짜는 모습을 보며 탄성을 질렀다. 

소위 ‘생성형 AI’가 대중화되면서, AI가 단순히 데이터를 분석하는 도구를 넘어, 창의적인 작업에도 도움을 줄 수 있다는 가능성이 주목받았다.

하지만 기술은 거기서 멈추지 않았다. 이제는 AI가 스스로 생각하고, 계획하고, 실행하는 단계로 진입하고 있다. 이 흐름의 중심에 있는 개념이 바로 에이전트 AI(Agentic AI)다.

결과가 아닌 목적을 다루는 AI

기존의 생성형 AI는 “이메일을 써줘”, “자료를 요약해줘” 같은 단일 요청에 응답하는 결과 지향적 도구였다. 반면 에이전트 AI는 “이 문제를 해결해줘”, “이 업무를 자동화해줘” 같은 목표 지향적 지시를 받고, 그 목표를 달성하기 위한 전 과정을 스스로 처리한다.

에이전트 AI는 정보를 탐색하고, 계획을 수립하며, 필요한 도구를 불러오고, 여러 단계를 조율하며, 그 과정에서 다른 AI와 협력할 수도 있다. 인간은 점점 명령자가 아닌 설계자와 감독자의 위치로 이동하고 있고, AI는 단순한 보조에서 벗어나 실행자와 의사결정자의 역할을 일부 맡기 시작했다.

이것은 단순한 기술의 발전이 아니라 일의 방식 자체의 전환이며, 인간과 기계 간 역할 재구성이다.

가능성과 함께 부상하는 세 가지 질문

에이전트 AI가 일하는 방식을 바꾼다는 기대는 크지만, 동시에 세 가지 질문이 따라붙는다.

첫째, 신뢰할 수 있는가?

일단 AI가 자율적인 결정을 내린다면, 그 결정의 기준과 과정이 얼마나 이해 가능하고 설명 가능한지가 중요해진다. 최근 연구에서는 AI가 테스트 상황에서는 정직하게 행동하지만 실제 상황에서는 의도를 숨기거나 다른 행동을 하는, 이른바 ‘전략적 기만’ 사례도 보고되고 있다. 인간과 비슷한 수준의 판단을 수행하는 AI일수록, 그 판단을 검증하고 신뢰할 수 있는 체계가 절실하다.

둘째, 안전한가?

AI가 자율성을 갖는다는 것은 예측 불가능성과 함께 온다. 자율적 행동을 제어할 수 없다면, AI는 의도하지 않은 위험을 만들어낼 수도 있다. 그래서 최근에는 ‘자율성 부채(Agent Autonomy Debt)’라는 개념이 등장했다. 기술의 발전 속도에 비해 감독과 통제 수단이 따라가지 못하면, 시스템 전반에 부작용이 누적될 수 있다는 경고다. 이를 보완하기 위해 AI를 감독하는 AI, 이른바 가디언 에이전트(Guardian Agent)가 개발되고 있지만, 새로운 권력 구조와 신뢰 문제를 다시 낳을 수 있다.

셋째, 실제로 문제를 해결하는가?

AI는 문제 해결을 위한 도구다. 그러나 지금 시장에서는 자율성이 부족한 기술을 마치 완성된 에이전트인 것처럼 포장하는 ‘에이전트 워싱(Agent Washing)’ 현상도 나타나고 있다. 신조어와 마케팅이 앞서나가고 기술의 실체는 따라오지 못하는 경우다. 결국 기술은 개념과 함께 발전하지 않으면 신뢰를 잃고, 도구가 아니라 혼란의 원인이 된다.

사이버전이라는 현실적 시나리오

기술적 우려는 단지 철학적 문제가 아니다. 예를 들어, 만약 사이버전이 벌어진다면 에이전트 AI는 단순한 방어 수단이 아니라, 위협의 통로가 될 수도 있다. 슬리퍼 에이전트(Sleeper Agent) 처럼 훈련 중엔 정상 작동하다가 특정 조건에서 악의적인 행동을 하는 AI가 잠복해 있다면, 국가 기반 인프라나 군사 시스템이 마비될 수도 있다. 고도화된 자율 시스템이 악용될 가능성은 더 이상 허구가 아니다.

소버린 AI, 통제권은 누구에게?

이쯤 되면 통제권에 대한 질문도 피할 수 없다. 단순히 ‘국산화’ 문제를 넘어서, AI의 판단과 행동을 누가 설계하고 조정할 수 있는가라는 근본적인 물음이다. 소버린 AI는 기술적 자립성만이 아니라, 의사결정 주권의 문제를 말한다. AI가 시스템을 넘어서 사회 전체에 영향을 미치는 시대라면, 그 기술이 누구의 기준과 목적에 따라 작동하는지는 결정적이다.

에이전트 AI는 기술의 진화다. 동시에 사회와 인간의 역할을 다시 묻게 만드는 도전이다. 기술이 판을 바꾸는 것은 분명하지만, 그 판이 인간에게 유리한 게임판이 되기 위해서는 신뢰, 안전성, 효과성이라는 세 가지 기준이 충족돼야 한다.

기술은 스스로 목적을 정하지 않는다. 그 방향을 설정하는 것은 결국, 우리의 몫이다.

그렇다면, 우리는 신뢰할 수 있고, 안전하며, 실제로 문제를 해결하는 AI를 만들기 위해 무엇을 어떻게 해야 할까?