AI가 단지 ‘작동하는가’가 아니라, 왜 그렇게 작동했는가를 물어야 할 시대다. 특히 의료, 국방, 금융, 공공정책처럼 판단에 책임이 따르는 분야에서는 설명 가능한 AI(Explainable AI, XAI)가 단순한 기술 옵션이 아니라 신뢰성과 책임의 조건이 된다.

그런데 지금의 XAI 논의는 다소 편향되어 있다.

대부분은 이미 학습이 끝난 복잡한 모델—특히 대규모 딥러닝 기반의 블랙박스 AI—을 사후에 해석하는 방법에 집중한다. 하지만 이것은 마치 목적지도 정하지 않고 운전한 뒤, 나중에 지도를 되짚으며 “왜 여기에 왔는가”를 설명하려는 것과 같다.

진짜 중요한 질문은 이것이다. 우리는 처음부터 목적에 맞게, 설명 가능하고 책임질 수 있는 AI를 설계하고 있는가? 

모든 AI가 설명 가능할 필요는 없다.

중요한 것은 목적과 요구사항에 따라 ‘적절한 수준의 설명 가능성’을 고려해 설계하고 사용하느냐다.

 어떤 AI는 결과의 정확도가 우선일 수 있지만, 어떤 AI는 설명, 신뢰성, 안전성, 효과성, 효율성이 더 중요한 가치가 된다. 이 네 가지 요소는 단지 기술적 속성이 아니라, 현실 적용과 책임 수행을 위한 기본 조건이다.

특히 신뢰성과 설명 가능성이 중요한 경우, 우리는 다음과 같은 질문을 던져야 한다.

• 이 AI는 누구를 위해 만들어졌는가?
• 이 AI는 무엇을 판단하고 결정하는가?
• 그 판단은 어떤 근거에 기반하고 있는가?
• 문제가 생기면 누가 책임질 수 있는가?

이런 질문에 답할 수 없다면, 우리는 AI가 아니라 알 수 없는 힘에 위임된 의사결정 도구를 만들고 있는 셈이다.

그리고 이쯤에서 하나 짚고 넘어갈 필요가 있다.

최근 AI 관련 담론에서, 특히 소버린 AI(Sovereign AI)를 이야기할 때 LLM(대규모 언어모델) 중심의 시각에 갇히는 경향이 있다. 물론 LLM은 강력한 도구이고, 언어 기반의 정보 처리에 강점을 갖는다. 하지만 AI는 그것만이 아니다.

설명 가능성, 책임성, 도메인 전문성, 실시간성과 물리 기반 시뮬레이션 연동까지 고려하면, 다양한 AI 접근 방식이 존재하고 병행되어야 한다.

소버린 AI는 단순히 국산 LLM을 확보하는 문제가 아니라, 국민의 삶에 영향을 미치는 AI가 어떻게 판단하고, 그 판단을 설명하며, 신뢰받을 수 있는가를 포함하는 포괄적이고 전략적인 접근이어야 한다.

따라서 우리는 AI를 만들 때, 성능만이 아니라 설계 목적, 적용 맥락, 제약조건, 그리고 책임의 구조까지 함께 고민해야 한다.

요약하자면, XAI는 기술의 부가 기능이 아니라, AI 시스템을 설계하고 사용하는 사람의 철학과 책임의 문제다.

목적에 맞게 설명 가능하고 신뢰할 수 있는 AI를 처음부터 만들고 써야 한다. 

그리고 소버린 AI란, 단지 큰 모델이 아니라 올바른 판단과 설명을 할 수 있는 AI여야 한다.