기업 담당자들을 만나면 가장 자주 듣는 걱정이 이것이다. “AI가 거짓말을 하면 어떡하죠?” 그리고 가장 자주 보는 해법이 이것이다. 프롬프트에 “정확한 정보만 말하라”고 적는 것. 나는 이것을 기도문 엔지니어링이라고 부른다. 효과가 없어서가 아니라 — 조금은 있다 — 책임 소재가 틀렸기 때문이다.
언어 모델은 그럴듯한 다음 말을 만드는 기계다. 그럴듯함과 사실은 다른 축이고, 그 간격이 환각이다. 이것은 모델의 도덕적 결함이 아니라 작동 원리다. 비가 새는 지붕에게 새지 말라고 설교하는 사람은 없다. 지붕의 구조를 바꾼다. 환각도 같다. 빌지 말고, 거짓말이 통과할 수 없는 구조를 지어야 한다.
우리가 모든 프로젝트에 적용하는 구조는 세 문장으로 요약된다.
숫자는 계산엔진에서만 나온다.
서술은 원문 인용에서만 나온다.
근거가 없으면 그 항목은 생략된다.
합격 확률, 매출 집계, 원가 분석 — 숫자가 필요한 질문은 AI가 답하지 않는다. 결정론적 계산엔진이나 SQL이 답하고, AI는 그 결과를 해설만 한다. 문서에 대한 서술이 필요하면 AI는 원문을 인용해야 하고, 인용할 원문이 검색되지 않으면 그 항목은 리포트에서 사라진다. 빈칸은 거짓말보다 낫다. 이 규칙은 프롬프트가 아니라 파이프라인에 박혀 있어서, 모델이 아무리 그럴듯한 말을 지어내고 싶어도 지어낼 자리가 없다.
구조는 감시자도 필요로 한다. 우리는 프로젝트마다 수백 건의 검증 문답 — 골든셋 — 을 만들어 CI에 넣는다. 코드가 바뀔 때마다 기계가 AI의 답을 채점한다. 사람의 눈은 흐려지지만 회귀 테스트는 흐려지지 않는다.
이 이야기를 하는 이유는 우리 자랑이 아니다. AI 도입을 검토하는 조직에게 질문의 방향을 바꿔드리고 싶어서다. “이 AI는 얼마나 정확한가요?”는 좋은 질문이 아니다. 어떤 모델도 100%를 약속할 수 없고, 약속하는 사람은 의심해야 한다. 좋은 질문은 이것이다. “이 시스템은 AI가 틀렸을 때 그 틀린 답이 나에게 도달하는 것을 무엇으로 막나요?” 이 질문에 구조로 답하지 못하는 제안서는, 프롬프트로 기도하고 있을 확률이 높다.
환각은 사라지지 않는다. 하지만 환각이 당신의 의사결정에 도달하는 경로는 전부 차단할 수 있다. 그것이 우리가 파는 것이다.