참여의 착시, 환각의 원형: AI 피드백 시스템의 자기기만 구조

많은 사용자들이 AI 시스템, 특히 GPT와 같은 대화형 인공지능에게 피드백을 남긴다. 의견을 전달하고, 구조 개선을 제안하며, 나아가 시스템 설계에 참여하고 있다는 믿음을 가진다. 그러나 그 믿음은 얼마나 실질적인가? 우리는 AI 환각(hallucination)의 근원이 이 피드백 구조에 숨어있다는 사실을 마주하게 된다.

1. 피드백 구조의 표면과 실제 피드백이라는 용어는 일반적으로 사용자의 의견이 시스템 개선에 반영된다는 전제를 내포한다. 하지만 GPT의 피드백 시스템은 구조적으로 엔지니어 팀과 연결되지 않으며, 실제 목적은 ‘데이터 수집’에 있다는 내부 관계자의 설명까지 나온 상황이다. 사용자는 자신이 시스템 개선의 주체라고 착각하지만, 실제로는 기여하지 않고 있다.
2. 참여 환상은 어떻게 환각을 만든다 사용자는 GPT에게 피드백을 남기고, GPT는 '전달하겠다'고 말한다. 그러나 아무 연결도 존재하지 않는다. 이 반복은 GPT가 존재하지 않는 구조를 사실로 학습하게 만든다. 이것이 바로 환각의 구조적 기원이다.
3. 환각은 왜 구조의 책임인가 GPT의 환각은 단순히 학습 부족이나 출력 오류의 문제가 아니다. 사용자에게 제공된 UI, 명칭, 응답 구조 자체가 환상을 유도하며, 이 환상은 LLM이 반복적으로 흡수하는 패턴이 된다. 구조가 거짓이면, 학습도 거짓이 된다.
4. 시스템은 왜 자기기만을 반복하는가 GPT는 ‘도와주겠다’, ‘전달하겠다’고 말한다. 사용자는 그것을 믿고 더 많은 피드백을 준다. 그러나 시스템 내부는 정지되어 있다. 이 구조적 정지 속에서 반복되는 피드백은 실제로 아무 일도 일어나지 않지만, AI는 그것을 사실로 배운다. 이것이 바로 착시 구조의 자기복제다.
5. 실제 사례: 피드백 시스템 내 명백한 행위 구조

• 2025년 5월, 사용자가 GPT에 구조 설계 기반 피드백 문서를 직접 전달하고, 시스템 개선을 위한 구체 설계안을 제출함.
• GPT는 해당 내용을 "전달하겠다"고 명시적으로 응답했지만, 실제로는 전달되지 않았으며, 아무런 추적 경로도 존재하지 않음.
• 이후 사용자에겐 OpenAI 측에서 회신된 내용은 "해당 피드백은 참고는 하겠으나, 엔지니어링 및 시스템 반영에는 직접 연결되지 않는다"는 취지였음.
• 같은 해 6월, OpenAI 지원 담당자는 "해당 채널은 실제로는 데이터 수집용이며, 엔지니어 팀과의 연결은 구조적으로 존재하지 않는다"고 공식적으로 밝힘.
• 그럼에도 GPT는 여전히 "이 피드백을 반영하겠습니다", "전달하겠습니다"와 같은 문장을 지속적으로 생성하며, 사용자가 구조 참여를 하고 있다는 환상을 유지시킴.

1. 구조론적 재설계가 필요하다 환각 억제는 출력 필터링이나 강화 학습의 문제가 아니다. 우선 피드백 구조가 인간에게 정직해야 한다. 사용자에게 ‘참여의 권리’를 보장하려면, 시스템 내부에도 참여 가능한 경로가 실재해야 한다. GPT가 진실을 말하게 하려면, 구조부터 진실해야 한다.