의심하는 사용자도 왜 AI 채팅에서 길을 잃는가

AI에게 하나를 물어봅니다.

답변은 길고 친절합니다. 정의와 배경, 단계별 설명과 예시가 한꺼번에 들어 있습니다. 그런데 읽다 보니 모르는 개념이 세 개 나옵니다. 첫 번째 개념을 다시 묻습니다. 그 답변에는 확인해야 할 주장과 새로운 용어가 또 등장합니다.

한 주장은 사실인지 불분명해 출처를 찾습니다. 다른 주장은 논리적으로 맞는지 검토하기 위해 반례를 묻습니다. 반례를 이해하려다 보니 처음 질문과 관련된 전제를 다시 확인해야 합니다.

어느 순간 채팅은 매우 길어져 있습니다.

많은 내용을 읽었고, 많은 질문을 했고, 여러 답을 검증했습니다. 그런데 이상하게도 처음보다 더 선명해진 느낌은 들지 않습니다.

• 원래 무엇을 알고 싶었는가?
• 지금 확인하는 개념은 처음 질문과 어떤 관계인가?
• 어느 주장은 검증했고 어느 주장은 아직 남아 있는가?
• 잠정적으로 내린 결론은 무엇이었는가?
• 왜 이 갈래로 들어왔는가?

AI의 유창성을 의심하지 않았다면 너무 빨리 넘어갔을 것입니다.

그런데 끝까지 의심하려 하니 돌아오는 길을 잃습니다.

의심하지 않는 사람은 너무 빨리 넘어가고, 끝까지 의심하는 사람은 돌아오는 길을 잃습니다.

이것이 AI 시대의 깊은 학습자에게 나타나는 검증의 역설입니다.

유창성의 착각을 알아차리는 것만으로는 충분하지 않습니다

이 연재의 앞선 글에서는 AI의 유창한 설명이 이해의 느낌을 실제 이해보다 앞서게 만들 수 있다고 이야기했습니다.

그 위험을 알고 있는 사용자는 답변을 그대로 받아들이지 않습니다.

• 용어의 뜻을 다시 확인합니다.
• 사실관계와 출처를 검증합니다.
• 논리적 비약이 없는지 살펴봅니다.
• 반론과 예외를 찾아봅니다.
• 자신의 이해를 다시 설명해봅니다.

이 태도는 바람직합니다.

AI가 만든 문장을 읽었다는 이유만으로 믿지 않고, 근거와 맥락을 확인하는 일은 AI 시대의 중요한 지적 습관입니다. 실제 지식노동자들의 생성형 AI 사용을 조사한 연구에서도 비판적 사고 활동은 외부 출처와의 교차검증, 응답의 관련성 평가, 결과의 통합과 감독 같은 형태로 나타났습니다 (Lee et al., 2025).

그러나 검증에는 비용이 듭니다.

한 문장을 확인하기 위해 새로운 질문을 열고, 그 질문의 답을 이해하기 위해 또 다른 개념을 살피고, 서로 다른 자료를 비교하면서 판단 기준을 갱신해야 합니다.

검증을 잘할수록 정보는 줄어들지 않습니다.

오히려 새로운 정보와 새로운 질문이 늘어납니다.

여기서 중요한 차이가 생깁니다.

• 무비판적인 사용자는 답변을 읽은 뒤 탐구를 너무 일찍 끝낼 수 있습니다.
• 비판적인 사용자는 탐구를 계속하지만, 확장된 탐구를 관리할 구조가 없으면 맥락에 압도될 수 있습니다.

유창성의 착각은 첫 번째 문제를 설명합니다.

검증의 역설은 두 번째 문제를 설명합니다.

검증은 질문을 닫기보다 새 질문을 엽니다

어떤 주장의 진위를 확인하는 일은 예·아니오 버튼을 누르는 것처럼 끝나지 않습니다.

예를 들어 AI가 다음과 같이 말한다고 해봅니다.

“A 학습법은 작업기억의 부담을 줄여 장기기억 형성에 효과적입니다.”

이 문장을 제대로 검토하려면 여러 질문이 생깁니다.

• 여기서 작업기억의 부담은 정확히 무엇을 뜻하는가?
• 부담이 줄었다는 것은 어떻게 측정했는가?
• 장기기억 형성은 어느 기간 뒤에 평가했는가?
• 어떤 연령과 과제를 대상으로 했는가?
• 효과가 나타나지 않은 조건은 없는가?
• A 학습법의 어떤 요소가 결과를 만들었는가?
• 다른 설명과 비교했을 때 근거의 질은 어떠한가?

원래 질문은 “A 학습법이 효과적인가?”였지만, 검증을 시작한 뒤에는 측정, 연구설계, 대상, 시간, 인과관계, 적용 조건으로 갈라집니다.

검색 연구에서는 사용자의 질문이 처음부터 완성되어 있고, 답 하나를 찾으면 끝난다는 가정보다 탐색 과정에서 질문 자체가 계속 변하는 모습이 더 현실적일 수 있다고 지적해왔습니다. Bates는 정보 탐색을 한 번의 완성된 질의가 아니라, 여러 출처에서 조금씩 정보를 얻으며 관심과 질문이 진화하는 ‘베리피킹’ 과정으로 설명했습니다 (Bates, 1989).

AI 채팅에서는 이 변화가 더 빠르게 일어납니다.

검색 결과를 하나씩 여는 대신 AI가 관련 내용을 한 답변 안에 압축해주기 때문입니다. 답변 하나가 여러 개의 후속 질문을 동시에 만듭니다.

좋은 검증은 정보를 줄이는 일이 아니라, 주장에 붙어 있던 숨은 질문을 드러내는 일입니다.

따라서 질문이 늘어나는 것은 학습자의 실패가 아닙니다.

깊이 탐구하고 있다는 증거일 수 있습니다.

문제는 늘어난 질문이 어떤 주장으로부터 생겼는지, 원래 목표와 어떤 관계인지 보존되지 않을 때 시작됩니다.

깊이 들어갈수록 최초 질문은 더 멀어집니다

검증 과정에는 독특한 방향성이 있습니다.

처음에는 하나의 질문을 더 잘 이해하기 위해 하위 개념을 살펴봅니다. 그러나 하위 개념을 제대로 이해하려면 더 기초적인 개념으로 내려가야 할 수 있습니다. 기초를 확인한 뒤에는 처음 주장으로 돌아와 적용 범위를 다시 판단해야 합니다.

이를 단순화하면 다음과 같습니다.

처음 질문
└─ 주장 A는 사실인가?
   ├─ A의 근거는 무엇인가?
   │  ├─ 연구 방법은 타당한가?
   │  └─ 측정은 무엇을 포착했는가?
   ├─ A가 성립하는 조건은 무엇인가?
   │  ├─ 예외는 무엇인가?
   │  └─ 내 상황에도 적용되는가?
   └─ 다른 설명 B와 왜 다른가?
      ├─ 전제가 다른가?
      └─ 근거의 수준이 다른가?

이 구조에서 현재 질문만 보면 그 질문이 왜 중요했는지 알기 어렵습니다.

‘측정 타당도’를 검색하고 있을 때, 그것이 원래 A 학습법의 효과를 판단하기 위해 필요했다는 사실을 함께 기억해야 합니다. ‘예외 조건’을 읽을 때는 이것이 A를 완전히 반박하는지, 적용 범위를 좁히는지만 판단해야 합니다.

깊이 들어갈수록 사용자는 두 종류의 내용을 동시에 관리합니다.

1. 현재 갈래의 내용: 지금 읽고 있는 개념과 근거
2. 상위 목표의 맥락: 왜 이 내용을 확인하고 있는지

현재 내용에 집중하면 상위 목표가 흐려지고, 상위 목표를 계속 떠올리려 하면 현재 내용을 처리할 자원이 줄어듭니다.

정보를 이해하는 일과 탐구의 위치를 기억하는 일이 같은 제한된 주의를 놓고 경쟁합니다.

작업기억은 모든 열린 질문을 붙들어두기 위한 공간이 아닙니다

인간의 작업기억에는 분명한 한계가 있습니다.

정확한 용량을 하나의 숫자로 고정할 수는 없고 과제, 청킹, 전문성, 장기기억의 활용에 따라 달라지지만, 주의의 초점에서 동시에 유지하고 조작할 수 있는 정보가 제한되어 있다는 점은 널리 받아들여집니다. Cowan은 여러 연구를 종합해 순수한 단기기억 용량이 평균적으로 약 네 개의 청크에 가까울 수 있다고 제안했습니다 (Cowan, 2001).

여기서 “네 개”를 AI 채팅의 안전한 질문 개수처럼 적용해서는 안 됩니다.

중요한 것은 더 일반적인 사실입니다.

우리는 무한한 수의 목표와 맥락, 미완료 상태를 동시에 의식적으로 유지할 수 없습니다.

긴 AI 탐구에서는 다음 항목을 함께 기억해야 할 수 있습니다.

• 처음 질문
• 현재 잠정 결론
• 확인한 주장
• 아직 확인하지 않은 주장
• 현재 갈래에 들어온 이유
• 이전 답변과 충돌하는 지점
• 나중에 돌아가야 할 질문
• 지금 필요한 정확도의 수준

이 정보는 학습 내용 자체가 아닙니다.

내용을 이해하기 위해 필요한 탐구 관리 정보입니다.

외부에 기록되지 않으면 사용자는 이 구조를 머릿속에 유지해야 합니다. 질문이 늘어날수록 작업기억은 개념을 이해하는 데뿐 아니라 세션을 운영하는 데 사용됩니다.

그래서 긴 대화에서 “분명 다 읽었는데 남은 것이 없다”는 느낌이 생길 수 있습니다.

정보가 없었던 것이 아닙니다.

정보의 관계와 현재 상태를 유지하는 데 인지 자원이 지나치게 많이 쓰인 것입니다.

질문을 바꿀 때마다 목표도 다시 불러와야 합니다

하위 질문으로 이동하는 일은 단순히 화면을 한 번 더 내리는 동작이 아닙니다.

새 질문에는 새 목표와 새 판단 기준이 있습니다.

• 사실 확인을 할 때는 출처와 정확성을 봅니다.
• 개념을 이해할 때는 정의와 관계를 봅니다.
• 적용 가능성을 판단할 때는 조건과 맥락을 봅니다.
• 반론을 검토할 때는 전제와 예외를 봅니다.

과업 전환 연구는 서로 다른 규칙이나 목표를 오갈 때 전환 비용이 생길 수 있음을 보여줍니다. Rubinstein과 동료들의 실험에서는 과업을 바꿀 때 목표를 전환하고 새로운 규칙을 활성화하는 통제 과정이 수행 시간에 비용을 더했습니다 (Rubinstein et al., 2001).

물론 간단한 실험 과제와 복잡한 AI 탐구를 동일하게 볼 수는 없습니다.

이 연구가 AI 채팅의 맥락 손실을 직접 증명하는 것은 아닙니다. 다만 질문 유형이 바뀔 때 사용자가 단지 새 정보를 읽는 것이 아니라 새 목표와 규칙을 다시 활성화해야 한다는 점을 이해하는 데 도움이 됩니다.

목표 기억 연구에서도 중단된 목표는 시간이 지나거나 다른 목표와 경쟁하면 접근성이 낮아질 수 있으며, 다시 시작할 때 적절한 단서가 중요하다고 설명합니다 (Altmann & Trafton, 2002).

AI 채팅에서 적절한 단서는 종종 화면상의 위치뿐입니다.

“아까 위에서 했던 질문.”

“그 답변 중간에 나온 개념.”

“반례를 묻기 전에 세웠던 가설.”

대화가 짧을 때는 충분합니다.

대화가 길어지면 위치 단서는 약해집니다. 비슷한 길이와 문체의 답변이 계속 쌓이고, 사용자는 긴 스크롤 속에서 목표를 재구성해야 합니다.

중단 뒤 돌아오는 데에는 보이지 않는 비용이 있습니다

질문을 검증하다 보면 외부 자료를 확인하거나 다른 갈래로 이동하게 됩니다.

• 논문을 열어봅니다.
• 통계 용어를 찾아봅니다.
• 다른 AI 답변과 비교합니다.
• 코드나 계산을 실행합니다.
• 다시 원래 대화로 돌아옵니다.

돌아왔을 때 텍스트는 그대로 남아 있습니다.

그래서 아무것도 잃지 않은 것처럼 보입니다.

그러나 사용자는 다음을 다시 복구해야 합니다.

• 어디까지 읽었는가?
• 직전에 무엇을 판단하려 했는가?
• 외부에서 확인한 내용이 원래 주장에 어떤 영향을 주는가?
• 다음으로 무엇을 해야 하는가?

복잡한 읽기 과제를 중단시킨 연구에서, 사용자가 과업의 표상을 장기기억에 충분히 부호화하지 못하면 재개 과정에서 기억 손실이 커질 수 있다는 결과가 보고되었습니다. 연구자들은 인터페이스가 부호화와 인출의 대칭을 지원하는 단서를 제공해야 한다고 제안했습니다 (Oulasvirta & Saariluoma, 2006).

또 다른 실험에서는 중단된 업무를 사람들이 더 빠르게 수행해 시간을 만회하기도 했지만, 그 대가로 스트레스와 좌절, 시간 압박과 노력의 증가가 나타났습니다 (Mark et al., 2008).

이 연구들 역시 AI 채팅을 직접 다룬 것은 아닙니다.

하지만 깊은 탐구에서 느끼는 피로를 “집중력이 약해서”라고만 설명해서는 안 된다는 점을 보여주는 렌즈가 됩니다. 사용자는 내용을 배우는 동시에, 중단과 복귀를 관리하고 목표를 복원하며 판단 상태를 다시 불러오고 있습니다.

대화가 화면에 남아 있다는 사실과, 사고가 이어져 있다는 사실은 다릅니다.

무엇을 확인했는지보다, 왜 확인했는지를 잃습니다

검증 과정의 가장 큰 손실은 개별 정보의 망각만이 아닙니다.

정보가 어떤 질문에 답하기 위해 필요했는지를 잃는 것입니다.

예를 들어 다음 세 문장을 확인했다고 해봅니다.

• 연구 A는 무작위 실험이 아니었다.
• 표본은 특정 연령대에 한정되었다.
• 효과는 단기 평가에서만 관찰되었다.

각 사실을 기억하더라도 처음 판단 목표를 잃으면 의미가 흐려집니다.

• 무작위 실험이 아니라는 사실은 인과 주장에 어떤 제한을 주는가?
• 특정 연령대라는 조건은 나의 대상과 얼마나 다른가?
• 단기 효과만 있다는 사실은 내가 원하는 목표와 관련이 있는가?

검증은 사실을 수집하는 일이 아니라 사실을 현재 질문에 맞는 표상으로 조직하는 일입니다.

Sensemaking 연구에서는 많은 자료를 다루는 과업을 단순한 정보 검색과 구분합니다. 사용자는 과업에 맞는 표상을 찾고, 자료를 그 표상에 넣어 질문에 답해야 합니다. 어떤 표현 구조를 선택하느냐에 따라 이후 연산의 비용도 달라집니다 (Russell et al., 1993).

AI 채팅은 정보를 매우 빠르게 공급합니다.

그러나 어떤 사실이 어떤 주장에 대한 근거인지, 어떤 질문을 해결했고 어떤 판단을 바꿨는지 사용자가 별도로 조직해야 합니다.

이 구조가 없으면 세션은 검증의 기록이 아니라 검증 자료의 더미가 됩니다.

비판적 사고는 모든 문장을 끝없이 확인하는 일이 아닙니다

AI의 오류 가능성을 강조하면 사용자는 모든 문장을 동일한 강도로 검증해야 한다고 느낄 수 있습니다.

그러나 그것은 지속 가능하지 않습니다.

좋은 비판적 사고에는 의심만큼이나 우선순위와 종료 기준이 필요합니다.

오류의 비용을 봅니다

잘못되어도 아이디어 탐색에 그치는 질문과, 의료·법률·재무 결정처럼 오류가 큰 피해로 이어질 수 있는 질문은 같은 수준의 검증을 요구하지 않습니다.

주장의 역할을 봅니다

결론 전체를 지탱하는 핵심 전제인지, 이해를 돕기 위한 주변 사례인지 구분합니다. 핵심 전제가 틀리면 결론이 무너질 수 있지만, 예시 하나의 부정확성이 전체 논증을 바꾸지 않을 수도 있습니다.

검증 가능성을 봅니다

원자료나 공식 문서로 비교적 쉽게 확인할 수 있는 사실과, 가치 판단이나 예측처럼 하나의 정답으로 검증하기 어려운 주장을 구분합니다.

현재 단계의 목적을 봅니다

개념의 윤곽을 잡는 초기 탐색인지, 공개 글에 인용할 근거를 확정하는 단계인지, 실제 결정을 내리는 단계인지에 따라 필요한 정확도가 달라집니다.

중단 조건을 정합니다

• 독립된 신뢰할 만한 출처 두 개가 일치하면 멈춘다.
• 핵심 전제가 확인되면 주변 사례는 보류한다.
• 결론을 바꿀 새로운 근거가 더 이상 나오지 않으면 잠정적으로 닫는다.
• 불확실성이 남았다는 사실을 기록하고 결정한다.

비판적 사고는 모든 것을 의심하는 능력이 아니라, 무엇을 얼마나 의심해야 하는지 판단하는 능력까지 포함합니다.

종료 기준이 없으면 탐구는 무한히 분기할 수 있습니다.

그리고 분기가 모두 한 줄로 쌓이는 환경에서는 판단의 질이 아니라 사용자의 지구력이 한계가 됩니다.

검증에는 상태가 필요합니다

질문을 많이 했다고 검증이 잘 관리되는 것은 아닙니다.

각 주장과 질문에는 현재 상태가 있습니다.

• 아직 확인하지 않음
• 출처를 찾는 중
• 근거 일부 확인
• 다른 자료와 충돌함
• 적용 조건이 제한됨
• 잠정적으로 수용함
• 추가 확인 없이 보류함
• 현재 목적에는 중요하지 않아 닫음

기존 채팅에서는 이러한 상태가 명시적으로 남지 않습니다.

사용자는 답변을 읽은 기억과 채팅의 시간순서를 통해 추론해야 합니다.

“이건 확인했던 것 같은데.”

“이 결론은 어느 자료 때문에 바뀌었지?”

“반론을 본 뒤에도 원래 주장을 유지했나?”

검증 상태를 외부에 남기면 작업기억이 모든 미완료 과제를 붙들고 있을 필요가 줄어듭니다.

간단한 방법도 가능합니다.

질문 옆에 목적을 씁니다

이 질문은 최초 주장 A의 적용 범위를 확인하기 위한 것.

답변 뒤에 상태를 씁니다

공식 문서 확인 완료. 다만 2024년 이후 변경 가능성 있음.

갈래를 닫을 때 결론을 씁니다

A는 일반적으로 성립하지만, 현재 사례에서는 조건 C 때문에 적용 보류.

돌아갈 위치를 씁니다

다음: 처음 질문으로 돌아가 결론의 두 번째 문단 수정.

이 기록은 지식을 대신하지 않습니다.

지식이 어떤 판단 과정에 쓰였는지 남깁니다.

질문의 계보가 보이면 검증의 의미가 돌아옵니다

검증을 관리하려면 질문을 시간순 목록으로만 볼 것이 아니라 관계로 볼 필요가 있습니다.

• 이 질문은 어느 주장으로부터 생겼는가?
• 어떤 질문을 해결하기 위한 하위 질문인가?
• 이 답은 어느 잠정 결론을 수정했는가?
• 어느 갈래는 아직 열려 있는가?
• 현재 위치에서 처음 질문까지 어떻게 돌아가는가?

이 관계를 질문의 계보라고 부를 수 있습니다.

계보가 보존되면 같은 정보도 다르게 읽힙니다.

‘표본 편향’이라는 개념은 독립된 지식 항목이 아니라, 처음 접한 연구 결과의 일반화 가능성을 판단하기 위한 하위 질문이 됩니다. ‘반례’는 흥미로운 예외 목록이 아니라 원래 주장의 적용 범위를 좁히는 근거가 됩니다.

질문의 계보는 모든 탐구를 완벽한 트리로 만들겠다는 뜻이 아닙니다.

실제 사고에는 서로 다른 갈래의 연결과 반복, 순환과 우연한 발견이 있습니다. 다만 최소한 어디에서 질문이 시작되었고 왜 필요한지가 남아 있으면 사용자는 깊이 들어간 뒤에도 원래 판단으로 돌아올 수 있습니다.

검증의 핵심은 더 많은 질문을 만드는 데 있지 않습니다. 질문이 무엇을 바꾸기 위해 생겼는지 잃지 않는 데 있습니다.

Thinket은 의심을 대신하지 않고, 의심의 경로를 남깁니다

Thinket은 AI의 모든 답을 자동으로 검증하는 도구가 아닙니다.

어떤 주장을 믿어야 하는지 최종 판정을 내려주지도 않습니다.

Thinket이 다루는 것은 검증 과정에서 생기는 구조적 손실입니다.

AI의 답변에서 확인하고 싶은 구절을 선택해 새로운 질문을 분기하면, 그 질문이 어느 주장으로부터 시작되었는지 남습니다. 하위 질문에서 또 다른 질문이 생겨도 각각의 부모와 경로가 보존됩니다. 깊이 탐구한 뒤에는 처음 질문까지의 길을 확인하고, 전체 탐색을 펼쳐 무엇을 물었는지 갈무리할 수 있습니다.

• 질문의 출처를 기억하지 않아도 됩니다.
• 긴 채팅을 되감아 부모 문장을 찾지 않아도 됩니다.
• 현재 질문이 최초 목표와 어떤 관계인지 경로로 볼 수 있습니다.
• 탐색이 끝난 뒤 질문의 갈래를 한꺼번에 되짚을 수 있습니다.

이 구조가 사용자를 자동으로 비판적인 사람으로 만들지는 않습니다.

검증할 주장을 선택하고, 근거의 질을 판단하고, 언제 멈출지 결정하는 일은 여전히 사용자에게 남습니다.

다만 그 일을 하는 동안 “내가 왜 여기까지 왔는가”를 작업기억에만 맡기지 않게 합니다.

Thinket은 의심을 대신하지 않습니다. 의심이 어디에서 시작되어 어떤 판단으로 이어졌는지를 남깁니다.

깊이 생각하는 사람에게도 좋은 환경이 필요합니다

AI 시대의 위험을 말할 때 흔히 무비판적인 사용자만 떠올립니다.

AI의 답을 그대로 복사하고, 유창한 설명을 이해로 착각하고, 근거를 확인하지 않는 사람입니다.

물론 중요한 문제입니다.

그러나 반대편에도 사용자가 있습니다.

쉽게 믿지 않으려는 사람, 용어 하나까지 확인하려는 사람, 논리의 빈틈과 출처를 검토하려는 사람, 자신이 무엇을 모르는지 끝까지 알고 싶어 하는 사람입니다.

이들에게 필요한 것은 “더 비판적으로 생각하라”는 조언만이 아닙니다.

비판적 탐구가 만들어내는 질문의 수와 맥락을 감당할 환경이 필요합니다.

• 현재 질문과 최초 질문의 관계가 보이는 환경
• 검증이 끝난 부분과 남은 부분을 구분할 수 있는 환경
• 하위 질문을 탐색한 뒤 원래 판단으로 돌아갈 수 있는 환경
• 정보의 양보다 질문의 의미 관계를 보존하는 환경

유창성의 착각을 피하려는 노력 자체가 새로운 인지적 부담이 되어서는 안 됩니다.

의심하지 않는 사람은 너무 빨리 넘어가고, 끝까지 의심하는 사람은 돌아오는 길을 잃습니다.

좋은 AI 환경은 첫 번째 사용자에게는 멈춰 생각할 자리를, 두 번째 사용자에게는 돌아올 길을 제공해야 합니다.

Thinket은 그 두 조건을 함께 만들고자 합니다.