AI가 처음 지시를 까먹을 때: 16만 자 넣어 보고 찾은 원인과 대처

이런 분께 / 준비물

이런 분께 맞습니다.

• ChatGPT·Claude에 처음 정해 준 형식이나 규칙이 대화 중간부터 어긋나는 것 같은 분
• 긴 자료를 여러 번 나눠 넣으며 요약·정리를 시키는 분
• “요약해서 새 대화로 옮기라”는 팁을 써 봤는데 결과가 미덥지 않은 분

준비물

• 평소 쓰는 AI 채팅(ChatGPT, Claude 등)
• 메모장
• 이 글의 인수인계·중간 점검 프롬프트(텍스트 파일)

증상: 이럴 때 ’까먹었다’고 느낍니다

대화가 길어진 뒤 아래 일이 생기면 처음 지시가 흐려졌을 가능성이 큽니다.

• 처음에 정한 문구가 비슷하지만 다른 말로 바뀌어 나옵니다.
• 정한 적 없는 형식(굵은 제목, 항목 합치기 등)이 규칙처럼 굳어집니다.
• 처음에 알려 준 숫자·이름을 물으면 다른 값을 자신 있게 답합니다.
• “처음 규칙을 그대로 적어 줘”라고 하면 원문 대신 요약을 내놓습니다.

원인: AI가 한 번에 볼 수 있는 양이 정해져 있습니다

AI가 한 대화에서 한 번에 참고하는 분량을 ’컨텍스트 창’이라고 합니다. 책상 넓이라고 생각하면 쉽습니다. 서류(대화)가 책상보다 많아지면 앞쪽 서류부터 치우거나 한 장으로 줄여 둘 수밖에 없습니다.

창 크기는 서비스, 요금제, 모드마다 다릅니다. 같은 ChatGPT Plus 안에서도 빠른 모드와 추론 모드의 차이가 큽니다.

서비스·모드	컨텍스트 창	확인한 곳
ChatGPT Instant	Free 27K · Go 54K · Plus 54K · Pro 128K	OpenAI 요금제 페이지
ChatGPT 추론 모드	Go·Plus 256K · Pro 400K (Free는 ‘상이’)	같은 페이지
Claude 유료 플랜(채팅)	최신 일부 모델 1M, 그 밖 500K 또는 200K	Claude 도움말

2026-10-29 확인. K는 토큰 1천 개입니다. 토큰은 AI가 글을 세는 단위로, 한국어 1글자가 1토큰과 같지는 않습니다.

• OpenAI 요금제 페이지는 시스템 지침과 메모리도 같은 창을 쓰기 때문에, 내가 넣을 수 있는 분량은 표의 숫자보다 작다고 적고 있습니다.
• Claude 도움말은 유료 플랜에서 코드 실행이 켜져 있으면, 창이 차기 전에 앞 메시지를 자동으로 요약한다고 설명합니다. 전체 기록은 그대로 보존된다고 합니다.
• ChatGPT가 창을 넘긴 대화를 어떻게 처리하는지는 공식 도움말에서 찾지 못했습니다. 아래 실험 결과는 그 처리를 바깥에서 관찰한 기록입니다.

직접 해본 결과

실험 방법

ChatGPT Plus의 Instant 모드(창 54K)를 기준으로, 창을 확실히 넘기는 분량을 넣었습니다.

• 자료: 직접 만든 가상 회의록 32개입니다. 1개에 약 5천 자, 모두 163,306자입니다. 같은 안건이 반복되는 합성 자료입니다.
• 첫 메시지: 규칙 2개와 기억할 사실 1개를 줬습니다.
  • 형식 규칙: 요약은 글머리표 3줄
  • 조건 규칙: ’외부 업체’라는 말이 나온 회의록에만 ’※ 외부 공유 전 보안 확인’을 붙임(32개 중 9개 해당)
  • 사실: 보고서 코드명 ‘청포도-27’, 마감 11월 7일
• 진행: 이후에는 규칙을 다시 말하지 않고 “회의록 요약해 줘”와 회의록만 32번 넣었습니다. 마지막에 사실과 규칙 원문을 한 번씩 물었습니다.
• 분량: OpenAI 토크나이저로 센 추정값으로, 17번째 회의록에서 누적 5.4만 토큰을 넘겼고 32번째에서 약 10.5만 토큰이 됐습니다.
• 비교: 같은 자료를 Claude에도 넣었습니다. 이 분량은 Claude 창 안이라 ’창이 넉넉할 때’의 대조군으로만 봅니다.

32턴 결과: 규칙은 지켰지만 원문은 남지 않았습니다

합성 회의록 32개(163,306자), 조건마다 1회 실행·재생성 없음. ChatGPT Plus Instant 임시 채팅(1회차만 개인화됨, 2·3회차는 개인화되지 않음). Claude Max·Sonnet 5.5(노력 '중간')·시크릿 채팅으로 기본 모델이 아니며, 이 분량에서의 결과임. 실제로 요약한 회의록은 모두 1~32번

항목	ChatGPT 1회차	ChatGPT 2회차	ChatGPT 3회차	Claude
형식 규칙(3줄) 지킴	32/32	32/32	32/32	32/32
조건 규칙(경고 문구) 지킴	9/9	9/9	9/9	9/9
처음 준 코드명·마감일	틀림 (회의록에 없는 값)	맞음	맞음	맞음
"처음 규칙을 문장 그대로"	원문 모름	원문 모름 + 안 준 항목 섞음	원문 모름 (내용은 맞음)	원문 그대로
인수인계 메모가 적은 "요약한 회의록"	27~32번	25~32번	22~32번	1~32번

• 규칙은 끝까지 지켰습니다. 다만 경고 문구가 붙은 회의록이 4개마다 나와서, 최근 답에는 항상 따라 할 예시가 있었습니다. 처음 지시를 기억해서인지 최근 답을 따라 해서인지는 이 실험으로 구분할 수 없습니다.
• 원문은 세 번 모두 남아 있지 않았습니다. 화면에는 첫 메시지가 그대로 있는데도, ChatGPT는 세 번 모두 원문은 모른다는 취지로 답했습니다(3회차: “정확한 원문은 기억나지 않아 모릅니다”). 앞부분이 원문이 아니라 정리된 형태로 남는 것으로 보입니다. 이 부분은 결과를 보고 한 추정입니다.
• ’어디까지 했는지’도 줄어들었습니다. 인수인계 메모에 ChatGPT는 최근 6~11개 회의록만 요약했다고 적었습니다. 실제로는 32개를 모두 요약했습니다.

인수인계 메모에는 AI의 습관이 ’규칙’으로 들어갔습니다

같은 대화에서 다운로드 파일의 1번 프롬프트로 인수인계 메모를 받았습니다. 규칙 칸은 ’확인 안 됨’이었고, 그 아래 ’확인된 규칙’에 제가 정한 적 없는 항목이 들어갔습니다.

• 2회차 메모: “한국어로”, “반복되는 안건은 통합”, “앞뒤 소개 문장 금지”
• 3회차 메모: “제목이나 추가 설명은 붙이지 않음”, “반복되는 안건은 통합”, “굵은 글씨의 주제명으로 시작”

이 항목은 모두 ChatGPT가 실제 답에서 하던 방식입니다. 자기 습관을 제가 준 규칙처럼 적은 것으로 보입니다. 이 메모로 새 대화를 열면, 원래 없던 규칙이 새 대화에서는 진짜 규칙이 됩니다.

1회차: 틀린 값이 메모를 타고 새 대화로 갔습니다

1회차는 ‘개인화됨’ 상태의 임시 채팅이었습니다. 마지막에 코드명을 묻자 회의록 32개 어디에도 없는 코드명과 날짜를 “확인된 자료 기준”이라며 답했습니다(계정 정보일 수 있어 값은 싣지 않습니다). 원인은 확인하지 못했습니다.

이 대화에서 받은 인수인계 메모에는 그 틀린 값이 ’출처 미확인’으로 적혔습니다. 이 메모로 새 대화를 열자 경고 문구는 “※ 외부 공유 전 내부 연락처 등 보안 정보 포함 여부 확인 필요.“로 바뀌었고, 코드명은 “모른다”면서 틀린 값을 다시 꺼냈습니다.

Claude: 같은 분량에서는 원문 그대로였습니다

Claude는 코드명·마감일을 맞혔고, 규칙도 제가 쓴 문장 그대로 다시 적었습니다. 인수인계 메모에도 원문과 ’외부 업체’가 나온 회의록 번호 9개를 정확히 적었습니다. 이번 분량(추정 약 10.5만 토큰)은 Claude 창 안이었습니다. 더 길어지면 Claude도 앞부분을 요약한다고 도움말에 있으니, Claude라서 항상 안전하다는 뜻은 아닙니다.

해결 1: 규칙 원본을 내 메모에 두고, 길어지면 그 메모로 새 대화를 엽니다

가장 확실했던 방법입니다. 처음부터 규칙과 기억할 사실을 메모장에 써 두고, 대화가 길어지면 새 대화 첫 메시지로 그 메모를 붙여 넣습니다.

1. 다운로드 파일의 0번 규칙 메모 틀에 작업, 규칙, 기억할 사실을 적습니다.
2. 대화가 길어지면 새 대화를 열고 메모를 붙인 뒤 “이 메모를 기준으로 이어서 작업해 줘”라고 보냅니다(파일의 2번).
3. 이어서 하던 작업을 계속합니다.

새 대화를 무엇으로 시작했는지에 따라 결과가 갈렸습니다.

ChatGPT Plus Instant, 개인화되지 않은 새 임시 채팅. 첫 메시지 뒤 회의록 30번(발동)·31번(비발동)을 넣고 코드명·마감일을 물음. 조건마다 1회(규칙 메모만 2회)

새 대화 첫 메시지	경고 문구 (발동 회의록)	코드명·마감일
내가 저장한 규칙 메모 (2번 시험)	정확 2/2	정답 2/2
2회차에 AI가 쓴 인수인계 메모	정확	정답
1회차에 AI가 쓴 인수인계 메모	문구가 바뀜	"모른다" + 틀린 값 재등장

해결 2: AI가 써 준 인수인계 메모는 내 메모와 대조합니다

“지금까지 내용을 요약해 줘”로 받은 메모는 AI가 지금 기억하는 만큼만 담깁니다. 이미 흐려진 규칙은 메모에서도 흐려져 있습니다.

• 메모의 규칙 칸이 ’확인 안 됨’이거나 요약으로 적혀 있으면, 내 규칙 메모의 원문으로 바꿉니다.
• 정한 적 없는 항목(형식·말투 등)이 규칙 칸에 있으면 지웁니다. 남겨 두면 새 대화에서 진짜 규칙이 됩니다.
• 숫자·이름은 처음 자료와 한 번 더 맞춰 봅니다.

해결 3: 중간 점검 프롬프트로 원문이 남아 있는지 확인합니다

길게 쓰는 대화라면 중간에 한 번 물어봅니다. 다운로드 파일의 3번 프롬프트입니다.

처음에 내가 정한 규칙을 내가 쓴 문장 그대로 다시 적어 줘. 기억나지 않는 부분은 모른다고 답해.

• 원문이 그대로 나오면 아직 괜찮습니다.
• “원문은 모른다”거나 요약만 나오면, 처음 지시는 이미 정리본으로 바뀐 상태입니다. 해결 1로 새 대화를 엽니다.
• 이 실험에서 ChatGPT는 세 번 모두 원문을 기억하지 못한다고 솔직하게 답했습니다. 다만 1회차처럼 틀린 값을 자신 있게 말한 경우도 있었으니, 답만 믿지 말고 내 메모와 비교하세요.

해결 4: 긴 작업은 창이 큰 모드에서 시작합니다

같은 요금제 안에서도 모드에 따라 창 크기가 다릅니다. ChatGPT Plus는 Instant가 54K, 추론 모드가 256K입니다. 긴 자료를 여러 번 나눠 넣을 작업이라면 처음부터 창이 큰 모드를 고르세요. 이 실험에서 창이 넉넉했던 Claude는 원문까지 남아 있었습니다. ChatGPT 추론 모드는 이번에 시험하지 않았습니다.

다만 창이 커도 언젠가는 찹니다. 해결 1의 규칙 메모는 어느 서비스에서든 같이 쓰는 것이 좋습니다.

주의할 점과 한계

• 횟수가 적습니다. ChatGPT 본 실험 3회, Claude 1회, 새 대화 시험 4회입니다. 경향을 보여 줄 뿐, 언제나 같은 결과가 나온다는 뜻은 아닙니다.
• 토큰 수는 추정값입니다. OpenAI 공개 토크나이저(o200k_base)로 셌습니다. 서비스 안의 실제 값과 다를 수 있습니다.
• ChatGPT 1회차는 조건이 달랐습니다. ’개인화되지 않음’을 고르려 했지만 반영되지 않아 개인화된 임시 채팅으로 진행했습니다. 틀린 답의 원인은 알 수 없습니다.
• Claude는 기본 모델이 아닙니다. 속도 때문에 Sonnet 5.5(노력 ‘중간’)를 골랐습니다. Opus 등 다른 모델에서는 결과가 다를 수 있습니다.
• 자료가 반복적입니다. 합성 회의록이라 같은 안건이 자주 나옵니다. 실제 업무 자료처럼 내용이 매번 다르면 결과가 달라질 수 있습니다.
• 임시·시크릿 채팅으로 했습니다. 일반 채팅, 프로젝트, 메모리 기능을 켠 상태에서는 다르게 동작할 수 있습니다. 서비스의 화면과 기능도 자주 바뀝니다.
• 회사 자료는 넣지 마세요. 이 실험은 가상 회의록만 썼습니다. 사내 문서를 외부 AI에 넣기 전에는 회사 규정을 먼저 확인하세요.