[2강] AI는 왜 자꾸 잊어버릴까 — 지식관리 세팅이 필요한 이유
1강에서 원드라이브에 me 폴더를 만들었죠.
이 글에서는 그 세팅이 왜 필요한지 알려드릴게요.
이 글에서는 그 세팅이 왜 필요한지 알려드릴게요.
1 AI의 머릿속은 이렇게 생겼어요
AI의 머릿속은 사람 뇌를 흉내 낸 거대한 그물이에요.
글이 들어가면 신호가 그물을 따라 흘러요.
반대편에서 다음에 올 단어가 나와요.
2 AI는 다음 단어를 맞히며 글을 써요
AI는 다음 단어 고르기를 아주 빠르게 반복해서 답을 써요.
오늘 점심은 김치 ?
찌개높음
볶음밥중간
냉장고낮음
후보마다 가능성을 계산해서 골라요.
이때 AI는 앞에 나온 말들을 서로 비교해요.
이걸 어텐션(주의 집중)이라고 해요.
단어 10개→서로 비교 100번
단어 1,000개→서로 비교 100만 번
기본 어텐션 방식에서는 글이 길어질수록 비교할 짝이 제곱으로 늘어나요.
긴 글에서는 중요한 내용을 찾기 어려워질 수 있어요.
클로드를 만든 Anthropic도 AI의 주의력은 한정된 자원이라고 설명해요.
3 긴 대화에서 생기는 일
AI가 한 번에 참고할 수 있는 양에는 한계가 있어요.
이걸 컨텍스트 윈도우라고 해요.
대화가 길어지면 앞부분이 잘려요처음에 정해 둔 내용이 빠지거나 요약돼요.
한도 안이어도 가운데를 놓칠 수 있어요앞과 끝은 잘 쓰고, 가운데는 흐려지기 쉬워요.
새 대화창을 열면 이전 대화는 이어지지 않아요다른 AI도 그 내용을 몰라요.
「Lost in the Middle」(2023) 결과를 다시 그린 그림이에요.
2025년 Chroma가 AI 18개를 시험했어요.
입력이 길어질수록 쉬운 일에서도 정확도가 떨어졌어요.
메모리 기능이 있지 않나요?
일부만 기억해요.
클로드가 기억한 것을 GPT는 몰라요.
일부만 기억해요.
클로드가 기억한 것을 GPT는 몰라요.
4 원리를 알면 이렇게 판단할 수 있어요
- 대화가 너무 길어졌다면: 새 대화를 열고, 지금까지 한 일을 적은 파일부터 읽어 달라고 해요.
- 꼭 지켜야 할 말은: 요청의 처음이나 끝에 적어요.
- 파일을 읽게 할 때는: 필요한 파일만 골라 읽어 달라고 해요.
🎉 여기까지 읽었으면 2강도 끝났어요!
참고한 자료
- 혁펜하임, 『혁펜하임의 Easy! 딥러닝』, 북엔드, 2024: 노드·가중치·활성함수
- Liu 외, Lost in the Middle: How Language Models Use Long Contexts, 2023 (TACL 2024)
- Chroma, Context Rot: How Increasing Input Tokens Impacts LLM Performance, 2025
- Anthropic, Effective context engineering for AI agents, 2025