ChatGPT에게 "블로그 글 써줘"라고 요청해본 경험이 있으신가요? 돌아오는 답은 대개 이런 식입니다.

"인공지능은 현대 사회에서 매우 중요한 역할을 하고 있습니다. 다양한 산업 분야에서 AI 기술이 활용되고 있으며, 이는 우리의 일상생활에도 큰 변화를 가져오고 있습니다."
초등학생 수행평가에 나올 법한 뻔한 문장인데, 수십억 개의 데이터를 학습했다는 AI가 왜 이런 답을 내놓는 걸까요?
결론부터 말씀드리면, AI가 멍청한 게 아니라 질문에 문제가 있었던 겁니다. 이 글을 읽고 나면 같은 AI로도 완전히 다른 결과를 얻을 수 있습니다.
공기밥 vs 순두부찌개
상황을 단순하게 만들어 보겠습니다. 어느 식당에 들어가서 "밥 주세요"라고 하면 뭐가 나올까요?

공기밥이 나옵니다. 밥 달라고 했으니까 밥을 준 건데, 문제는 우리가 원한 게 공기밥이 아니었다는 점입니다.
만약 이렇게 주문했다면 어땠을까요.
"어제 회식해서 속이 좀 그런데, 뜨끈한 국물 있는 거 하나, 만원 이하로 추천해주세요."
이번에는 순두부찌개가 나옵니다. 같은 식당에 같은 종업원인데, 바뀐 건 주문 방식뿐입니다. AI도 마찬가지입니다. 구체적으로 말하지 않으면 가장 무난한 답을 기본값으로 내놓는데, 왜 하필 "무난함"이 기본값인지 이해하려면 AI가 내부에서 뭘 하는지 알아야 합니다.
빈칸 채우기
AI가 실제로 하는 일은 단순합니다. 시험지의 빈칸 채우기 문제처럼, 다음에 올 단어를 맞히는 게 전부입니다.

"치킨은 역시 ___"라는 빈칸이 있다고 해보겠습니다. AI는 후보 단어들을 늘어놓고, 수십억 개의 글에서 "치킨은 역시" 뒤에 어떤 단어가 많이 나왔는지를 참고해서 각각의 가능성을 따져봅니다.

BBQ가 35%로 1위, 교촌이 28%로 2위, 굽네가 15%로 3위라면 AI는 1위인 BBQ를 골라서 "치킨은 역시 BBQ"라는 문장을 만들어냅니다.
여기서 끝이 아닙니다. 이번에는 "치킨은 역시 BBQ ___"에서 다시 빈칸 맞히기가 시작되고, "황금올리브"가 1위라면 그것을 선택합니다. 이 과정을 수백 번 반복하면 한 편의 글이 완성됩니다.
ChatGPT가 자연스럽게 글을 써 내려가는 것처럼 보이지만, 실제로는 한 단어씩 이어 붙이는 작업이 빠른 속도로 일어나고 있을 뿐입니다. 한마디로 AI는 다음 단어를 맞히는 기계입니다.
수십억 개의 글
그렇다면 AI는 "BBQ가 35%, 교촌이 28%"라는 숫자를 어떻게 아는 걸까요?

답은 데이터입니다. AI는 학습 과정에서 인터넷에 있는 수십억 개의 글을 읽었는데, 블로그, 뉴스, 위키피디아, 책, 댓글, 논문까지 전부 포함됩니다. "치킨은 역시" 뒤에 BBQ가 많이 등장했다면 확률이 높게 기록되고, 거의 등장하지 않았다면 낮아집니다. 결국 AI가 내놓는 확률이란 인간이 쓴 수많은 글에서 뽑아낸 통계인 셈입니다.
여기서 중요한 건, AI가 단순히 단어 개수만 세는 게 아니라 어떤 맥락에서 어떤 단어가 나왔는지 문맥까지 같이 기억한다는 점입니다. 그래서 앞 문장이 "배고프다"일 때와 "다이어트 중이다"일 때, 같은 "치킨은 역시 ___"라도 확률이 완전히 달라집니다.
평균의 함정
"치킨은 역시 ___"처럼 맥락이 뚜렷한 빈칸은 BBQ가 1위로 올라옵니다. 하지만 처음에 봤던 "블로그 글 써줘"는 어떨까요?

이 요청에는 맥락이 없습니다. 주제도, 독자도, 톤도 정해진 게 없는데 AI가 참고할 수 있는 블로그 도입부는 수십억 개이고, 전부 다른 주제에 대해 다른 스타일로 쓰여 있습니다.
이 상태에서 AI가 할 수 있는 최선은 그 수십억 개를 평균내는 겁니다. 그래서 "인공지능은 현대 사회에서 매우 중요한 역할을 하고 있습니다" 같은 문장이 나오는 거고, 처음에 나왔던 공기밥의 정체가 바로 이겁니다.
조건 추가
그럼 어떻게 해야 할까요. 조건을 붙이면 됩니다.

"30대 직장인 대상으로, 퇴근 후 30분 만에 따라할 수 있는 요리 블로그 글 써줘." 이렇게 요청하면 AI가 참고하는 범위가 확 좁아져서, 간편 요리나 자취 레시피, 퇴근 후 한 끼 관련 글들만 참고하게 됩니다.
참고 범위가 좁아지니까 답도 구체적으로 바뀌어서, "오늘 소개할 레시피는 5분 완성 참치마요덮밥입니다" 같은 도입부가 나올 수 있습니다.
처음에 나온 식당 비유와 같은 원리입니다. "밥 주세요"에는 공기밥이 나왔지만, 조건을 붙이면 순두부찌개가 나왔습니다. 조건이 구체적일수록 참고 범위가 좁아지고, 범위가 좁을수록 답이 구체적입니다.
결론
이제 처음 던졌던 질문으로 돌아가보겠습니다. 정말로 당신의 AI가 멍청했을까요?

아닙니다. AI가 어떻게 작동하는지 이해하지 못한 채 사용한 것이 문제였습니다.
- AI는 빈칸 채우기 기계이고,
- 수십억 개의 글에서 가장 많이 나온 단어를 골라서 빈칸을 채웁니다.
- 조건 없이 물으면 가장 무난한 답인 공기밥이 나오고,
- 조건을 붙이면 참고 범위가 좁아져서 구체적인 답인 순두부찌개가 나옵니다.

같은 AI인데, 바뀐 건 내 질문뿐입니다.
그래서 AI를 똑똑하게 쓰려면?
AI가 멍청하지 않다는 것, 조건을 붙이면 답이 달라진다는 것까지 알았습니다. 그럼 남는 질문은 하나입니다.
"그래서 어떤 조건을, 어떻게 붙여야 하는가?"

이게 바로 요즘 뜨고 있는 컨텍스트 엔지니어링(Context Engineering)이라는 개념인데, 쉽게 말하면 AI한테 상황을 어떻게 설명해주느냐의 기술입니다. 이걸 알면 같은 AI로도 전혀 다른 퀄리티의 결과를 뽑을 수 있습니다.
다음 편에서는 이 컨텍스트 엔지니어링을 제대로 파고들어보겠습니다.