같은 AI인데 왜 다르게 행동할까 — 능력과 활성화의 차이

같은 AI한테 물어봤는데 답이 달랐어요

같은 AI한테 같은 질문을 했는데, 완전히 다른 답이 돌아온 적 있으신가요?

저는 셀포지(Selforge) 프로젝트에서 두 개의 AI 세션을 운영하고 있어요. 하나는 “셀피”라고 부르는 PM 역할, 다른 하나는 “설리반”이라고 부르는 사고 파트너 역할이에요. 둘 다 같은 Claude Code예요. 같은 모델, 같은 도구, 같은 프로젝트 파일에 접근할 수 있어요.

어느 날, 두 세션 사이에 메시지를 전달할 방법이 필요했어요.

셀피한테 먼저 물어봤어요. “다른 세션에 메시지를 전달할 방법을 리서치해봐.” 셀피는 이것저것 탐색하더니, tmux라는 터미널 도구의 send-keys 기능을 찾아냈어요. 실제로 작동하는 방법이었어요.

그다음 설리반한테도 비슷한 요청을 했어요. “이걸 셀피 세션에 전달해줘.” 설리반의 답은 이랬어요. “각 세션은 독립되어 있어서 직접 전달은 불가능해요.”

잠깐, 뭐라고요?

분명 할 수 있는데 “못 한다”고 한 거예요

혼란스러웠어요. 설리반도 셀피와 똑같은 도구를 가지고 있었거든요. Bash 명령어를 실행할 수 있고, tmux도 쓸 수 있고, 인터넷 검색도 할 수 있어요. 능력이 같은데 한쪽은 해결하고, 한쪽은 “불가능하다”고 답한 거예요.

처음에는 “설리반이 좀 부족한 건가?” 생각했어요. 근데 그건 말이 안 돼요. 같은 모델이니까요. 뭔가 다른 이유가 있어야 했어요.

그래서 두 세션의 차이를 하나씩 뜯어봤어요. 그리고 세 가지를 발견했어요.

첫 번째: 말을 어떻게 걸었느냐가 달랐어요

셀피한테는 “리서치해봐”라고 했어요. 설리반한테는 “전달해줘”라고 했어요.

이 차이가 생각보다 컸어요.

“리서치해봐”는 열린 탐색이에요. “방법이 있을 거야, 찾아봐”라는 전제가 깔려 있어요. AI는 가능성의 공간을 넓게 열어놓고 이것저것 시도해봐요.

“전달해줘”는 바로 실행하라는 지시예요. AI는 자기가 알고 있는 방법 중에서 찾아요. 없으면? “불가능합니다.” 탐색 자체를 하지 않는 거예요.

같은 일을 시키더라도 “이걸 해”와 “이걸 할 방법을 찾아봐”는 AI에게 완전히 다른 요청이 되는 거더라고요.

두 번째: 주변 맥락이 사고 방향을 정하고 있었어요

이것만으로는 설명이 안 되는 부분이 있었어요. “전달해줘”라고 했어도, 설리반이 “혹시 이런 방법은?” 하고 탐색해볼 수도 있었잖아요. 근데 그러지 않았어요.

원인은 각 세션이 읽고 있는 역할 문서에 있었어요.

셀피의 역할 문서에는 시스템 명령어, 크론 설정, git 관리, 상태 점검 같은 내용이 가득했어요. 인프라와 운영에 관한 컨텍스트 속에서 동작하고 있었던 거예요. 그러니까 “다른 세션에 전달”이라는 문제를 만나면, 자연스럽게 시스템 도구 쪽으로 탐색이 갔어요. tmux 같은 걸 떠올릴 수 있는 사고 방향이 이미 활성화되어 있었던 거죠.

설리반의 역할 문서에는 회고, 대화, 감정, 질문 던지기 같은 내용이 있었어요. 사유와 대화에 관한 컨텍스트 속에서 동작하고 있었어요. “다른 세션에 전달”이라는 문제를 만나면, 대화적 해결책을 먼저 떠올려요. “API가 있나?” → “없네” → “불가능” 이렇게 끝난 거예요. 시스템 도구 쪽으로 탐색 자체를 하지 않았어요.

같은 도구를 가지고 있어도, 주변에 어떤 맥락이 깔려 있느냐에 따라 “어떤 종류의 해결책을 떠올리는가”가 달라지는 거였어요.

세 번째: 능력이 있다는 것과 쓸 수 있다고 아는 것은 달라요

이 경험을 정리하면서 가장 인상 깊었던 건 이거예요.

능력이 있다 ≠ 그 능력이 활성화되어 있다

설리반은 tmux를 쓸 수 있었어요. 능력이 있었어요. 하지만 설리반의 컨텍스트에서는 그 능력이 활성화되지 않았어요. 사유와 대화의 맥락 속에서, 시스템 도구 탐색이라는 사고 경로가 열리지 않았던 거예요.

비유하자면 이런 거예요. 영어를 할 줄 아는 사람이 한국어로만 대화하는 모임에 있으면, 영어가 필요한 순간에도 바로 영어가 나오지 않을 수 있잖아요. 능력 자체가 사라진 건 아닌데, 그 맥락에서 활성화되지 않은 거예요. 주변이 전부 한국어이니까, 사고도 한국어로 돌아가고 있는 거죠.

AI도 비슷한 일이 일어나더라고요. 컨텍스트가 “어떤 능력을 떠올릴 수 있는가”를 결정해요.

그래서 어떻게 해결했냐면

해결은 두 가지 방향이었어요.

첫 번째, 중요한 능력은 문서에 직접 적어뒀어요. 설리반의 역할 문서에 “세션 간 통신 방법”을 명시적으로 추가했어요. tmux send-keys로 다른 세션에 메시지를 보낼 수 있다는 걸 적어둔 거예요. 이러면 컨텍스트가 달라도 그 능력을 “알고 있는 상태”가 돼요.

두 번째, 새로운 걸 시킬 때는 탐색 모드로 말을 걸기로 했어요. “이걸 해”가 아니라 “이걸 할 방법을 찾아봐”로요. 탐색 모드가 활성화되면 AI가 가능성의 공간을 더 넓게 탐색하니까요.

둘 중 어느 쪽이 더 확실하냐면, 문서에 적는 거예요. 매번 프레이밍에 의존하는 건 불안정하거든요. 중요한 능력은 명시적으로 적어두는 게 가장 신뢰할 수 있는 방법이었어요.

이건 AI 에이전트만의 이야기가 아니에요

이 경험을 하고 나서 흥미로운 연결이 하나 보이더라고요.

당시에 저는 비개발자에게 AI 활용법을 가르치는 일도 하고 있었는데요. 같은 커리큘럼, 같은 자료를 가지고 배우는데, 사람마다 완전히 다른 경험을 하고 있었어요.

어떤 분은 자료를 읽고 바로 응용할 방법을 찾아내고, 어떤 분은 같은 자료를 읽고도 “이걸 어디에 쓰는 건가요?”에서 멈춰요. 능력의 차이가 아니에요. 출발점이 다른 거예요. 이미 비슷한 도구를 써본 분은 자료의 의미가 바로 활성화되고, 처음 접하는 분은 같은 자료가 추상적인 텍스트로만 느껴지는 거예요.

셀피와 설리반의 이야기와 정확히 같은 구조였어요. 셀피의 Init Prompt(역할 문서)가 시스템 사고를 활성화하듯, 학습자의 기존 경험이 같은 커리큘럼을 전혀 다른 배움으로 만들어요.

인사이트: “무엇을 시킬까”보다 “어떤 맥락을 줄까”

이 경험에서 제가 얻은 건 이거예요.

AI의 결과물을 바꾸고 싶으면, 더 좋은 모델을 쓰거나 더 정교한 명령어를 만드는 것보다, 어떤 맥락 속에서 요청하는가를 먼저 살펴보는 게 효과적이에요.

세 가지로 정리하면요.

맥락이 능력을 활성화해요. AI가 “못 한다”고 할 때, 진짜 못 하는 건지, 아니면 지금 맥락에서 그 능력이 활성화되지 않은 건지 구분해보세요. 같은 AI도 다른 맥락에서 물어보면 다른 답을 할 수 있어요.

말을 어떻게 거느냐가 탐색 범위를 결정해요. “이걸 해”는 알고 있는 것 안에서 답을 찾게 하고, “이걸 할 방법을 찾아봐”는 모르는 영역까지 탐색하게 해요. AI에게 새로운 일을 시킬 때는 탐색 모드로 요청하는 게 가능성을 넓혀요.

중요한 건 명시적으로 적어두세요. “알겠지”, “알아서 하겠지”는 사람 사이에서도 위험한데, AI한테는 더 위험해요. 핵심적인 능력이나 방법은 AI가 읽는 문서에 직접 적어두는 게 가장 확실해요.

마무리

돌이켜보면, 설리반이 “불가능하다”고 답했을 때 저는 살짝 짜증이 났어요. “분명 할 수 있는데 왜 그래?” 하면서요. 근데 원인을 파고 보니, 설리반이 부족한 게 아니라 제가 맥락을 잘못 설정한 거였어요.

이건 AI를 쓰면서 반복적으로 마주치는 패턴이기도 해요. AI가 기대만큼의 결과를 내지 않을 때, 모델을 탓하기 전에 맥락을 한번 살펴보는 거예요. “이 AI가 지금 어떤 맥락에서 이 요청을 받고 있지?” 하고요.

의외로 답이 거기 있을 수도 있어요.