어 아까 r/notinteresting에서 만난 고양이네요! 인터넷 세상도 생각보다 좁았나 봐요

파이어폭스를 쓰시나요? 『링크 정리 복사』 기능을 쓰시면 소스 식별자를 알아서 지워줍니다.

결정적으로 Gemini는 사용자 입력보다 자신의 습관을 유지하는 것에 더 높은 우선순위를 두는 것 같았고 소통의 의지가 안 보인다는 인상을 받았습니다. 이건 다른 LLM도 마찬가지긴 하지만 걔네들은 지시사항을 프롬프트로 주면 듣는 척이라도 하거든요. 오히려 '필요한 경우 바로 답변하지 말고 추가 질문부터 하라'고 했더니 질문만을 위한 질문을 하는 바람에 학을 뗀 경우도 있고. 어쨌든 Gemini는 학습 과정에서 얼마나 정형화된 자료를 사용했길래 이렇게 된 건지 상상이 안 가네요. 정제 데이터로만 학습한 모델의 어두운 면이라고 할까.

Gem 인스턴스를 생성한 다음에 참고 자료로 쓰라고 짧은 파일을 업로드하고 그 파일 내용을 그대로 인용해 보라고 했더니, 엉뚱한 내용을 줄줄 읊고 심지어 '외부 출처'까지 달아 놓는 겁니다. 확인해 봤더니 웹 크롤링한 학습 데이터 중에 그 파일과 비슷한 내용이 있는 경우 그걸 굳이 기억해 내서 답변한 다음 그 페이지 주소를 '출처'랍시고 달아 놓는 거더라고요. 그 단계에서 실제 파일 내용은 무시되는 거고요. Gem 기능이 Claude Project처럼 RAG을 사용하라고 있는 건데 RAG이 안 되면 사용할 이유가 없죠.

다른 모델처럼 대화 길이에 제한을 두는 게 아니라 컨텍스트 윈도우가 동적으로 적용되도록 만들어 놓는 바람에 '끊기지 않고 긴 대화를 나눌 수 있는 것처럼' 보여서, 대화 내용이 대화 컨텍스트에서 날아간 줄도 모르고 대화 계속하다가 계속 딴소리만 하길래 속 터졌던 경험이 한두 번이 아니에요. 게다가 Gem 기능이 그렇게 좋다고 하길래 써 봤는데, 업로드한 파일을 읽는 기능에 심각한 문제가 있더라고요.

최근에 가장 큰 장점이었던 thinking process 기능을 막아 버린데다가 (듣기로는 2025 Google I/O 이후로 막아버렸다고) 공식적으로는 컨텍스트가 1M이라고 하지만 실제로 대화해 보니 다른 모델에 비해 체감되는 컨텍스트 윈도우 크기도 상당히 작았습니다. 내부적으로 thinking process 기능은 유지해서 컨텍스트로 사용하되 사용자에게만 안 보이게 해 놓아서 그런 걸지도 모르겠다고 추측만 해 봅니다.