며칠 전에 Google AI Studio 에서 Gemini Experimental 1114 라는 모델이 별다른 예고도 없이 갑자기 나타났습니다.

그때 잠깐 써봤을때에는 답변이 조금 더 길다는 인상을 받았을뿐 특별하지는 않다고 생각했는데요.

LMSYS 리더보드를 보니 전체 1위를 하고 있더군요.

그래서, 동덕여대 래디컬 페미라던가 요즘 집회에 대한 양측 사람들의 반응이라던가 트럼프 당선이라든가 우크라이나나 이스라엘의 전쟁 등등 좀 날카로울 수 있는 주제들로 길게 논쟁을 해봤는데요.

뭔가 논리적으로 날카롭게 파고드는게 있네요.

이전 002 만해도 어느 정도 수긍하고 알겠다고 하거나 좀 이상한 논리로 똥고집을 피우는 인상이었는데, 1114 모델은 꽤 논리적으로 집요하게 저에게 반론을 펼치네요.

이 녀석이 많이 똘똘해진 느낌입니다.

소문에는 Gemini 2.0 을 개발하고 있는데 목표한것 만큼 성능향상이 이뤄지지 않아서 내부적으로 개발전략을 수정중이라고 들었는데, 혹시 1114 가 2.0 개발 중간결과물이 아닌가 싶네요.

아주 확 차이나지는 않지만 뭔가 달라진 느낌을 주긴 합니다.

물론, GPT 나 Claude 만큼 살갑게 대꾸하는 능력은 (그렇게 System Instruction 을 넣어봐도) 딱히 더 낫지는 않은데, 이번에는 뭔가 좀 치는 녀석하고 논쟁을 한다는 느낌이 꽤 괜찮네요.

OpenAI 나 Anthropic 이나 xAI 나 모두 차세대 모델 개발이 잘 안되고 있다는 소문은 있던데, 그래도 이런 수준으로 연말, 내년초에 새 모델들이 나온다면 또 즐겁게 여러 대화를 해볼 수 있을거 같습니다.

처음 나왔을 때에는 Google Search Grounding 기능이 있었는데, 그때 에러가 나는 비율이 높다 싶었는데 지금 보니 1114 모델에서는 Google Search Grounding 기능이 빠졌네요.

Token 수도 002 가 2M 인데 반해 1114 는 32K 밖에 안되고요.

뭐 어쨌든 정식모델은 아니니 다듬어져서 잘 나오면 좋겠습니다.

(항상 Google 이 리더보드 1위를 하면 OpenAI 가 바로 바로 조금 더 좋은 모델을 내놨으니 이번에도 기대(?)를 하고 있습니다.)