OpenAI 신규 모델 발표 지연?
많은 분들께서 자주 사용하시는 ChatGPT는 발전을 거듭해왔습니다. 작년초부터 사용하시던 분들은 gpt3에서 채팅이 가능하도록 튜닝한 gpt3.5 기반의 채팅 모델을 사용하셨을 겁니다. 작년말부터 사용하시던 분들께서는 gpt4 모델을 경험해보셨고, 올해는 gpt4o로 조금 더 가벼워진 모델과 gpt4o-mini모델을 사용해보셨을 것 같습니다. 운이 좋으신 분들은 현존 최고 성능인 o1-preview, o1-mini 모델을 사용해보셨을 수 있습니다.
OpenAI의 오랜 팬인 저는 한국어를 지원하지 않는 gpt2시절, 모델을 직접 재훈련하여 한국어를 생성해보기도 했었는데요! 현재 발전한 모델을 보면, 놀라울 정도로 성능 향상이 이뤄졌습니다. 이렇게 오랜 발전 과정에서 여러 인공지능 학자들은 인공지능 모델이 데이터가 많아지면 인간이 예측할 수 없고 기대하지 않은 성능 향상과 새로운 기능이 추가된다고 주장해왔습니다. 그러나, 이 공식이 효과가 떨어지고 있는 것일까요? OpenAI의 차기 모델 개발이 지연되고 있다는 기사입니다.
최근 인간이 만들어내는 데이터만큼 인공지능이 생성하는 데이터의 수가 많아지며 학습에 사용하기 어려운 데이터의 증가와 GPU부족과 하드웨어 한계로 모델이 많은 데이터를 학습할만큼 사이즈를 키우기 어려운 것이 주요 문제로 지목됩니다. 현재 언어모델들은 Transformer라는 2017년 구글에서 발표한 아키텍쳐를 따르고 있는데, 이 구조의 한계로 보는 시각도 있습니다.
그뿐 아니라, 최근 OpenAI에서 모델 연구보다는 소프트웨어 개발에 집중을 하면서, 많은 연구자들이 경쟁사인 Anthropic으로 이직한 것이 영향을 주고 있을 수도 있습니다. 추후 발표되는 모델이 있으면 정리하여 소식 전해드리겠습니다.