Nvidia GTC에서 AI용 Transformers 너머를 바라보는 크리에이터들: '세상에는 더 나은 것이 필요합니다'

Transformers를 소개한 Attention Is All You Need 논문의 저자 8명 중 7명이 오늘 GTC 컨퍼런스의 한 홀에 모여 처음으로 Nvidia CEO Jensen Huang과 대화를 나누었습니다.

여기에는 Character.ai의 공동 창립자이자 CEO인 Noam Shazier; Cohere의 공동 창립자이자 CEO인 Aidan Gomez; Ashish Vaswani, Essential AI 공동 창립자 겸 CEO; Sakana AI의 공동 창립자이자 CTO인 Leon Jones; NEAR 프로토콜의 공동 창립자 Ilya Polosukhin; Inceptive의 공동 창립자이자 CEO인 Jacob Oschorit; 그리고 OpenAI의 기술 직원인 Lukas Kaiser. Essential AI의 공동 창업자인 Nikki Parmar는 참석하지 못했습니다.

2017년 8명으로 구성된 Google Brain 팀은 Transformers로 금메달을 획득했습니다. 이는 전임자인 순환 신경망 및 장기 단기 기억 네트워크보다 단어의 맥락과 의미를 더 정확하게 포착하는 획기적인 신경망 NLP입니다. Transformer 아키텍처는 GPT-4 및 ChatGPT와 같은 LLM 소프트웨어뿐만 아니라 OpenAI의 Codex 및 Deep Mind의 알파 폴드.

“세상에는 트랜스포머보다 더 나은 것이 필요합니다.”

그러나 이제 Transformers의 제작자는 자신이 구축한 것 이상으로 AI 모델의 다음 단계를 모색하고 있습니다. Cohere의 Gomez는 현 시점에서 “세상에는 트랜스포머보다 더 나은 것이 필요합니다”라고 말하면서 “우리 모두는 우리를 새로운 수준의 성능으로 끌어올릴 수 있는 무언가가 작동하기를 바라고 있다고 생각합니다.”라고 덧붙였습니다. 그는 계속해서 나머지 그룹에게 “다음에 무엇이 보이나요? 이것은 흥미로운 단계입니다. 왜냐하면 제 생각에는 [what is there now] 6~7년 전에 존재했던 것과 매우 유사합니다.

청문회 후 VentureBeat와의 토론에서 Gomez는 패널의 의견을 확대하여 다음과 같이 말했습니다. [Transformers] 그는 “그것이 우리가 할 수 있는 최선”이라며 팀이 “Attention is All You Need” 보고서를 제출한 다음 날부터 'Attention is All You Need' 보고서를 제출한 다음 날부터 계속 생각해왔다고 덧붙였습니다. “나는 그것이 10배 더 나은 다른 것으로 대체되는 것을 보고 싶습니다. 이는 모든 사람이 10배 더 나은 모델을 갖게 된다는 것을 의미합니다.”

그는 Transformers의 메모리 측면에 많은 결함이 있었으며 Transformer의 많은 아키텍처 구성 요소가 처음부터 변경되지 않은 상태로 유지되어 “재탐색 및 재검토”되어야 한다고 지적했습니다. 예를 들어 매우 긴 컨텍스트는 비용이 많이 들고 확장이 불가능하다고 그는 설명했습니다. 또한 “매개변수가 불필요하게 클 수 있으며, 더 많이 압축할 수 있고, 가중치를 더 자주 공유할 수 있어 상황이 상당히 줄어들 수 있습니다.”

“분명히 더 나아져야 해요.”

그러나 그는 논문의 나머지 저자들도 동의할 가능성이 높다는 점을 인정했지만, 고메스는 “그런 일이 일어날 시기는 다양하다”고 말했습니다. 그런 일이 발생하면 유죄 판결이 달라질 수 있습니다. 하지만 모두가 최고를 원합니다. 마치 우리 모두가 마음속으로 과학자인 것처럼 말입니다. 이는 우리가 진전을 보고 싶다는 뜻일 뿐입니다.

그러나 세션 중에 Sacana의 Jones는 AI 산업이 Transformers 이후 다음 단계로 나아가려면 – 그것이 무엇이든 – “단순히 더 나아질 필요는 없습니다. – 눈에 띄게 좋아야 합니다.”라고 지적했습니다. 확실히 더 좋아졌어… 그래서 [right now] 기술적으로 현재 사용 가능한 가장 강력한 것은 아니지만 원형에 갇혀 있습니다.

Gomez는 이에 동의하며 VentureBeat에게 Transformer가 좋은 모델과 아키텍처였을 뿐만 아니라 사람들이 그것에 대해 열광했기 때문에 인기가 높았으며 두 가지가 모두 필요하다고 말했습니다. “이 중 하나라도 놓치면 커뮤니티를 움직일 수 없습니다.”라고 그는 설명했습니다. “따라서 한 아키텍처에서 다른 아키텍처로 이동하는 추진력을 자극하려면 사람들이 관심을 가질 만한 무언가를 앞에 놓아야 합니다.”