Altman은 “이를 통해 우리는 안전 문제에 대해 더 사려 깊고 더 반성할 수 있다고 생각합니다.”라고 말합니다. “우리 전략의 일부는 세상의 점진적인 변화가 갑작스러운 변화보다 낫다는 것입니다.” 또는 OpenAI 부사장 Mira Moratti가 말했듯이 소프트웨어에 대한 공개 액세스를 제한하는 보안 팀의 작업에 대해 질문했을 때 “이러한 강력한 기술을 배포하는 방법을 배우려면 위험이 매우 낮을 때부터 시작합시다. .”
GPT-3 자체는 아이오와의 슈퍼컴퓨터 클러스터에서 285,000개의 CPU 코어에서 실행되는 OpenAI는 샌프란시스코 미션 지역의 개조된 수하물 공장에서 운영됩니다. 작년 11월에 저는 GPT-3이 실제로 어떻게 작동하는지에 대한 일반인의 설명을 이끌어 내기 위해 그곳에서 Ilya Sotskefer를 만났습니다.
“그게 GPT-3의 기본 아이디어입니다.” Sotskever가 의자에 몸을 기대며 골똘히 말했습니다. 그는 질문에 대답하는 흥미로운 방법을 가지고 있습니다. 일부 잘못된 시작 – “당신이 요청한 설명과 대략 일치하는 설명을 드릴 수 있습니다.” – 마치 그가 진행 중인 전체 응답을 차트로 작성하는 것처럼 긴 명상 중단으로 중단되었습니다.
그는 마지막으로 다음과 같이 말했습니다. “GPT-3의 기본 아이디어는 직관적인 이해 개념을 기계적으로 측정하고 이해할 수 있는 것과 연관시키는 방법이며, 이것이 텍스트의 다음 단어를 예측하는 작업입니다. 인공 지능의 다른 형태는 세계에 대한 정보를 암호화하려고 시도합니다. 위대한 대가의 체스 전략, 기후학의 원리입니다. 그러나 GPT-3 지능은 지능이 그에 대한 단어라면 아래에서 위로 옵니다: 다음 단어를 예측하는 기본 동사를 통해. GPT-3 교육의 경우 모델에 “프롬프트”(예: 신문 기사, 소설 또는 과학 논문의 텍스트 몇 문장 또는 단락)가 제공된 다음 가능한 단어 목록을 제안하도록 요청됩니다. 확률에 따라 순서대로 시퀀스를 완료할 수 있습니다. 훈련의 초기 단계에서 제안된 단어는 넌센스입니다. “작가가 첫 번째 단어에서 마지막 단어를 삭제했습니다. . . . “”와 같은 문장으로 알고리즘에 질문하면 추측은 일종의 넌센스의 흐름이 될 것입니다. 목록 – 올바른 누락 단어가 나타납니다: “단락.” 그런 다음 프로그램 특정 제안을 생성하는 임의의 신경 연결을 강화 및 약화 잘못된 추측을 생성한 모든 연결 그런 다음 다음 라우터로 이동 시간이 지남에 따라 충분한 반복을 통해 프로그램이 학습합니다.
지난 1월 OpenAI는 사용자가 텍스트의 샘플 세그먼트를 확장하도록 요구하는 대신 프롬프트로 직접 GPT-3 지침을 제공할 수 있는 기능을 추가했습니다. 예를 들어, 도움말 모드를 사용하면 GPT-3에 “Italo Calvino의 작업에서 메타픽션의 역할에 대해 논의하는 에세이를 작성하십시오.”라는 프롬프트가 표시되었습니다. 다음과 같이 시작되는 짧은 단락:
이탈리아 작가 Italo Calvino는 작가가 글을 쓰는 행위 자체에 대해 논의하기 위해 제4의 벽을 깨는 글쓰기 유형인 메타픽션의 전문가로 간주됩니다. Calvino에게 메타픽션은 현실의 본질과 이야기가 세상에 대한 우리의 인식을 형성할 수 있는 방식을 탐구하는 방법입니다. 그의 소설은 종종 현실과 환상의 경계를 조작하는 장난기 있는 구조와 미로를 포함합니다. 예를 들어 여행자가 겨울 밤이라면 독자는 독서 행위와 스토리텔링의 본질이라는 메타 수준의 논의에 끊임없이 방해를 받습니다. . . .
GPT-3에 똑같은 프롬프트를 계속해서 제공할 수 있으며 매번 고유한 응답을 생성할 수 있습니다. 일부는 다른 것보다 설득력이 있지만 거의 모두 매우 간단합니다. 지시적 프롬프트는 모든 종류의 형식을 취할 수 있습니다. “볼로네제 소스의 모든 재료 목록을 주세요.”, “존 애쉬베리 스타일로 프랑스 해변 마을에 대한 시를 써주세요.” -old는 이해합니다.” 때때로 처음 몇 번은 이런 종류의 GPT-3 자극을 먹였을 때 정말 소름이 돋는 것을 느꼈습니다. 기계가 예측하는 초기 교육을 기반으로 완전히 명확하고 반응적인 텍스트를 생성하는 것은 거의 불가능해 보였습니다. 다음 단어.
그러나 AI는 실제로 상품을 배달하지 않고 지능이나 이해의 환상을 만들어낸 오랜 역사를 가지고 있습니다. ~에 많이 논의된 논문 작년에 출판된 워싱턴 대학교 언어학 교수 Emily Bender, 전 Google 연구원 Timnit Gebru 및 공동 저자 그룹은 대형 언어 모델이 ‘임의의 앵무새’라고 선언했습니다. 인간.. Bender는 최근 이메일을 통해 이렇게 말했습니다. 데이터 세트’ – 문화 뿐만 아니라 “그런 것을 만들고 판매하는 사람들이 가질 수 있는” 기술은 부정확한 데이터를 기반으로 구축하는 것과는 거리가 멉니다.”
