Apple은 오늘 클라우드 서버가 아닌 장치에서 실행되도록 설계된 여러 오픈 소스 LLM(대형 언어 모델)을 출시했습니다. OpenELM(Open Source Efficient Language Models)이라고 불리는 LLM 프로그램은 다음에서 제공됩니다. 포옹하는 얼굴의 중심AI 코드를 공유하는 커뮤니티입니다.
백서에 나와 있듯이 [PDF]총 8개의 OpenELM 모델이 있으며 그 중 4개는 CoreNet 라이브러리를 사용하여 사전 훈련되고 4개는 명령 조정 모델입니다. Apple은 정확성과 효율성 향상을 목표로 레이어 확장 전략을 사용합니다.
Apple은 단순한 최종 훈련 모델이 아닌 코드, 훈련 로그 및 여러 버전을 제공했으며, 프로젝트를 진행하는 연구원들은 이를 통해 자연어 AI 분야에서 더 빠른 발전과 “보다 신뢰할 수 있는 결과”를 얻을 수 있기를 바라고 있습니다.
OpenELM은 개방형으로 진화하는 언어 모델입니다. OpenELM은 레이어 스케일링 전략을 사용하여 변환기 모델의 각 레이어 내에 매개변수를 효율적으로 할당함으로써 정확성을 향상시킵니다. 예를 들어, 약 10억 개의 매개변수 예산을 갖춘 OpenELM은 OLMo에 비해 정확도가 2.36% 향상되었으며 사전 훈련에 필요한 토큰은 2배 더 적습니다.
모델 가중치, 추론 코드, 비공개 데이터세트에 대한 사전 훈련만 제공하는 이전 관행에서 벗어나, 우리 버전에는 훈련 로그, 다중 체크포인트 및 사전 학습을 포함하여 공개적으로 사용 가능한 데이터세트에서 언어 모델을 훈련하고 평가하기 위한 완전한 프레임워크가 포함되어 있습니다. 포인트들. 훈련 구성.
Apple은 최첨단 언어 모델을 통해 “개방형 연구 커뮤니티를 강화하고 풍요롭게”하기 위해 OpenELM 모델을 출시한다고 밝혔습니다. 모델 오픈 소스 공유를 통해 연구자들은 위험, 데이터 및 모델 편향을 조사할 수 있습니다. 개발자와 기업은 템플릿을 그대로 사용하거나 수정할 수 있습니다.
정보의 공개 공유는 Apple의 기밀 유지 정책에 따라 일반적으로 출판되지 않는 연구 논문에 대한 기회를 제공하기 때문에 Apple이 최고의 엔지니어, 과학자 및 전문가를 채용하는 중요한 도구가 되었습니다.
Apple은 아직 이러한 유형의 AI 기능을 장치에 도입하지 않았지만 iOS 18에는 여러 가지 새로운 AI 기능이 포함될 것으로 예상되며 Apple이 개인 정보 보호 목적으로 장치에서 자체 대규모 언어 모델을 실행할 계획이라는 소문이 있습니다.
