Microsoft는 Windows를 AI 기반 운영 체제로 만들고 싶어하며 Copilot + PC를 출시합니다.

Windows 11의 향후 리콜 기능은 사용자가 몇 주 또는 몇 달 전에 컴퓨터에서 액세스한 앱과 콘텐츠를 “기억”할 수 있습니다. 예를 들어 구매를 고려 중인 옷에 대해 논의하던 Discord 채팅을 찾는 데 도움이 됩니다. 사용자는 Recall의 타임라인을 사용하여 “뒤로 스크롤”하여 최근에 작업한 내용을 확인하고 PowerPoint 프레젠테이션과 같은 파일을 조사하여 검색과 관련될 수 있는 정보를 볼 수 있습니다.

Microsoft는 Recall이 색상, 이미지 등을 연결하여 사용자가 자신의 컴퓨터에 있는 거의 모든 것을 자연어로 검색할 수 있다고 말합니다(스타트업 Rewind의 기술과 다르지 않음). 개발자는 애플리케이션에 상황별 정보를 추가하여 회상률을 향상시킬 수 있습니다. Microsoft는 Recall과 관련된 모든 사용자 데이터가 비공개로 유지되고 장치에 상주하며 AI 모델을 훈련하는 데 사용되지 않는다고 주장합니다. 이는 중요합니다.

여기 더 Microsoft에서: “스냅샷은 귀하의 것입니다. 개별 스냅샷을 삭제하고, 설정에서 시간 범위를 조정 및 삭제하거나, 작업 표시줄의 시스템 트레이에 있는 아이콘에서 직접 일시 중지할 수도 있습니다. 앱과 웹사이트를 필터링하여 저장되지 않도록 하세요.

이미지 편집 및 실시간 번역

이제 Windows에는 그 어느 때보다 더 많은 AI가 포함되어 있으며 그 중 일부는 새로운 Copilot+ PC에만 적용됩니다.

Supersolution이라는 새로운 기능은 오래된 사진을 자동으로 확대하여 복원할 수 있습니다. Copilot은 이제 이미지를 분석하여 사용자에게 창의적인 구성에 대한 아이디어를 제공할 수 있습니다. Cocreator라는 기능을 통해 사용자는 이미지를 생성할 수 있고, AI 모델이 자신이 그린 것을 따라가도록 하여 이미지를 변경하거나 재설계할 수도 있습니다.

다른 곳에서는 자막이 포함된 실시간 캡션이 YouTube든 로컬 파일이든 컴퓨터를 통해 전달되는 모든 오디오를 사용자가 선택한 언어로 번역합니다. 실시간 번역은 처음에는 영어, 스페인어, 중국어, 러시아어를 포함하여 약 40개 언어를 지원합니다.

Microsoft Edge의 별도이지만 관련된 새로운 기능은 LinkedIn, YouTube, Coursera, Reuters, CNBC, Bloomberg 등과 같은 사이트에서 실시간 비디오 번역을 제공합니다. 가까운 시일 내에 제공될 예정인 이 기능은 스페인어에서 영어, 영어에서 독일어, 힌디어, 이탈리아어, 러시아어, 스페인어 번역을 지원하고 더빙 및 라이브 자막을 통해 음성 콘텐츠를 번역합니다.

부조종사 및 액세서리

Team Copilot은 Microsoft의 성장 중인 생성 AI 기술 Copilot 포트폴리오의 최신 확장판입니다. 회사의 화상 회의 앱인 Teams와 통합되어 회의 안건을 관리하고 회의 참가자 누구나 공동 작성할 수 있는 메모를 작성할 수 있습니다. 이는 Microsoft의 공동 작업 및 계획 플랫폼인 Loop 및 Planner로 확장되어 작업을 생성 및 할당하고, 마감일을 추적하고, 입력이 필요할 때 팀 구성원에게 알립니다.

관련 Copilot 뉴스에서 Microsoft는 개발자가 GitHub의 자체 코드 생성 도구인 GitHub Copilot을 타사 앱 및 기술로 확장할 수 있는 Copilot Extensions(비공개 미리 보기)를 출시했습니다. 출시 파트너에는 DataStax, Docker 및 LambdaTest가 포함됩니다. 확장 기능은 GitHub Marketplace에 상주하지만 개발자는 자체 확장 기능을 만들어 내부 시스템 및 API와 통합할 수도 있습니다.

Windows의 Copilot 런타임

Recall 및 Supersolution과 같은 기능을 끄는 것은 Microsoft가 Windows의 “새로운 계층”이라고 설명하는 것을 구성하는 약 40개의 생성 AI 모델 모음인 Windows Copilot Runtime입니다. 개별 Copilot+ PC에 기본으로 제공되는 벡터 기반 시스템인 Semantic Index와 결합된 Windows Copilot Runtime을 사용하면 타사 응용 프로그램을 포함한 AI 기반 응용 프로그램을 반드시 인터넷 연결 없이 실행할 수 있습니다.

“[The runtime] Studio Effects, Live Captions, OCR, Recall with useractivitys 등 즉시 사용 가능한 AI API로 구성되어 있습니다. [more]Davuluri는 화요일에 이 앱이 6월에 개발자들에게 제공될 것이라고 말했습니다.

Microsoft는 TikTok 소유주인 ByteDance의 인기 비디오 편집기인 CapCut이 Windows Copilot Runtime과 함께 제공되는 새로운 Windows Copilot 라이브러리, API 및 AI 개발 도구 세트를 사용하여 AI 기능을 가속화할 것이라고 밝혔습니다. Meta는 위의 Studio Effects를 WhatsApp에 추가하여 화상 통화 중에 배경 흐림 및 눈맞춤과 같은 기능을 제공합니다.

로봇 빌더 업그레이드

고객이 AI 모델을 결합하고 해당 데이터에 대해 “생각”하는 앱을 만들 수 있도록 하는 Microsoft의 Azure OpenAI 서비스 내 도구 모음인 Azure AI Studio를 통해 개발자는 곧 종량제 추론 API(API)를 사용하여 앱을 구축할 수 있게 됩니다. 이를 통해 개발자는 Azure 인프라에서 호스팅되는 생성 AI 모델에 액세스하고 미세 조정할 수 있습니다. Microsoft는 이것을 “서비스형 모델”이라고 부르며 Nixtla 및 Core42의 모델과 함께 출시됩니다.

인접한 Copilot Studio 제품군에서 Microsoft는 “특정 역할 및 기능에 맞게 작업을 자동으로 조정할 수 있는 AI 봇”이라고 설명하는 Copilot Agents를 출시하고 있습니다. (Copilot Studio는 Excel 및 Word와 같은 애플리케이션의 AI 기반 “copilot”인 Microsoft 365용 Copilot을 타사 데이터와 연결하는 도구를 제공합니다.) Copilot 에이전트는 메모리 및 컨텍스트 지식을 활용하여 다양한 유형의 비즈니스 워크플로를 탐색할 수 있습니다. 사용자의 의견을 통해 배우고, 어떻게 대처해야 할지 모르는 상황에 직면했을 때 도움을 요청합니다.

Snapdragon 개발 키트

Arm 칩이 장착된 Copilot+ PC용 앱을 만드는 개발자를 위한 Qualcomm의 새로운 개발 키트가 있습니다.

Apple의 Mac Mini와 대략 동일한 너비, 높이, 길이를 측정하는 899.99달러짜리 Windows용 Snapdragon Dev Kit에는 Qualcomm의 Snapdragon과 많은 I/O 작업이 포함되어 있습니다. 개발 키트는 Wi-Fi 7 및 Bluetooth 5.4를 지원하며 다양한 USB-C 및 HDMI 포트를 통해 최대 3개의 4K 디스플레이에 동시에 전원을 공급할 수 있습니다.

PHI-3

마이크로소프트는 차트와 이미지에 대한 질문에 답하는 등 일반적인 시각적 분석과 추론 작업을 수행할 수 있는 Phi 생성 AI 모델 제품군인 Phi-3-vision을 추가했다고 발표했습니다. 이 모델은 텍스트와 이미지를 모두 읽을 수 있으며 모바일 장치에서 실행하기에 충분히 효율적입니다.

Phi-3-vision은 미리보기로 제공되며, 이전에 발표된 텍스트 전용 제품인 Phi-3-mini, Phi-3-small 및 Phi-3-medium은 이제 일반적으로 사용할 수 있습니다.

칸아카데미와의 파트너십

Microsoft는 Khan Academy와 협력하여 클라우드 컴퓨팅 인프라에 대한 액세스를 기부함으로써 Khan Academy가 미국의 교육자들에게 Khan Academy의 AI 기반 도구에 무료로 액세스할 수 있는 기회를 제공할 수 있게 되었습니다. 마이크로소프트는 화요일에 두 회사가 생성 AI를 통해 수학 교육을 위한 AI 애플리케이션을 개선할 수 있는 기회를 모색하기 위해 협력할 것이라고 밝혔습니다.

AI 기반 뉴스레터를 출시합니다! 신청 여기 6월 5일부터 받은편지함으로 받기 시작합니다.