Google의 데모 3D 텔레프레즌스 키오스크 작동 방식은 다음과 같습니다.

안에 새로운 연구 논문Google은 Project Starline의 인상적인 제품 이면의 기술을 자세히 설명했습니다. 올해 I/O 컨퍼런스. Project Starline은 2D 2D 회의 통화를 실제 사람 앞에 앉아 있는 듯한 경험으로 대체하는 3D 영상 채팅 키오스크입니다.

간단하게 들리지만 Google의 연구 보고서는 몇 미터 떨어진 곳에 실제 사람이 앉아 있다고 믿도록 뇌를 속이는 데 얼마나 많은 어려움이 있는지 강조합니다. 분명히 이미지는 고해상도여야 하고 산만하지 않아야 하지만 기내의 상대적 위치에서도 올바르게 보여야 합니다. 오디오는 시스템이 사람의 말이 실제 입에서 나오는 것처럼 들리도록 해야 하기 때문에 또 다른 문제입니다. 그런 다음 눈을 마주치는 작은 문제가 있습니다.

그러나 결국에는 Project Starline이 사용자가 부피가 큰 헤드폰이나 트래커를 착용하지 않고도 가상 또는 증강 현실과 유사한 존재감을 제공할 수 있기를 바랍니다.

이미지: 구글

이 문서는 이러한 문제를 해결하기 위해 얼마나 많은 하드웨어가 필요한지 정확히 보여줍니다. 시스템은 60Hz에서 작동하는 대형 65인치 8K 패널을 중심으로 구축되었습니다. 주변에 Google 엔지니어는 컬러 이미지와 깊이 데이터를 모두 캡처할 수 있는 3개의 “캡처 포드”를 배치했습니다. 이 시스템에는 4개의 추가 추적 카메라, 4개의 마이크, 스피커 및 적외선 프로젝터도 포함됩니다. 총 7개의 비디오 스트림에 대해 3개의 깊이 맵과 4개의 시점에서 컬러 이미지가 캡처됩니다. 오디오는 44.1kHz에서 캡처되고 256kbps로 인코딩됩니다.

이러한 모든 장치는 분명히 전송해야 할 많은 데이터를 생성하며 Google은 전송 대역폭 범위가 “사용자의 옷의 세부 사항과 제스처의 크기”에 따라 30Mbps에서 100Mbps 사이라고 말합니다. 따라서 표준 Zoom 통화 이상이지만 일반적인 도시 사무실에서는 처리할 수 없습니다. Project Starline에는 이 모든 데이터를 암호화 및 해독하기 위해 4개의 고급 Nvidia 그래픽 카드(2개의 Quadro RTX 6000 및 2개의 Titan RTX)가 장착되어 있습니다. 평균 종단 간 대기 시간은 105.8ms입니다.

이미지: 구글

Google이 말한 대로 Starline이 설치된 세 곳의 사이트에서 Starline을 사용한 직원은 존재감과 개인적인 유대감을 형성하고 관심과 반응을 측정하는 데 도움이 된다는 점에서 기존 화상 회의를 능가한다고 믿습니다. 회사에 따르면 9개월 동안 117명의 참가자가 텔레프레즌스 키오스크에서 총 308회의 회의를 열었으며 평균 회의 시간은 35분이 조금 넘었습니다.

이 모든 것이 매우 유망하게 들리지만, 시스템이 언젠가 상용화될지 여부에 대한 징후는 아직 없습니다. Starline의 다양한 장치가 실제로 얼마인지에 대한 정보도 거의 없습니다(연구 논문의 표 4는 추적기를 식별하고 추적기를 사용하는 것을 표시하지만 수학을 하고 싶다면). 현재 Google은 “미국 전역의 더 많은 Google 사무실에서” Project Starline 가용성을 확장하기 위해 노력하고 있다고 말합니다.