로봇을 훈련시키는 데 사용되는 비밀 지하 돔

로봇을 훈련시키는 데 사용되는 비밀 지하 돔

카네기 멜론 대학교 지하에는 "스타 워즈"에 등장하는 것처럼 보이는 커다란 돔이 있습니다. 벽 전체에 카메라가 설치된 방은 인간과 로봇 간의 의사소통을 개선하기 위한 비밀을 숨기고 있습니다. 내부에서 보면 물리학 실험의 일부처럼 보이며 다스 베이더의 명상실처럼 보이지는 않습니다. 전자 기기 용 상자와 전선은 천장에서 약 4m 떨어진 방 벽의 각기 다른 부분에 부착되어 있습니다. 하지만이 방은 소립자를 실험하는 공간도 아니고 악당들이 쉴 수 있는 공간도 아니다. 로봇의 성능을 향상하기 위해 만들어진 곳입니다. 이 돔을 "Panoptic Studio"라고 합니다. 벽 전선과 전자 장치는 500대의 2D 및 3D 카메라로 구성된 복잡한 시스템의 일부입니다. 돔에 있는 사람들의 모습을 포착하기 위해 설치되었습니다. 사람의 움직임을 데이터화 하기 위해 이상한 공이 많이 붙어있는 옷을 입을 필요도 없습니다. 이 돔은 로봇이 미래에 우리를 어떻게 "볼"지 엿볼 수 있습니다. 그들은 인간의 사소한 몸짓조차 놓치지 않습니다. 상호 작용에 없어서는 안 될 것이기 때문입니다. 연구자들은 3D 머신 비전을 위한 알고리즘을 훈련하기 위해 많은 양의 데이터를 수집하고 있습니다. 2D 이미지 인식에서도 동일한 작업이 이미 수행되었습니다. 지금도 로봇은 말로 의사소통하는 데 놀랍도록 능숙할 수 있습니다. "쿠리"와 같은 동반 로봇이 디지털 비서처럼 지시에 응답합니다. 그러나 의사소통에는 말보다 더 많은 요소가 있습니다. 로봇의 능력이 더욱 정교 해짐에 따라 인간과 로봇의 관계가 더욱 정교 해집니다. 지적받은 물건을 가져오려면 사람의 몸짓을 인식할 필요가 있습니다. 움직임이 더 복잡한 보안 로봇처럼 될 경우 인간의 행동을 잘 분석하여 적대감을 감지합니다. 의료용 로봇은 고통을 나타내는 표정을 인식할 수 있어야 합니다. 로봇이 이런 일을 할 수 있기까지는 오랜 시간이 걸릴 것입니다. 그러나 Panoptic Studio는 그 미래에 대한 정말 흥미로운 다리입니다. 이 시스템은 여러 카메라의 비디오 데이터를 합성하고 사용합니다. 대부분의 카메라는 저해상도이지만 31 개의 고해상도 카메라와 10 개의 키네틱 센서가 있습니다. 그런 다음 공간에서 각 카메라의 위치를 고려하고 모든 카메라의 데이터를 결합하여 돔에 있는 물체의 골격을 정확하게 종합하여 표현할 수 있습니다. 팔다리에서 각 손가락까지 정확히. 연구원들은 GPU라고 하는 "군사"를 사용하여 분당 600GB로 생성된 데이터를 처리합니다. 지금까지 수집 한 데이터는 총 1 페타 (1 백만 기가바이트) 이상입니다. 내용은 두 사람이 악수하고 춤을 추고 악기를 연주하는 것으로 다양합니다. 이와 같이 동작하는 사진을 인식하도록 알고리즘을 훈련시키려면 인터넷의 스톡 사진에서 유사한 사진을 제공하여 데이터 세트를 쉽게 만들 수 있습니다. 그러나 3D 용 데이터 세트는 없습니다. 시스템 개발을 도왔던 카네기 멜론 대학교의 로봇 공학 연구원 주한별은 "이것이 우리에게 이 스튜디오가 필요한 이유입니다. 현재로서는 Panoptic Studio가이 데이터를 수집하는 유일한 쉬운 방법 일 것입니다."라고 말합니다. 그러나 문제가 있습니다. 물체의 움직임을 파악하기 위해 주변에서 500대의 카메라를 가리키는 로봇은 많지 않습니다. 즉, 정상적인 환경에서 사용할 수 있는 시스템이 아닙니다. 오늘날 시장에 나와있는 일반적인 로봇에는 최대 한두 대의 카메라가 있습니다. 추가하면 주변 세계를 레이저 매핑하기 위한 LiDAR 시스템 일 것입니다. 따라서 Panoptic Studio의 결과를 활용하여 "OpenPose"라는 프로그램을 개발했습니다. 웹캠으로 사람의 움직임을 캡처하여 실시간으로 골격으로 모델링합니다. 웹캠으로 작동한다면 결국 로봇으로도 가능할 것입니다. 가볍기 때문에 음성 인식과 결합하여보다 자연스러운 의사소통을 촉진할 수 있습니다. 사소한 것조차도 사회적 상호 작용에서 중요합니다. 얼굴 표정의 미묘한 변화와 작은 손 제스처가 큰 영향을 미칩니다. 이 시스템을 사용하면 이러한 세부 사항을 직접 표시할 수 있습니다. 로봇과의 상호 작용 범위가 확대됨에 따라 미세 조정된 의사소통은 필수 불가결합니다. 인간과 로봇이 진정으로 협력할 때 로봇 팔은 인간의 존재를 파악할 수 있어야 합니다. 치료 로봇이 자폐증을 앓고 있는 아이들과 상호 작용하고 그들의 얼굴 표정을 정확하게 읽는 날이 올 수 있습니다. 이러한 감지 기술을 사용하여 청각 장애 아동의 의사소통을 돕는 로봇도 있습니다. 카메라가 많은 지하 돔에서 일어나고 있는 일은 미래에 로봇에 더 가까워질 수 있습니다. 다스 베이더가 알아차린다 해도 자랑스러워할 일입니다.