Ученые создали реалистичный аватар целой макаки

Нейробиологи из Бельгии и Германии создали реалистичные анимированные аватары макак, которые воспринимались настоящими обезьянами так же, как и живые макаки на видео. Ученые не использовали физические маркеры или ручную разметку каждого кадра — они собрали данные с восьми камер, разметили только отдельные кадры и обучили нейросеть предсказывать положение ключевых точек на теле аватара и таким образом восстанавливать траекторию движения. Живые макаки смотрели на таких движущихся аватаров так же внимательно, как и на реальных обезьян на видео. Однако если ученые делали аватар менее реалистичным, макаки смотрели на него меньше, что указывало на эффект «зловещей долины». Исследование опубликовано в журнале PLoS Biology.

Восприятие лиц у приматов изучено неплохо: например, в височной коре макак, шимпанзе, павианов, людей и игрунок есть зоны, которые реагируют в основном на лица, но не на тела или предметы. И настраиваются эти зоны на лица с самого рождения. Известно также, что одни нейроны реагируют на отдельные части лица, а другие — на мимику. Чтобы исследовать реакции макак на подвижные лица и сократить влияние посторонних стимулов, которые нередко есть на реальных видео, ученые ранее создали анимированные аватары лиц. Это помогло преодолеть эффект «зловещей долины» у макак: на реалистичные аватары они обращали почти столько же внимания, как на изображения лиц живых сородичей, в то время как на аватары без шерсти смотрели меньше.

О восприятии движущихся тел приматами известно меньше, поскольку воссоздать движения обезьяны непросто. Использовать технологию захвата движений с физическими маркерами не получается: макаки сбрасывают их во время груминга. А ручная покадровая разметка заняла бы очень много времени: потребовалось бы расставить десятки меток на сотнях кадров для получения анимации длиной в несколько секунд.

Ученые из Университетской клиники Тюбингена и Католического университета Лёвена во главе с Мартином Гизе (Martin A. Giese) смогли обойти эти ограничения и создали движущийся аватар макаки-резуса (Macaca mulatta). Для этого они поставили вокруг клетки с макаками восемь камер и записали на них 2,5 часа видео, из которых затем выбрали несколько отрезков — короткие ролики, где одна особь идет или разворачивается, и двухминутный, где две макаки занимаются грумингом. Каждая камера снимала с частотой 80 кадров в секунду, но ученым не пришлось размечать вручную все кадры со всех камер. Человек отмечал положение суставов (42 точки) в среднем на двух кадрах в секунду с двух камер, а затем программа проецировала эти точки на кадры с остальных шести. Полученные двухмерные координаты алгоритм Anipose с помощью пространственно-временной триангуляции превращал в трехмерные. Кадры, которые ученые не размечали, предсказывала нейросеть. Чтобы анимация была реалистичной, алгоритм соблюдал постоянство расстояний между суставами и плавность движений (координаты не могли меняться слишком сильно от кадра к кадру). Полученные трехмерные координаты ученые перенесли на готовую 3D-модель и получили реалистичный анимированный аватар. 

Траектории движения аватара и реальной макаки с видеоролика совпадали с погрешностью в 18–29 миллиметров. Тогда ученые показали восьми самцам макаки-резуса видео с реальными макаками и аватаром и отследили движение их глаз. Чтобы оценить реакцию макак именно на тело (без лица), лица макак на видео и лица аватаров сделали размытыми. Макаки фиксировали взгляд на силуэте настоящей обезьяны и аватара одинаковое число раз, если аватар был реалистичным — то есть с шерстью и текстурами. На проволочную модель обезьяны тоже обращали внимание. А вот на сером аватаре без цвета, шерсти и текстур макаки останавливались вдвое реже. Ученые заключили, что такой аватар вызывает у макак дискомфорт из-за эффекта «зловещей долины».

Авторам удалось создать первый анимированный аватар тела макаки и показать, что обработка лиц и тел — то есть разных социальных сигналов — у макаков-резусов, по всей видимости, подчинена одним и тем же механизмам (по крайней мере, эффект «зловещей долины» есть и там, и там). В будущем такой управляемый аватар может помочь исследовать реакцию приматов на движущиеся тела сородичей. Однако они отметили, что отслеживание движений сразу двух макак с помощью восьми камер было не таким точным: точки часто перекрывались.

Ранее ученые показали на людях, что за эффект «зловещей долины» отвечает медиальная префронтальная кора, она же отвечает и за социальные взаимодействия.