Нейросеть взяла на себя управление человеческой рукой

Студенты из Массачусетского технологического института собрали прототип системы Human Operator, которая заставляет руку человека двигаться с помощью электростимуляции мышц. Управляет процессом нейросеть Claude. Информация о проекте доступна на GitHub и на сайте Human Operator.

Инженеры давно экспериментируют с электрической стимуляцией для управления движениями животных. Например, вживляя электроды в организм тараканов и стрекоз, исследователи могут заставить их ползать и лететь в нужном направлении. Природа наделила этих существ эффективными механизмами передвижения, которые пока недоступны для воспроизведения в микророботах, поэтому использование живого организма в качестве носителя полезной нагрузки кажется перспективным направлением. Подобные эксперименты проводили и на медузах — электростимуляция позволила американским инженерам в несколько раз увеличить скорость их плавания без существенного вреда для животного, так как у медуз нет центральной нервной системы и болевых рецепторов.

В случае с людьми электрическая стимуляция мышц применяется в медицине и реабилитации уже много лет: электроды накладывают на кожу поверх мышц, а слабые электрические импульсы заставляют их сокращаться. Теперь команда из шести студентов MIT, участвовавшая в хакатоне HARD MODE 2026, попробовала объединить технологию электростимуляции с возможностями генеративных нейросетей. Их проект под названием Human Operator, занявший первое место в номинации «Learn Track», представляет собой прототип носимого устройства, способного непосредственно управлять рукой пользователя. Система состоит из закрепленной на голове камеры, микрофона для приема голосовых команд, контроллера на базе Arduino и набора электродов, которые размещаются на предплечье и пальцах.

Процесс взаимодействия с системой начинается с запроса, который озвучивает пользователь. Камера делает снимок окружения, который вместе с аудиокомандой передается по API мультимодальной нейросети Claude от компании Anthropic. Модель анализирует визуальный контекст и определяет, какое движение необходимо совершить. Затем система преобразует это решение в последовательность команд для микроконтроллера, который, в свою очередь, генерирует электрические импульсы, вызывающие сокращение нужных мышц руки.

В демонстрационном видео создатели показали несколько вариантов использования Human Operator. Например, система заставляет руку пользователя приветственно помахать в ответ на голосовую команду. В другом эпизоде, когда человек спрашивает систему: «Каково это — иметь тело?», нейросеть отвечает, заставляя его пальцы сложиться в жест «окей».

Более сложное применение включает в себя игру на фортепиано: Human Operator управляет пальцами пользователя, заставляя его исполнять простую мелодию, даже если сам человек не умеет играть на инструменте. В видео показан и процесс смешивания напитков, однако сами создатели прототипа отмечают, что это пока лишь концепт возможного будущего применения технологии.

Электростимуляция применяется и для реабилитации пациентов с серьезными нарушениями опроно-двигательного апарата. Например, результаты клинических испытаний неинвазивной электростимуляции спинного мозга показали у пациентов с травмой шейного отдела улучшение функций и силы рук без выраженных побочных эффектов.