ChatGPT научился одновременно говорить и слушать

Компания OpenAI представила семейство голосовых моделей GPT-Live, которые могут воспринимать речь пользователя и генерировать ответ одновременно. Благодаря этому беседа с нейросетью в голосовом режиме становится более естественной: модель может вставлять реплики во время речи пользователя, подстраивается под его паузы и темп и корректно реагирует, когда ее перебивают.

Первая версия голосового режима ChatGPT, появившегося в 2023 году, фактически представляла собой цепочку из трех отдельных моделей. Голос пользователя сначала переводился в текст с помощью модели распознавания речи, затем большая языковая модель генерировала текстовый ответ, после чего он озвучивался третьей моделью. Такой каскад позволял подключить к речевому интерфейсу наиболее мощные на тот момент языковые модели OpenAI, однако при этом беседа сопровождалась паузами и потерей интонаций, что делало диалог неестественным.

В появившемся в 2024 году режиме Advanced Voice процесс восприятия звука, его анализ и генерация голосового ответа происходил уже внутри одной мультимодальной нейросети, что позволило значительно уменьшить паузы и сделать речь более естественной. Тем не менее диалог оставался строго поочередным — модель ожидала, пока пользователь закончит фразу, и только после этого начинала говорить. Из-за этого, например, фоновый шум или паузы в речи пользователя могли сбить модель с толку, переведя ее в режим слушания или, наоборот, в режим говорения, что нарушало процесс коммуникации.

8 июля 2026 года OpenAI представила новую модель GPT-Live. Она имеет полнодуплексную архитектуру, что должно исправить проблему строгой поочередности диалога. Теперь система не разделяет разговор на дискретные реплики. Вместо этого входящий аудиопоток обрабатывается моделью одновременно с формированием ее собственного ответа. Для этого нейросеть анализирует поток много раз в секунду, принимая решения о том, что ей стоит делать — говорить, замолчать, проигнорировать паузу в речи человека, пока тот подбирает слова, или отреагировать на прерывание ее собственной речи. Во время слушания модель может произносить междометия, например, «ага» или «ясно», создавая у пользователя впечатление, что его внимательно слушают.

Благодаря полнодуплексной архитектуре GPT-Live способен выполнять синхронный перевод с одного языка на другой в реальном времени и лучше отделяет голос пользователя от окружающего шума. Во время разговора ChatGPT может показывать карточки с запрашиваемой информацией, например, с погодой, биржевыми котировками или спортивными результатами. Еще одна особенность GPT-Live — перенаправление сложных запросов более мощным моделям. Голосовая модель специализируется на поддержании естественного хода беседы, поэтому если вопрос пользователя требует многоступенчатых рассуждений или поиска информации в сети, система подключает к этому процессу основные языковые модели OpenAI. Причем, пока та работает над задачей, голосовая модель может поддерживать разговор, а затем озвучить полученный результат.

Позаботились инженеры OpenAI и о безопасности новой модели. Для этого в систему внедрили дополнительные средства модерации: и входной аудиопоток, и генерируемый ответ непрерывно отслеживаются, в случае обнаружения потенциально опасного контента система в реальном времени может скорректировать направление разговора или даже принудительно закончить диалог. Старшая версия, GPT-Live-1, доступна для платных подписчиков ChatGPT, а облегченная GPT-Live-1 mini — для бесплатных аккаунтов.

Недавно исследователи из компании Anthropic обнаружили в больших языковых моделях семейства Claude область, которая служит рабочей зоной, где на короткое время появляются и удерживаются словесные понятия, используемые моделью для «размышлений в уме».