Физики разработали полностью прямой метод глубокого обучения

Китайские физики разработали полностью прямой метод машинного обучения для оптических нейросетей. Ученые проверили его экспериментально, обучив оптическую нейросеть, характеристики которой не уступают самым современным сетям заданного размера. Статья опубликована в журнале Nature.

Нейросети прочно вошли в нашу жизнь, помогая решать самые разнообразные задачи, от сортировки LEGO до анализа данных физических экспериментов. Однако с увеличением сложности задачи и увеличением размера сети возрастают потребности в вычислительных ресурсах и необходимом времени для ее обучения. Ученые считают, что при помощи оптики и фотоники можно создать оптические нейросети, которые реализуют широкополосные и высокоэффективные вычисления.

Настройка и обучение фотонных сетей требует тщательного моделирования, а требуемые вычислительные ресурсы растут экспоненциально в зависимости от сложности задачи. Поэтому ученые стремятся создать эффективные нейронные сети на месте. Этому, в свою очередь, мешает метод обратного распространения ошибки, используемый для обучения нейросетей. Для его применения оптические сети должны быть идеально откалиброваны и выровнены, что весьма трудоемко. Поэтому нынешние реализации оптических и фотонных нейронных сетей сильно ограничены размером и областью применения.

Группа ученых под руководством Фан Лу (Lu Fang) и Дай Цюнхай (Qionghai Dai) из Университета Цинхуа в Пекине предложила новый метод полностью прямого машинного обучения для оптических нейросетей на месте в свободном пространстве и интегрированных оптических системах. Физики заменили обратное распространение световой волны для ошибки на прямую передачу ошибки в пространственно симметричной оптической системе. Ученые показали математически, что такая замена реализуема и взаимооднозначна. Значения, полученные на выходе системы для распространения ошибки, затем используются для вычисления градиента и обновления показателей преломления системы — весов нейронов оптической сети. После того как показатель преломления в расчетной области сойдется, систему можно использовать для целевых приложений.

Для экспериментального подтверждения работоспособности метода ученые реализовали несколько примеров оптических нейросетей. На стандартном датасете MNIST, содержащем базу данных образцов рукописных цифр, однослойная оптическая нейросеть показала индекс структурного сходства более 97 процентов. А оптический классификатор из восьми слоев, обучавшийся определять предметы одежды на датасете Fashion-MNIST, показал точность 92,5 процента. Этот показатель значительно превысил точность оптического классификатора, который обучали на основе компьютерной модели, и приблизился к теоретическим показателям идеального классификатора.

Ученые полагают, что новый метод обучения оптических нейросетей откроет путь к безмодельному высокопроизводительному самостоятельному проектированию оптических систем и самообучающейся физике, а также даст возможность создания крупномасштабного высокоэффективного физического искусственного интеллекта.

Если вы хотите узнать более подробно о нейросетях — читайте наш материал «Машинное обучение».