«Искусственный интеллект: Краткая история будущего»

18 июня 1956 года в кампусе Дартмутского колледжа начался семинар, посвященный созданию умных машин. С этой амбициозной задачей участники планировали справиться в течение всего лишь восьми недель. Конечно, у них не получилось — для того, чтобы хотя бы немного приблизиться к этой цели, потребовалось значительно больше времени. В книге «Искусственный интеллект: Краткая история будущего» («КоЛибри»), переведенной на русский язык Алиной Решетовой, специалист в области искусственного интеллекта Тоби Уолш рассказывает, как шесть простых идей стали основой современных технологий ИИ. Предлагаем вам ознакомиться с фрагментом, посвященным обучению многослойных нейросетей.

Глубокое обучение

Мечты Фрэнка Розенблатта не исчезли вместе с публикацией книги Минского и Пейперта. Один из основоположников искусственного интеллекта Джеффри Хинтон продолжил миссию Розенблатта по разработке искусственного мозга. И в самом деле, Хинтон систематически занимался решением проблем, затронутых в книге. 

Джеффри Хинтон (полное имя Джеффри Эверест Хинтон) — праправнук Джорджа Буля. Джордж Буль встречался на нашем пути краткой предыстории искусственного интеллекта как изобретатель «алгебры логики», логики нулей и единиц, использующейся в компьютерах сегодня. Второе имя Хинтона происходит от другого родственника, вошедшего в историю, сэра Джорджа Эвереста, главного геодезиста Индии, в честь которого названа гора. 

В 2015 году я присутствовал на праздновании двухсотлетия со дня рождения Джорджа Буля в его альма-матер, Королевском колледже Корка (сейчас носит название «Университетский колледж Корка»). Джеффри Хинтон тоже был там, равно как и несколько других наследников Буля. Гены явно дают о себе знать. 

На протяжении всей своей карьеры Джеффри Хинтон был индивидуалистом, не боявшимся следовать неординарному и непопулярному, точь-в-точь как его прапрадед за 200 лет до его рождения. В случае Хинтона, начиная с конца 1970-х годов, он в течение нескольких десятилетий упорно занимался разработкой нейросетей, несмотря на то что эта область была глубоко не в духе времени и невзирая на сильное сопротивление научного сообщества. 

Как выпускнику Кембриджского университета, Хинтону было сложно найти интеллектуальное пристанище. Он пробовал себя в разных областях, изучал естественные науки, историю искусств, а затем и философию до того, как в конце концов осел в области экспериментальной психологии. Он продолжил обучение в аспирантуре на факультете искусственного интеллекта Эдинбургского университета, который в то время был единственным в мире. В 1977 году он получил степень PhD в .

Хинтону не удалось получить финансирование на свои непопулярные идеи об искусственном интеллекте в Великобритании, поэтому сначала он переехал в Соединенные Штаты, где недолгое время работал в Университете Калифорнии в Сан-Диего и университете Карнеги-Меллона, а затем перебрался в Канаду и начал свою деятельность в университете Торонто. Там он получил поддержку от малоизвестного, но дальновидного финансового агентства, Канадского института перспективных исследований (CIFAR). 

Первое затруднение, поразившее идею перцептрона, как мы уже увидели, заключалось в их неспособности обучиться даже простой концепции «четное или нечетное». Хинтон быстро продемонстрировал, что дополнительный (его часто называют «скрытый») слой нейронов позволит нейросети обучиться не только «четному и нечетному», но и другим, более сложным функциям. Однако Хинтон не остановился только лишь на одном дополнительном слое, он популяризировал идею «глубокого обучения», используя нейросети с множеством слоев. 

Следующая трудность, которую Хинтону необходимо было разрешить, была скорость самого обучения. В 1986 году Хинтон вместе с и Рональдом Дж. Уильямсом написал знаковую работу, продвигающую гораздо более быстрый способ обучения для обновления весов в нейронных сетях. Такой способ назывался «методом обратного распространения ошибки» (backpropagation) и был создан целой командой специалистов. Сам термин был введен Розенблаттом в 1962 году, но он и понятия не имел, как применить его. Стоит также отдать дань уважения и Полу Вербосу, который в 1982 году предложил тренировать нейронные сети методом обратного распространения ошибки, но в 1970 году его опередил . Следует упомянуть и других ученых, включая Артура Эрла Брайсона (1961), Генри Дж. Келли (1960) и (конец 1950-х). По сути, метод обратного распространения ошибки — это применение цепного правила для дифференцирования, которое многие из нас изучали в школе и которое в 1673 году изобрел Готфрид Лейбниц, другая выдающаяся личность из предыстории искусственного интеллекта.

Обратное распространение ошибки — разумный путь обновить веса в нейронных сетях. Он вычисляет градиент — скорость, с которой выходные данные изменяются по мере изменения входных данных. И точно так же, как и вы можете быстрее взойти на гору, следуя по самому крутому склону, обратное распространение следует градиенту, чтобы быстрее найти наилучший вес. Обратное распространение ошибки означало, что веса в глубокой многослойной нейросети могут обучаться быстрее. Но расчеты для этого все равно были довольно обременительными. 

Открытие, случайно сделанное в 2012 году одним из аспирантов Хинтона Алексеем Крижевским, позволило выполнять метод обратного распространения ошибки более эффективно. Алексей понял, что графические процессоры, используемые для рендеринга видео в 3D формате для компьютерных игр, идеально подходили для выполнения умножения матриц, необходимых для вычисления градиентов и выполнения обратного распространения ошибки. Это означало, что теперь Хинтон мог эффективно тренировать очень глубокие нейронные сети. 

Открытие быстро увеличило рыночную капитализацию корпорации NVIDIA, занимающую 80 процентов рынка графических процессоров, более чем на триллион долларов США. Без сомнения, они являются одной из самых удачливых компаний в истории. Невзначай они нашли свое призвание, продавая лопаты во время золотой лихорадки.

Подробнее читайте:
Уолш Т. Искусственный интеллект : Краткая история будущего / Тоби Уолш ; пер. с англ. Алины Ю. Решетовой. — М. : КоЛибри, Издательство АЗБУКА, 2026. — 224 с.