Сегодня мы расскажем с чего началась эпоха современного ИИ. Это произошло через год после полета первого искусственного спутника Земли и имело не менее колоссальное значение для человечества.
И, как водится, здесь не обошлось без россыпи блестящих умов.
Ты помнишь как все начиналось…
1958 год в США запомнится годом циклонов. Именно этим холодным и влажным летом мир изменился навсегда, просто он еще не подозревал об этом.
В Управление военно-морскими исследованиями США начинался невиданный доселе эксперимент. Огромному компьютеру весом 5 тонн, занимающему целую комнату, “скормили” две группы перфокарточек, отличавшихся друг от друга дырчатыми узорами.
Розенблатт, здесь еще соискатель докторской степени, за работой над электронным профилем анализирующего компьютера, прообразом Перцептрона. Источник: news.cornell.edu.
Перед компьютером стояла нетривиальная задача: научиться различать левую группу карточек от правой самому. Спустя всего каких-то 50 попыток он-таки сумел это сделать. Фактически без вмешательства человека. Присутствующие наблюдали рождение того самого Перцептрона — первого из первых, с которого начнется эпоха машинного обучения. И как скажет о нем сам автор Фрэнк Розенблатт “Это первая машина, способная придумать собственную, оригинальную идею”.
Создатель нового чуда света имел необычную специализацию: инженер и психолог-исследователь в одном лице. Но именно такое сочетание, по все видимости и нужно было, чтобы заставить огромным шкаф с лампами приблизиться хотя бы на волосок к автономному мышлению.
Как заставить что-то думать?
Да, задача эта и правда нетривиальная. Иногда нам трудно заставить думать живых людей и даже самих себя, не то что какую-то там военную супермашину.
Но интерес к тому как устроена психика и как работают когнитивные процессы привел Розенблатта к судьбоносной публикации исследовательского тандема Уоррена Маккалоха и Уолтера Питтса.
Математик Питтс и нейрофизиолог Маккалох пытались понять и перенести на бумагу принцип работы человеческого мышления, представить его как некий символьный язык. Похожие идеи, кстати, озвучивал еще Лейбниц в своем characteristica universalis — где каждое понятие выражалось бы уникальным символом, а сложные идеи — их комбинациями по строгим логическим правилам.
Первоначально Маккалох хотел ввести нечто под названием “психон” в качестве условной единицы мыслительно-нервной работы. Но зачем изобретать велосипед, когда уже есть групповое открытие Яна Пуркине, Камилло Гольджи и Сантьяго Рамон-и-Кахаля имя которому “нейрон”?
Итак, Питтс-Маккалох описали следующий принцип: нейрон принимает бинарные входы xixi (0 или 1), соответствующие импульсам от других нейронов.
Каждый вход взвешивается фиксированным коэффициентом wiwi положительным для возбуждающих синапсов и отрицательным для тормозных. Взвешенная сумма: S=∑wixiS=∑wixi становится активацией нейрона. То есть, если сумма S больше или равна порогу θ — нейрону не остается ничего другого как включиться.
Розенблатт увидел в этой структуре гигантский потенциал. Он включил ее в анатомию мышления Перцептрона, внеся пару коррективов — прежде всего самообучаемость. Для этого понадобилось добавить веса синапсов, которые бы менялись по правилу дельта-коррекции при ошибках классификации. До этого в оригинальной работе был установлен лишь деспотически жесткий порог для реализации конкретных логических функций по типу и, или, нет.
Кстати, история Питтса — сюжет достойный фильма в жанре rags-to-riches или “из грязи в князи”. Уолтер Питтс был родом из крайне неблагополучной детройтской семьи, где мальчишкой он сталкивался с систематическим домашним насилием.
Однажды он буквально прожил в местной библиотеке целую неделю, где натолкнулся на Principia Mathematica Рассела. Эскапируя в мир чисел, он обнаружил, что хорошо понимает язык формул и даже сумел составить ряд вопросов, которые затем выслал автору РМ в Англию. В итоге 13-летний парень к своему восторгу получит вполне благожелательный ответ великого философа, с предложением учиться в аспирантуре Кембриджа! Такая реакция буквально окрылила Питтса, который твердо решит покорить науку.
Ослепительный взлет и такое же падение
Итак, работа над Перцептроном началась в 1959 году. Он увидел свет в кампусе “Итака”, Корнеллского университета.
Новорожденный монстр состоял из 400 фотоэлементов для сканирования изображений, 8 ламп-потенциометров с 520 переменными резисторами, которые задавали обучаемый вес связи вручную или сервоприводом и еще одного сумматора на лампах в связке с пороговый элементом. Они суммировали сигналы и выдавали бинарный выход в качестве ответа.
При ошибке сервоприводы поворачивали ручки потенциометров, изменяя сопротивления весов. Это механически реализовывало правило обучения Розенблатта. Да, это вам не уютная нейронка в домашних условиях для вайбкодинга.
Модификация Розенблатта позволила Перцептрону учиться самостоятельно и вскоре он научился сортировать карточки и различать простые геометрические фигуры: кружочки, квадратики и треугольники. Успех моментально привлек к себе внимание.
Одна из газет рвала глотку заголовком: “Новое устройство ВМС учится пока делает! Психолог-исследователь продемонстрировал зародыш компьютерной системы, созданной с умением читать и умнеть.”
В итоге на мощные плечи Перцептрона свалилось слишком много внимания и они оказались… хрупкими. Правда откроется это не сразу, а почти 10 лет спустя после первого сольного эксперимента первой аналоговой нейросети.
Как это бывает, умную технологию захотели окончательно прибрать к рукам военные чины и так началась тотальная вепонизация перцептронов. В 1969 году перед ними встала роковая задача: решить XOR-problem так же известную как Exclusive OR (Исключающее “или”).
Перцептроны щелкали как орехи базовые задачи на линейную логику, но XOR ставила совсем другую проблему:
Два входа, каждый 0 или 1;
Выход = 1, только если один вход 1, а второй 0.
Если оба 0 или оба 1, выход = 0.
Эти данные не линейно разделимые, а значит однослойная структура перцептрона не смогла бы их осилить физически, что и произошло на практике.
Военные провели эксперимент с обнаружением замаскированных танков в формате обучения с учителем (supervised learning). В лабораторных условиях перцептрон вроде бы справился на отлично, определив все вражеские единицы в камуфляже.
Но затем подошло время полевого испытания с нетренировочными снимками танков и это был разгром по всем фронтам. Модель скатилась до случайного угадывания, не будучи способной разглядеть танк смотревший в упор прямо в камеру. А причиной тому была ошибка в запоминании корреляции данных.
Все тренировочные фото прячущихся боевых единиц были сделаны в облачную погоду. А фото леса без них в солнечную В итоге Перцептрон установил ложную закономерность: если пасмурно, значит танки определенно есть. Если солнечно, их быть не может. Нужно ли говорить какое это было фиаско для ML-сферы?
Наступают заморозки...
Настала шекспировская зима печали для ИИшников. Сначала был провальный эксперимент с танками, затем вышла книга Марвина Минского и Сеймура Паперта “Перцептроны”, где они резко высказываются об их несовершенстве, что фактически подписало архитектуре смертный приговор. Денежный кран был перекрыт.
В итоге пять лет спустя наступила первая “ИИ зима” — никто больше не хотел вкладываться в машинное обучение, потому что это было дорого и бесперспективно. Постепенная разморозка начнется только в конце 80-х, когда начнут появляться доступные ЦПУ с параллельной обработкой данных, большие массивы тренировочных сэмплов, новые нейро-архитектуры и самое главное спрос.
Фрэнка Розенблатта не станет в 1972, три года спустя после того как его детище понесло сокрушительное поражение. Но его можно считать отомщенным: он точно знал, что машины смогут видеть, различать и сортировать данные за мгновение, просто не успел подойти к решению этой проблемы.
Сегодня именем Розенблатта названа награда за особый вклад в изучение ИИ, машинного обучения, нечетких систем, парадигм вычислений и многого другого. Она проводится ежегодно с 2018 года и лауреатов награждают бронзовой медалью с рельефом автора Перцептрона.
Маленький брелок для ключей в виде Mark I Perceptron тоже бы не повредил.