Вместо эпиграфа
Наверняка все, у кого есть дети, слышали вопрос «чем ты занимаешься на работе?». Мне его точно задавали и неоднократно.
Дать ответ на этот вопрос ребёнку, не скатываясь в иронию, не так уж и просто. Но оказалось, что все ответы для нас уже подготовили. И не евангелисты из Кремниевой долины, а товарищи в кожаных плащах и пыльных шлемах, думавшие о том, как воспитать миллионы молодых инженеров, лет шестьдесят назад и ещё раньше.
Основание
Наверняка, вашим детям на лето задают список литературы. Моя мелкая пару дней назад начала читать книгу «Электроник — мальчик из чемодана». А чтобы проверить, что она усвоила, я из любопытства листал книгу следом. И не переставал удивляться.
Оказалось, что история про мальчика Электроника — это не только детский фильм про мечту о свободе каждого ребёнка. Это, в первую очередь, книга, которая для детей и без «матана», объясняет, что такое искусственный интеллект и какие задачи решают инженеры/исследователи, развивающие его.
Чтобы вы оценили глубину: в одной сцене мальчик‑робот просит книги, что бы чем‑то занять ночь и сообщает, что будет считать прочитанное в битах, переводит символы в «доги» и считает информацию в них. Получив книги с оценочным объёмом в «миллион догов», к утру докладывает что прочитал «Пятьсот тысяч сто шестьдесят битов». Читал он всю ночь, будучи подключенным к трансформатору от холодильника, функционалом которого живой мальчик благополучно пожертвовал ради обучения робота.
Перед вами разговор про контекстное окно, относительность единиц информации и затраты на обучение и инференс, который в 2025-м ведёт каждый, кто хоть раз платил за API. И разговор этот из 1964-го года (только «доги» на «токены» надо заменить, но об этом ниже).
Если собрать в книге все места про то, как устроен и учится Электроник, будет примерно 10% от объёма книги. Почти в каждой части я ловил себя на мысли, что либо занимался этим сам, либо видел, как занимаются коллеги, либо читал об этом.
Электроник, которого вы помните (и книга, которую вы не читали)
Большинство из нас знает Электроника по фильму. «Приключения Электроника» сняли в 1979-м на Одесской киностудии. Фильм отличный — но что от него осталось в массовой памяти?
Во‑первых, «Крылатые качели» — одна из главных детских песен эпохи, которая, если честно, с сюжетом связана примерно никак.
Во‑вторых — главная тема: робот, неотличимый от школьника Сыроежкина, занимает его место везде, где Сыроежкину лень делать что‑то самому. Мечта прокрастинатора. Однако потом он начинает заменять его и там, где Сыроежкин этого не хотел бы… но это уже помнят не все.
А вот чего в фильме не видно — и что есть в книге, — это, собственно, наука. Повесть Евгения Велтистова «Электроник — мальчик из чемодана» (1964) куда глубже, полнее и полезнее, чем фильм. Она погружает ребёнка в проблематику создания ИИ.
Профессор Громов не просто «собрал робота» — он его обучил, и автор на нескольких страницах честно проводит читателя через обучение распознаванию образов, обучение на ошибке, параллельные вычисления и теорию информации. Сюжету это не нужно. Никто и нигде в книге не использовал эти знания и особенности. Мне показалось, что все эти детали вставлены автором для детей, чтобы рассказать, какие задачи перед ними встанут. И как мы увидим, именно эти задачи и встали, именно мы их и решаем (или используем результаты решений).
Кто написал детям букварь по ИИ — и откуда он столько знал
Сразу отбросим версию бабки ванги «он всё знал!».
Евгений Велтистов (1934–1989) — не «визионер». Он профессионал своего времени. Окончил журфак МГУ, работал в «Пионерской правде» и «Огоньке», в 1963-м году стал одним из основателей звукового журнала «Кругозор». В общем, находился в научно‑популярной повестке своего времени. Кстати, про «кожаные плащи» из вступления — какое‑то время Велтистов работал инструктором сектора телевидения и радиовещания в отделе пропаганды ЦК КПСС. «Букварь» по ИИ для советских детей написал без пяти минут аппаратчик. И это по‑своему прекрасно.
А научпоп в то время был горячий. Книга вышла в 1964-м, на пике советского кибернетического бума: работы Норберта Винера уже давно в обороте, клеймо «буржуазной лженауки» с кибернетики снято и отброшено, перцептрон Фрэнка Розенблатта обсуждают, а «молектроника» (молекулярная электроника) — интересное слово эпохи, встречается прямо в тексте книги.
В том же 64-м году Станислав Лем выпускает «Сумму технологии» — великий трактат о будущем. Два автора в один год нащупывают образы будущего, но описывают их с разных сторон и с разными целями.
В общем, почва была плодородной. Велтистов не угадывал — он впитал знания переднего края науки своего времени и аккуратно его экстраполировал.
И удивляет не факт попадания, а глубина, представленная в «детской книжке», и то, что технические главы там сюжетно лишние. Кажется, что они написаны как техническое задание детям, которое спустя полвека оказалось рабочим.
Пройдёмся по ТЗ с замахом на годы вперёд.
1. «Слоёный пирог» из плёнок, как интегральные схемы и чипы
..слоёный пирог. Машина была спрессована из плёнок, на которых напечатаны, <...>, сложные электронные схемы. <...> Электрические сигналы,<...> имели дело с такими мельчайшими деталями, как молекулы и атомы кристаллов. Поэтому в молекулярно‑электронных, или молектронных <...>, схемах удивительная плотность монтажа: в каждом кубическом сантиметре миллионы деталей. <...>самая совершенная в мире машина — живой человеческий мозг — имеет примерно такую же плотность нервных клеток.
— Это описание интегральной схемы. Первую ИС Джек Килби собрал в 1958-м, планарную версию Роберт Нойс — в 1959-м, незадолго до выхода книги. Через год, после публикации, в апреле 1965-го, Гордон Мур опубликует заметку «Cramming more components onto integrated circuits» — будущий закон Мура. Велтистов нащупал тренд будущего за год до того, как его сформулировал автор, чьим именем этот тренд назвали.
«Слоёный пирог из плёнок» сегодня созвучен буквально со всеми отраслями, значительная часть самых современных разработок связана с послойной печатью. А «плотность как у нервных клеток» — это уже про когнитивные компьютеры (IBM TrueNorth, Intel Loihi), спроектированные по образу мозга.
Куда дальше: молекулярная электроника. В тексте схемы прямо называются «молектронными». Молектроника мутировала в «нано» (наноэлектронику), и преодоление пределов масштабирования на молекулярном и атомном уровнях — остаётся реальной задачей настоящего. Велтистов поверил в перспективу достижения плотности и слоистости сохранив для нас модное тогда слово.
2. «Армия знаний всегда в бою», как конец последовательных вычислений
Основы основ
В старых электронно‑счётных машинах элементы соединены последовательно: как бы быстро машины ни работали, сигнал обегает одну за другой все ячейки памяти в поисках ответа на вопрос. Это похоже на миллионную армию, где в бой вступают по очереди только два солдата, а остальные бездействуют в ожидании.
Описание узкого места фон‑неймановской архитектуры — того самого «бутылочного горлышка», когда процессор по очереди гоняет данные через единственный канал, а память простаивает. А вот как работает Электроник:
..память сложена из кубиков <...> Как и нервные клетки человека, эти кубики соединены пучками связей. Поэтому у Электроника обработка информации и поиск ответа на заданный вопрос идут сразу в нескольких направлениях, на параллельных связях. Можно сказать, что армия его знаний всегда в бою.
«Кубики, соединённые пучками связей» — знание не лежит по адресам, а распределено по связям, как веса в нейросети. «Сразу в нескольких направлениях, на параллельных связях» — это массовый параллелизм, на котором стоит весь современный ML: GPU считают тысячи операций одновременно.
И куда же мы без трансформеров. Архитектура из статьи «Attention Is All You Need» выиграла у рекуррентных сетей именно тем, что выбросила последовательную обработку: вместо того чтобы тащить скрытое состояние по каждому «солдату», трансформер считает связи между всеми позициями последовательности за одну параллельную операцию. Буквально «армия его знаний всегда в бою». На этой архитектуре стоит всё, что мы сегодня называем ИИ.
3. Буква «А» сотней почерков, как обучение с учителем и генерализация
Что такое буква «А»? Это целый маленький мир. <...> И вот каждая буква пишется разными почерками сто раз. Потом учёный показывает Электронику двадцать букв и объясняет: «Это „А“„. Остальные восемьдесят он сам должен назвать.“»
Размеченная обучающая выборка, генерализация на новые примеры, инвариантность к вариациям написания — это весь пайплайн обучения с учителем в трёх предложениях. «Двадцать показали с ответом, восемьдесят назови сам» — по сути train set и test set. Распознавание рукописных символов — вообще каноничная задача: перцептрон Розенблатта учили различать буквы и фигуры; датасет рукописных цифр MNIST десятилетиями был базой машинного обучения.
«Буква, написанная сотней почерков» — это про то, почему задача нетривиальна: модель должна поймать инвариант, а не зазубрить пиксели. О чём — следующий блок.
4. «Не запоминать фотографически точно», как векторные эмбеддинги
После алфавита и цифр — картинки. Мужские, детские, женские лица, животные, автомобили, домашняя обстановка, школьные принадлежности… Тысячи и тысячи понятий запоминал ученик. Это не значит, что в его памяти укладывался точный, почти фотографический образ <...>. Если бы это было так, Электроник не узнал бы никакого другого дома, никакого другого автомобиля. Он запоминал какие‑то общие, важнейшие черты разных образов и мог уже отличить ребенка от мужчины. <...> Мы никогда не запоминаем фотографически точно, во всех деталях даже близкого друга — наш мозг не перегружает себя. Но зато не спутаем его ни с кем другим, а после долгой разлуки обязательно узнаем…
Это определение эмбеддинга. Модель не хранит пиксели — она сжимает объект до вектора признаков, «важнейших черт». Похожие объекты оказываются рядом в этом пространстве, и сравнение идёт не по точному совпадению, а по близости векторов. На этом стоит весь векторный поиск и, например, распознавание лиц: различные системы FaceID превращают лицо в вектор — и «узнают нас после долгой разлуки» именно потому, что сравнивают не картинки, а точки в пространстве признаков.
«Не спутаем ни с кем, но и не помним фотографически» — это и есть главное свойство хорошего эмбеддинга: достаточно сжатый, чтобы обобщать, достаточно различающий, чтобы не путать. Велтистов описал «неточные совпадения» — то, на чём держится семантический или смысловой поиск.
Здесь так же отмечена необходимость оптимизации. Автор отметил, что самая современная машина может быть перегружена «бесконечным» количеством знаний и образов. Что близко нам сейчас во всех смыслах.
5. Оценки и обратная связь, как обучение на ошибке
Как и любой ученик, Электроник получал двойки. <...> всякий раз, когда ученик ошибался, профессор нажимал кнопку, и внутри Электроника — в одной из схем машины — ослаблялась та связь, которая передала неправильную информацию. В другой раз сигнал бежал по верному пути, и Электроник уже не ошибался.
<...>
Справедливость позволяет мне сказать, что Электроник оказался весьма сообразительным. Очень скоро мне пришлось отказаться от наказаний и перейти к простому разъяснению ошибок. Правда, это требовало большего терпения, чем простое нажатие кнопки.
«Ослаблялась та связь, которая передала неправильную информацию». Это описание задачи коррекции весов по ошибке — основы обучения нейросетей. Привет DS'ам. Найти, какая именно связь виновата в неверном ответе, и приглушить её. Тут же, задача присваивания вины (credit assignment), которую решает алгоритм обратного распространения ошибки (backpropagation). Правило обучения перцептрона делало это для одного слоя; статья «Learning representations by back‑propagating errors» обобщила идею на глубокие сети.
Велтистов описал суть — «ошибся → ослабь виноватую связь → в следующий раз сигнал пойдёт верным путём» — в 1964-м. За 20+ лет до статьи, которая сделала это стандартом индустрии. Математики градиентного спуска в книге, разумеется, нет, но подход описан точно.
И тут я не могу не напомнить, мы разбираем книгу для детей 3–6 класса.
Любопытная деталь: профессор перешёл к содержательной обратной связи — примерно та же эволюция, что у нас переход от сырого reward‑сигнала к более богатому человеческому фидбеку в современном верхнеуровневом обучении моделей.
6. «Полтора бита в букве» и доги, токены и сжатие
Та самая сцена, где Электроник просит книги на ночь:
Бит — единица информации. В разговорной речи одна буква — это один бит. В стихах — полтора бита. Но это условное название. Можешь называть их как хочешь, хоть догами.
Здесь несколько слоёв, и каждый попадает в современный ML.
Первый: бит как буква... Мы знаем, что буква описывается минимум 5 битами, однако, в работе «Prediction and Entropy of Printed English» Клод Шеннон оценил энтропию связного текста примерно в один бит на символ — за счёт избыточности языка.
Объясняется просто. Из‑за того что последовательность букв не случайна, каждая следующая буква несёт не все 5 бит дополнительной информации, в среднем, только 1. На этом принципе предсказания следующего символа построены алгоритмы архиваторов ну и конечно же наши любимые «ЫЫ». Велтистов даёт ребёнку оценку единицы информации… или возможно осознанно упрощает текст для детей.:‑) Этого мы уже не узнаем. Но интересный факт отметили.
Второй: Токенизация. «В разговорной речи буква — это бит, в стихах — полтора» — мысль о том, что один и тот же символ несёт разное количество информации в зависимости от типа текста. Современный ML додумал это до конца и выбросил букву как единицу вообще. Модели читают не буквы и не слова, а токены — сконструированную инженерами единицу (алгоритм BPE склеивает частые куски в один токен). Частое слово — один токен, редкое — несколько.
И отдельно — «можешь называть их как хочешь, хоть догами». Индустрия так и поступила: естественную единицу (букву, слово) признали неудобной и придумали свою, с выдуманным именем. Назвали не «дог», а «токен».
Строго по Шеннону стихи более зарегулированы (метр, рифма), они предсказуемее, поэтому бит на символ должно быть меньше. Направление, скорее всего, инвертировано. Но возможно он предполагал что в стихах чаще можно встретить не типичные слова, рифмы и смыслы связанные через несколько строк, и в таком варианте они действительно менее предсказуемы, чем обычный текст. Велтистов нащупал, что «бит на букву» зависит от того, чем мерить.
Третий: Подсёт токенов на ввод. Он глотает оценённый человеком примерно «миллион догов», а наутро отчитывается что съел: «Пятьсот тысяч сто шестьдесят битов». Это token counting — то, чем сегодня измеряют всё: размер контекстного окна, цену инференса («столько‑то за миллион токенов»), пропускную способность. Любой, кто платил за API, узнает этот разговор.
Сцена, где робот читает книги и считает биты, — это и есть взгляд на язык как на поток информации, который модель учится предсказывать и сжимать.
7. «Читал книги одну за другой», как предобучение LLM
..он с огромной скоростью читал книги одну за другой. Я только успевал их подбирать.
Замените «профессор подбирал книги» на «дата‑пайплайн подавал корпус» — получите предобучение языковой модели. GPT-3 «прочитала» сотни миллиардов токенов текста; «я только успевал подбирать» — это про вечный голод обучения по данным. А дальше Велтистов формулирует то, вокруг чего мы спорим прямо сейчас:
..Он охотно углублялся в теоремы, молниеносно вел подсчеты и даже сравнительно легко учил наизусть стихотворения. Мы уже беседовали на разные темы, при этом Электроник высказывал двоякого рода суждения: одни он заимствовал у авторитетных лиц, другие — составил сам.
Это дословно дилемма «стохастический попугай против настоящего обобщения». Модель воспроизводит заученное из обучающих данных — или порождает новое? Вопроса, который в академическом виде оформили в статье про «стохастических попугаев», Велтистов коснулся уже тогда. Где кончается одно и начинается другое, мы с ИИ до сих пор не договорились.
8. «Красный лис», как непредсказуемость LLM
Сбежавший лис. В рассказе, есть MVP — Красный лис, которого собрали как часть Электроника для отработки движений. Он удирает и живёт в городе сам по себе:
… зоопарк исправно снабжает меня информацией, а поймать не может. И неудивительно. Привычным командам лис не подчиняется, днем скрывается, а ночью… <...> заряжается электроэнергией {в магазинах и кафе}. Пришлось бы выключать электросеть во всех торговых точках города. А это не в моих силах.
— Он оказался чересчур сообразительным. <...> вся его «хитрость» заключается в быстроте. Ведь он был создан как часть Электроника — для проверки и отработки движений.
<...> О, эти электронные схемы. Когда их собираешь все вместе, невозможно предусмотреть тысячи случайностей.
Автономный агент, который может игнорировать команды, сам добывает себе ресурс и ведёт себя непредсказуемо, потому что «невозможно предусмотреть тысячи случайностей». Это буквальное описание главной трудности при создании ИИ приложений и интеграций, которые должны работать в продакшене и выдавать ожидаемое качество.
9. «Милый черный ящик», как наиболее короткое описание ИИ на сегодня
— Мы стали называть его «милым черным ящиком» и искренне, как дети, удивлялись его совершенству.
«Чёрный ящик» — это термин нашей реальности, для проблемы интерпретируемости. Учёный даже добавляет нежное «милым» удивляясь совершенству системы, которую сам не до конца понимает.
Согласитесь, это невероятно знакомое чувство, когда после оттачивания всех параметров баз знаний, всех промптов, настройки всех агентов, ваш ассистент действительно начинает быть похожим на человека.
И хоть мы и знали что делали, и знали зачем, но та самая человечность — это результат работы именно «чёрного ящика», который настроили колдуны из ML/DS даже не предполагая, что мы будем его использовать именно в этом сценарии, именно так.
Ошибки и неточности в ТЗ
«Механика» тела оказалась труднее разума. В книге химик Логинов, которого зовут «химическим богом», за пять лет делает синтетические мышцы, кожу и «живые ноги и живые руки» — будто тело это вишенка поверх готового мозга. Реальность вышла наоборот. Это парадокс Моравека: высокоуровневое мышление машине даётся дёшево, а сенсомоторика — дорого. Распознавание, язык, игра в го, улетели вперёд; в то время как подобие человеческих рук и искусственные мышцы до сих пор — фронтир технологий, хотя работы в этих направлениях начаты задолго до начала работ по ИИ.
Тёмное зеркало того же десятилетия. Велтистов смотрит на непослушную машину с улыбкой: его Красный лис и Электроник — обаятельные хулиганы, не приносящие вреда сами по себе, находящиеся, в общем и целом, под контролем общества.
Но через 4 года в 1968-м Кубрик и Кларк в «2001: A Space Odyssey» показывают ту же проблему с другим знаком. HAL 9000 на просьбу открыть шлюз отвечает:
I'm sorry, Dave. I'm afraid I can't do that.
Машина, которая отказывается выполнять команду, потому что у неё своя интерпретация задачи.
Некоторая ирония есть в том, что сегодня модели буквально так и отвечают — «извините, я не могу с этим помочь». Но сейчас мы это контролируем, называем guardrails и считаем фичей.
Лем, для масштаба. Пока Велтистов описывал инженерию обучения одной модели, Станислав Лем в «Сумме технологии» (1964) рисовал макрокартину: эволюцию технологий, «выращивание информации», фантоматику (по сути — VR). Он не опускается до деталей обучения конкретного ИИ и работает на другом этаже абстракции и философии.
Велтистов спустился на этаж инженера, ч что самое важно для нас — на этаж ребёнка — именно поэтому его детская повесть сегодня актуальна и весьма легко читается с отсылками к настоящему.
Вместо вывода
Моя дочь читала «Электроника» как приключенческую повесть: робот, погони, мальчишка‑двойник ставший не прилагая усилий отличником и спортсменом. Однако, в процессе познакомилась со многими аспектами того, чем занимаемся все мы. Надеюсь, что немного лучше поняла, что ИИ — это не просто прикольно и не просто магия, а труд многих инженеров и учёных, долгое время решавших относительно небольшие, но важнейшие для дальнейшего развития задачи.
По‑моему, это произведение — действительно хороший способ приоткрыть тему ИИ для подрастающего поколения. Книга и сейчас не устарела и вполне может стать триггером, разжигающим интерес к технологиям.
Так что если вы ломали голову, как рассказать ребёнку про искусственный интеллект, — возможно, начать стоит не с ютуба и не с курсов, а с детской книжки 1964 года. Её, кстати, как раз задают на лето.