惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

The GitHub Blog
The GitHub Blog
A
About on SuperTechFans
The Cloudflare Blog
G
Google Developers Blog
博客园_首页
Martin Fowler
Martin Fowler
Apple Machine Learning Research
Apple Machine Learning Research
L
LangChain Blog
D
Docker
C
Check Point Blog
T
Tailwind CSS Blog
博客园 - 司徒正美
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Hugging Face - Blog
Hugging Face - Blog
Microsoft Security Blog
Microsoft Security Blog
V
V2EX
博客园 - 叶小钗
T
The Blog of Author Tim Ferriss
酷 壳 – CoolShell
酷 壳 – CoolShell
IT之家
IT之家
M
MIT News - Artificial intelligence
Microsoft Azure Blog
Microsoft Azure Blog
博客园 - 【当耐特】
GbyAI
GbyAI

Все публикации подряд на Хабре

Ловим музу за клавиатуру: как айтишнику стать автором Что умеет Midjourney в 2026? Мой немного грустный разбор этого шикарного инструмента Никто не любит писать тесты, но ИИ может исправить это IPv8 выглядит как мечта. Поэтому почти наверняка не взлетит Производители вернули в продажу материнки с DDR3. Что происходит? Управление агентом с телефона через Telegram теперь в KodaCode От координации к лидерству: как меняется роль руководителя разработки Я сделала родителям бизнес вместо пенсии: зарабатываем 70 тысяч, мама не даёт продать В три раза быстрее приемка товара и оптимизация трудозатрат на 73%: как «РСТ-Инвент» помог Gulliver Group ИИ-шечный мир победил? О влиянии искусственного интеллекта на игропром Кремль снижает давление на Телеграмм пока Европа строит интернет по паспорту Как CEO, CTO и CIO за 8 часов собрали ИИ-директора, который умеет держать позицию под давлением Как (не) потерять домен за выходные Вместо 8 разных VPS: как я организовал практику студентам на одном сервере Почему твой Open Source проект не замечают? R&D: искусство управления неопределенностью в разработке AI-дефляция: вакансий для разработчиков больше, а рост зарплат — худший за 15 лет Мы отдали управление роботами OpenClaw. Что из этого вышло Галактический ID: система идентификации для всех форм разумной жизни Шесть основ бизнес-анализа: начинаем с вопроса «Кто в игре?» Код-ревью, в котором дело не в коде Данные переехали. Команда — нет Системной подход к сдаче OSWE в 2025 Почему комната управления реактором покрашена в цвет морской пены 4 YAML-файла вместо PySpark: как аналитикам строить пайплайны без разработчиков LLM-агент для поиска свободных доменов: автоматизируем подбор Когда, зачем и как правильно начинать новую сессию в Claude Code? Как я заставил нейросеть писать макросы для FreeCAD Анатомия ИИ‑агента для подбора персонала. От тысячи резюме к топ‑10 за минуты Опыт разработчика как экономика внимания
Почему нельзя просто взять и сгенерировать идеальную иллю...
nenkre · 2026-05-15 · via Все публикации подряд на Хабре

Почему нельзя просто взять и сгенерировать идеальную иллюстрацию

Уровень сложностиПростой

Время на прочтение4 мин

Охват и читатели1.5K

Кейс

Графические нейронки подарили редакторам сайтов, телеграм-каналов и прочим вебмастерам хорошую возможность – создать иллюстрации по текстовому описанию. Текст есть, ИИ-генератор есть, в чем же проблема?

Проблема не столько в том, что иллюстрация может не подойти к материалу или к стилю сайта. Проблема в том, что ИИ-модели, даже самые мощные, не так-то просто заставить креативить. То есть, выдавать что-то небанальное и интересное.

Особенно если вы не готовы сформулировать максимально точно, что хотите получить.

Возьмем для примера вполне реальный кейс – у вас есть тематический сайт или канал, где выходит определенное количество публикаций в день, и есть задача – добавлять к каждой публикации картинку. 

От иллюстрации не требуется быть шедевром, но она должна:

  • более-менее соответствовать тексту материала;

  • иллюстрировать содержание или как-то обыгрывать его;

  • сохранять преемственность с другими картинками – это может быть одна общая концепция, может быть фирменный стиль или цвет;

  • не быть нейрослопом – ну, то есть, у читателя как минимум не должно возникать желание вставить себе миксер в глаза, в идеале – чтобы картинку хотелось разглядывать;

  • создаваться быстро – ясно что не моментально, но у вас нет 30 минут на выписывание промпта для каждой картинки.

Если вы постите 1 статью в неделю, то можно перепробовать с десяток вариантов и выбрать самый нормальный. Но что, если у вас контент-план на 10-20 материалов в день?

Столкнувшись с этой задачей, я подошел к делу, как мне казалось, основательно.

Схема контент-генерации была примерно такой:

  • нужен один универсальный шаблон промпта, по которому ИИ будет генерировать текстовый промпт для генерации картинки;

  • для каждой иллюстрации к этому шаблону добавляется фактура: либо текст нашего материала, либо ссылка на первоисточник (если рерайт);

  • полученный промежуточный промпт скармливается любой текстовой/универсальной LLM – той, которая больше нравится или по опыту справляется лучше с этой задачей;

  • полученный на выходе текстовый промпт для генерации изображения – правильно структурированный, с детально прописанным стилем и техническими параметрами, плюс его при желании можно еще подправить руками;

  • этот текстовый промпт отдаем подходящей графической нейронке – и получаем готовую иллюстрацию.

В теории, все должно работать. Мы знаем, что графическая нейросеть заточена изображать то, что написано в промпте. У нее значительно меньше контекстное окно и в целом более скромные навыки ризонинга. Поэтому на промежуточном этапе мы отдаем сложную вычислительную задачу мощной текстовой LLM.

То есть, большая мощная LLM на все свои 20-50-100 миллиардов параметров придумывает нам сюжет картинки, детально его прописывает, учитывает все требования по стилю и ограничения. А потом глубоко специализированная графическая модель рисует картинку по этому заданию.

Первые тесты, тогда еще с Nano Banana 1, показали неплохие (по тем временам) результаты:

Что получилось

В итоге я начал использовать этот алгоритм на постоянной основе – лишь периодически что-то подправлял в универсальном шаблоне промпта. Ну и имел по одному разному шаблону на каждый проект.

Но со временем результат перестал радовать. По основным проектам мне было нужно, чтобы картинки были забавными и слегка саркастичными. Я усиливал и усиливал промпт увеличением количества слова sarcastic в разных вариантах, менял структуру, но сарказма не прибавлялось совсем.

Проблема была в том, что сюжет картинки хоть и формально коррелировал с содержанием материала, с первого взгляда связь было уловить сложно. Чтобы увидеть сарказм, нужно было внимательно прочитать текст (дважды), а потом внимательно рассмотреть картинку. И даже тогда смысл был, ну прямо скажем, не очевидным.

Для начала я перепробовал практически все современные LLM для генерации текстового промпта. В итоге больше всего понравился DeepSeek для «ироничных» иллюстраций в псевдо-реалистичном стиле, и Gemini 3.1 Pro для картинок в техно-стиле. GPT-5.4 и Claude Sonnet 4.6 почему-то справлялись чуть похуже, как и Sonar от Perplexity.

Переход на другие графические нейронки тоже не помог. Например, на Nano Banana Pro/2 привычный алгоритм в половине генераций начал выдавать ошибку (как я понял, модель сильно «задушили» по части изображения реальных людей и брендов). А стиль стал сильно прыгать от мультяшного к гиперреалистичному. Так что промпты с участием реальных людей приходится отдавать GPT-Image, хотя и она далеко не идеальна.

Примерно тогда я наткнулся на Хабре на статью «Это вам не шутки: как я пыталась отучить LLM петросянить»

Тогда пазл и сложился окончательно: если LLM еще как-то может определить наличие сарказма в готовом материале (вычислив его по паттернам саркастических материалов, на которых обучалась), то пройти этот путь в обратном направлении – уже нет. Поэтому научить нейронку шутить на автомате – задача практически невыполнимая.

Как я в итоге вышел из ситуации: для креатива подключил человеческий мозг, оставив за LLM лишь додумывание деталей и техническую работу.

На практике это означает, что кроме исходного шаблона я каждый раз дописываю руками в 1-2 предложения общую идею картинки. 

К примеру, у нас есть новость о том, что Luma Labs открывает доступ по API к модели Uni-1.1. Как это описать словами? Ну, предположим: «робот-художник, к которому по USB-кабелю можно подключить смартфон». Создаем промпт, по промпту создаем картинку:

Не идеально, и в первом варианте на переднем плане была еще одна рука с телефоном

Не идеально, и в первом варианте на переднем плане была еще одна рука с телефоном

Или новость про новую голосовую модель Thinking Machines Lab от Миры Мурати. Пусть будет «в стиле кадров из фильмов про шпионов и спецслужбы времен Холодной войны. Робот сидит на прослушке в наушниках и делает записи в журнале»:

Издержки человеческого интеллекта - ИИ в основном ассоциируется с роботам

Издержки человеческого интеллекта - ИИ в основном ассоциируется с роботам

Важно, что LLM получает не только одно это предложение с сюжетом картинки, но и весь исходный текст. Вся фактура в итоге учитывается в деталях картинки. Например, мне важно, чтобы в картинке был один цветовой акцент – DeepSeek прописывает, в чем именно он должен выражаться.

Но вообще, это все очень далеко от идеала. Во-первых, не всегда есть идеи, а во-вторых, далеко не всегда нейронка способна эту идею изобразить корректно. Но в целом процент иллюстраций, которые можно принять с первого раза, достаточно большой. Точно выше, чем если творчеством занимается только ИИ.

Остается лишь надеяться, что следующие версии LLM смогут в реверс-инжиниринг человеческого юмора, и нам не придется выдумывать все эти костыли.