Промпт-инжиниринг мертв? Как мы собрали маркетплейс домен...

Привет, Хабр! Меня зовут Олег, я работаю продактом. Последний год мы в компании активно пилим и внедряем ИИ-агентов: автоматизируем первую линию поддержки, скоринг, внутреннюю рутину.

И столкнулись с классической проблемой. Пока агент пишет код или составляет шаблонные письма — всё супер. Но как только задача уходит в узкую предметную область (например, разобрать арбитражный иск с учетом свежей судебной практики или найти лазейку в налогах по УСН), LLM начинает нещадно галлюцинировать.

Мы поняли: агентам не хватает не параметров модели, им не хватает специфического человеческого опыта. Чтобы бот стал полезным юристом, рядом с разработчиком должен сесть крутой Senior-юрист и буквально переложить свой алгоритм мышления в chain-of-thought промпты. Это долго, дорого и больно.

Из этой боли родилась гипотеза: а что, если хард-скилл эксперты смогут сами оцифровывать свои алгоритмы и продавать их бизнесу как готовые «навыки»? Пару дней назад я написал философскую колонку об этом на VC, а сегодня хочу показать, как мы за пару недель вайбкодинга собрали MVP маркетплейса навыков SkillMarket, и что у него под капотом.

Архитектура: ничего лишнего

Поскольку это MVP, мы решили не усложнять и не тащить микросервисы туда, где они пока не нужны. Стек выбрали самый прагматичный:

Бэкенд: Python, FastAPI (REST API, OpenAPI из коробки — идеально для интеграций в будущем).
БД и ORM: PostgreSQL + SQLAlchemy (с Alembic для миграций).
Очереди: Celery + Redis для асинхронных задач (обращения к сторонним LLM API).
Фронтенд: Старый добрый Vanilla JS (ES6+) без тяжелых фреймворков. Только Vite для сборки, Sortable.js и Marked.js для рендера маркдауна. Никакого реактивного оверхеда.
Инфраструктура: Всё упаковано в Docker Compose.

Как вытащить знания из эксперта?

Самая большая проблема — заставить крутого юриста или логиста писать правильные системные промпты. Они не умеют и не хотят этого делать, их пугают слова вроде few-shot prompting или JSON schema.

Поэтому мы сделали процесс создания навыка максимально «человеческим». Эксперт заходит в конструктор, видит свободное текстовое поле и просто описывает свой алгоритм простым языком. Например: "Я юрист, 15 лет в арбитраже. Чтобы составить правильный иск, я сначала смотрю на пункт 3.1 договора, затем проверяю подсудность, потом..."

Дальше в дело вступает магия ИИ. Мы берем этот сырой текст, кидаем задачу в Celery, который отправляет запрос в Claude Sonnet (через OpenRouter). Задача Клода — переварить поток сознания эксперта и упаковать его в структурированный системный промпт.

Примерно так выглядит наш системный промпт для конвертации (упрощенно):

pythonsystem_prompt = f"""
Ты — AI-архитектор. Твоя задача: перевести сырой текст от эксперта (роль: {author_role}, категория: {category}) в готовый навык для ИИ-агента.
Выходной формат строго JSON:
{{
  "title": "Краткое название навыка",
  "description": "Что делает этот навык",
  "purpose": "Для каких задач и агентов подходит",
  "content": "Полный текст системного промпта / chain of thought",
  "tags": ["тег1", "тег2"],
  "estimated_tokens": int
}}
Убедись, что поле 'content' написано как четкая, пошаговая инструкция для другой LLM, сохраняя всю профессиональную специфику автора.
"""

system_prompt = f""" Ты — AI-архитектор. Твоя задача: перевести сырой текст от эксперта (роль: {author_role}, категория: {category}) в готовый навык для ИИ-агента. Выходной формат строго JSON: {{ "title": "Краткое название навыка", "description": "Что делает этот навык", "purpose": "Для каких задач и агентов подходит", "content": "Полный текст системного промпта / chain of thought", "tags": ["тег1", "тег2"], "estimated_tokens": int }} Убедись, что поле 'content' написано как четкая, пошаговая инструкция для другой LLM, сохраняя всю профессиональную специфику автора. """

Автоматическая AI-оценка навыков

Сделать маркетплейс легко, сложно не превратить его в инфоцыганскую помойку. Ручная модерация каждого промпта на адекватность — смерть для unit-экономики проекта.

Мы повесили первичную модерацию на сами нейросети. После того как автор публикует навык, Celery-задача запускает параллельную оценку через Claude Sonnet и GPT-4o. Модели оценивают навык по шкале от 0 до 100 по нескольким критериям:

clarity (насколько четко прописаны инструкции);
completeness (полнота охвата алгоритма);
domain_accuracy (нет ли откровенного бреда в предметной области);
reusability (можно ли это переиспользовать в разных компаниях).

Если overall_score ниже порога — навык улетает на ручную проверку или отклоняется. В карточке навыка покупатель (интегратор или бизнес) видит эти баллы как бенчмарк качества (например, "★ 87 от Claude").

Финансы

Поскольку экспертам нужен пассивный доход, а не просто лайки, мы прикрутили ЮKassa.
Покупатель (бизнес) пополняет баланс, покупает навык, платформа берет свою комиссию (пока зашили 20%), а остаток падает на внутренний счет автора.

Что в итоге?

Мы выкатили MVP на sklmrkt.ru. Самое крутое — после первого поста на VC к нам реально начали регистрироваться не-IT авторы и публиковать свои навыки. Оказалось, идея «сдавать свои мозги в аренду» заходит людям очень хорошо.

Мне кажется, в ближайшие годы покупка готовых доменных навыков для корпоративных агентов станет такой же рутиной, как установка библиотек через npm или pip. Зачем писать с нуля костыли, если алгоритм уже формализовал топовый практик рынка?

Хабр, интересно ваше мнение. Как вам архитектура? Взлетит ли идея маркетплейса ИИ-навыков, или бизнес всегда будет предпочитать нанимать промпт-инженеров в штат? Буду рад конструктивной критике в комментах.

推荐订阅源