Дмитрий Григоренко на днях сказал, что показатели по внедрению искусственного интеллекта разработали для всех отраслей экономики — все 19 ключевых секторов теперь под колпаком. Хорошая новость, если честно. Потому что я год назад пытался придумать такие метрики для одной обычной маркетинговой команды из 12 человек — и набил на этом столько шишек, что могу написать методичку.
История была простая: руководство спросило «а как у нас дела с ИИ?» и попросило показать прогресс к концу квартала. Я обрадовался — думал, задача на вечер. В итоге провозился три недели, дважды переделал систему учёта и один раз чуть не соврал в отчёте, потому что первые цифры выглядели неубедительно даже для меня самого.
Первая ошибка: считать количество, а не результат
Я начал с самого очевидного — посчитал, сколько людей в команде хоть раз открыли ChatGPT или Midjourney. Получилось 11 из 12. Красиво, но бессмысленно. Один человек открыл сервис один раз, чтобы сделать смешную картинку для чата, и это засчиталось как «внедрение». Показатель ничего не говорил ни про эффективность, ни про экономию времени.
Тогда я переключился на количество запросов в месяц. Тут вылезла другая проблема: у нас был копирайтер, который гонял по 200 промптов в день просто потому, что не умел формулировать задачу с первого раза и переписывал текст заново пять-шесть раз. Формально — чемпион по внедрению. По факту — человек тратил больше времени, чем если бы писал руками.
Что реально сработало
После двух провалов я собрал три метрики, которые действительно показывают картину, а не рисуют красивый график для отчёта:
- Время на задачу до и после. Взяли пять типовых задач — от написания коммерческого предложения до расшифровки интервью — и замерили секундомером, сколько занимало руками и сколько с нейросетью. Разница по некоторым процессам доходила до 40%, но не по всем: например, аналитику по цифрам ИИ только мешал, приходилось всё перепроверять.
- Доля задач, которые дошли до финала без переделки человеком. Это оказалась самая честная цифра. Если текст или изображение, сгенерированное нейросетью, пошло в продукт без правок — это реальное внедрение. Если 90% времени ушло на редактуру — грош цена такому «внедрению».
- Стоимость подписок на человека против сэкономленных часов. Банальная арифметика, но именно она убедила руководство продолжать платить за инструменты. Один сотрудник экономил в среднем 6 часов в месяц — при подписке в 2000 рублей это окупалось многократно.
Кстати, тут я понял, почему чиновники сейчас делают метрики по отраслям отдельно, а не одну универсальную шкалу для всей экономики. У меня в команде дизайнер и аналитик получили от ИИ совершенно разную пользу. Дизайнер экономил время на черновых вариантах, аналитик почти не экономил — зато научился быстрее формулировать гипотезы. Одна метрика на всех просто искажает картину, и надёжнее считать её отдельно для каждой роли, как теперь пытаются делать для отдельных отраслей.
Инструменты, которые помогли не считать вручную
Секундомером я мучился недели две, потом нашёл более человечный способ. Завёл простую таблицу в Notion, куда каждый скидывал: задача, инструмент, сколько минут заняло, пошло ли в финал без правок. Занудно первые дни, потом привыкли — заполнение занимает 10 секунд. Отдельно поставил трекер расходов на подписки, чтобы не гадать на глаз, сколько уходит на GPT, Midjourney и прочие сервисы для генерации.
Из софта пробовал специализированные дашборды для отслеживания использования ИИ в команде — штуки типа встроенной аналитики в корпоративные версии ChatGPT. Но для маленькой команды это оказалось избыточно: та же таблица в Notion давала честнее данные, потому что люди сами объясняли, почему задача не пошла в финал без правок, а автоматика такое не покажет.
Что я бы сделал по-другому
Если бы начинал сейчас, я бы сразу отказался от идеи одной универсальной цифры «уровень внедрения ИИ в компании». Она красиво звучит в презентации, но никого не мотивирует и ничего не объясняет. Лучше три-четыре простых показателя по каждой роли, замеренных на реальных задачах, а не на количестве открытых вкладок с чат-ботом.
И ещё один момент, который меня удивил: сам факт, что мы начали это считать, изменил поведение людей. Копирайтер перестал бездумно перегенерировать текст по десять раз и начал писать промпты внимательнее — просто потому что видел цифры и не хотел выглядеть неэффективным на фоне коллег. Метрика сработала не как отчёт для начальства, а как зеркало для команды.
А вы как в своей компании или команде оцениваете, работает ИИ или это просто красивая цифра для отчёта?
Понравился разбор? Подпишитесь на канал — впереди ещё больше практичных статей про ИИ-инструменты. А оперативные новости и короткие заметки про нейросети — в нашем Telegram-канале «Нейробудни». Своим опытом и вопросами делитесь в комментариях.
