Управление агентством, веб-студией, продакшеном 🕘 история названий (1)

Коллеги, привет. Поделюсь цифрами, которые могут пригодиться в разговорах с клиентами. Клиенты все чаще приходят с вопросом «какую нейросеть взять для карточек товаров». Мы решили ответить не мнением, а тестом: 5 нейросетей (ChatGPT, Claude, DeepSeek, GigaChat, Алиса), 100 карточек, два варианта задания - «как обычно пишет маркетолог» и с четкими правилами. Коротко, что вышло: без правил - от 0 до 33 ошибок на одних и тех же товарах. Медицинские обещания, свойства, которых нет, статистика из воздуха; самые «продающие» тексты - самые опасные, а именно их клиент и пропустит; та же модель с правилами - 3 ошибки вместо 33. Вывод для нас как подрядчиков: продавать клиенту «подключим нейросеть» - значит продавать иллюзию автоматизации. Результат делает не модель, а данные о товаре, правила и проверка перед публикацией. Полный разбор по моделям: https://phpdev.org/notes/nejroset-dlya-kartochek-tovarov/ Если у вас в клиентах есть интернет-магазины с большими каталогами - у нас есть готовое API для наполнения характеристиками, можем дать на тест под ваш проект. А вы как решаете это у себя - своими силами или через готовые сервисы?

BOOST... Если вы руководите или владеете компанией разработки, веб-студией, диджитал-агентством, у вас есть одна конференция в году, которая только про управление, тенденции, вызовы и решения — это BOOST https://boostconf.ru/ В этом году BOOST пройдет 22-23 октября, редакция Сообщества идет на конфу в полном составе. Аня Караулова в пятницу 23 октября в 14:30 читает доклад в потоке "Управление бизнесом" https://boostconf.ru/program/business. Обещала практические находки из своих 105 интервью с владельцами и руководители, меньше теории, больше кейсов растущих агентств А я — ваш редактор — пойду на BOOST за исследованиями. Я хочу послушать рассказ Рейтинга Рунета и AGIMA о том, что происходит на рынке заказной разработки. РР — практически единственный владелец бесценной информации о выручке, клиентском портфеле, услугах и других деталях. Те, кто хоть раз подавался в рейтинги, знают, насколько детальные проверки проходит информация РР и AGIMA покажут количественное исследование с данными о том, что с рынком происходит. Информация будет опубликована в первый раз Уникальная атмосфера, встречи друзей и партнеров, классный контент в других секциях идут довеском Побустим! https://boostconf.ru/

Иногда сообщения из нашего чата веселее любых мемов #пятница

Фреймворк по измерения видимости брендов в AI-поиске от IAB Сейчас много обсуждают GEO и на рынке много сервисов предлагают инструменты для измерения AI Visibility. Но пока нет какого-то единого подхода и у каждого сервиса - свой набор промптов, платформ, методика подсчета и итоговый «индекс видимости». Поэтому два сервиса могут показать совершенно разные результаты для одного бренда. В этом плане фреймворк IAB это хороший старт, и в нем также прописаны требования для инструментов измерения - тоже очень полезный раздел. Для оценки AI Visibility IAB предлагает модель 4P. 1. Presence - присутствие Появляется ли бренд в ответах AI? Основные метрики: • Mention Rate - доля ответов с упоминанием бренда; • Citation Rate - доля ответов, в которых бренд выступает источником; • Share of Voice - доля бренда среди всех упоминаний в категории; • Visibility Momentum - изменение видимости со временем. Важно разделять упоминание и цитирование. AI может часто рекомендовать бренд, но почти никогда не ссылаться на его собственные ресурсы. 2. Prominence - заметность Где именно появляется бренд? Первое упоминание и четвертая позиция в списке - не одно и то же. Поэтому предлагается учитывать порядок, количество упоминаний, место внутри ответа и видимость без дополнительного скролла. 3. Portrayal - контекст Как именно AI описывает бренд? Здесь измеряются: • тональность; • позиционирование: лидер, бюджетная альтернатива, нишевый продукт; • доля галлюцинаций; • доля фактических ошибок. 4. Persuasion - влияние Насколько активно AI рекомендует бренд и приводит ли это к действию? Упоминание в списке «возможных вариантов» слабее, чем рекомендация «лучший вариант для конкретной задачи». Поэтому IAB предлагает измерять Recommendation Strength, а при наличии данных - CTR и переходы после упоминания или цитирования. @dmcrus

Половина того, что мы используем как руководители, не имеет доказанной эффективности. Руководству мало кто учится. Даже советуется мало кто. Кажется, что тут всё можно понять интуитивно и с точки зрения здравого смысла. Ну в конце концов - куча книжек же.  При этом есть очень конкретные вещи в менеджменте, у которых есть серьезные доказательства  эффективности. То есть они с огромной вероятностью работают для всех.  Есть штуки, которые доказаны слабо. То есть могут работать у кого-то при определенных обстоятельствах.  И есть популярные концепции, которые антинаучны. То есть не работают. И есть просто личный опыт. 🔥 🔥 Доказанные концепции: 🔥Структурированный найм. Валидированные тесты, интервью по компетенциям, тестовые задания намного лучше предсказывают качество будущей работы, чем просто разговор “понравился/не понравился”. Много научной базы. 🔥Конкретные и достаточно сложные цели. Не путать с OKR. Цели заметно повышают эффективность работы, с учетом того, что способности сотрудников и сложность задач им соответствуют. 🔥Базовый хороший операционный менеджмент (понятные процессы, контроль, метрики и т.д.) доказано повышает эффективность. 🔥Психологическая безопасность. 22 тыс человек, 5 тыс груп. Психологическая безопасность напрямую влияет на командные результаты. Но это не значит, что любой тренинг “давайте сделаем в офисе безопасно” поможет её создать. 🔥Автономия и внутренняя мотивация доказано влияют на результат работы. 🤩 Серая зона.  То, что не доказано, но имеет в основе или вокруг доказанные практики. 🌟 OKR – имеют в основе доказанный концепт постановки цели. Но как сам фреймворк не доказаны. 🌟 Agile/scrum не имеют доказательств как лучший способ организовать разработку или работу. При некоторых условиях некоторые agile практики дают хороший результат - корректно.  🌟 Моё любимое - обратная связь. Знаменитый метаанализ Kluger & DeNisi включал 607 эффектов и 23 663 наблюдения. В среднем ОС действительно улучшала эффективность. Но более чем в трети случаев ОС ухудшала эффективность. Добро пожаловать в реальность. Оценка 360 - метаанализ обнаружил долгосрочные улучшения, но в среднем небольшие. ❌А теперь практики, несостоятельность которых была доказана с большой вероятностью. ❌ 👎 Пирамида Маслоу как концепция последовательности потребностей. Хоть она любима мной и выглядит логично - увы, не была подтверждена в исследованиях. 👎Ситуационный менеджмент Херси-Балншара (новичку больше инструкций, старичку больше делегирования и свободы) - кажется логичным с точки зрения здравого смысла. Но в исследованиях базовые концепции не подтвердились. То есть популярность модели явно непропорциональна ее доказанности. 👎Зумерами надо управлять иначе. Метаанилз 2024 года пришёл к выводу, что различий между поколениями по рабочим характеристикам обнаруживается мало. Когнитивное искажение возникает из-за возрастных эффектов, когорт, изменений рынка труда, исторических событий.  👎Визуал, аудиал, кинестетик - прямо доказано, что не работает.  👎 MBTI как способ комплектования команд и найма. Точно не работает. Причем это заявляет и сам институт MBTI. То есть анализировать особенности людей - ок. Давайте мы наймем СРО ENTP - не работает. И еще есть большая категория техник, которые не имеют ни исследований, ни доказательств, ни опровержений: холакратия и все “бирюзовые компании”, авторские методики типа культура Netflix, лидерские фреймворки. Многое из того, что я пишу.  Честно сказать так: у этого в основе есть/нет подтвержденные менеджерские практики. Это сработало у такого-то в таких-то условиях.

🍭Как вы относитесь к NPS: преклоняетесь, презираете, игнорируете? У меня очень личное отношение к NPS. Когда-то его использовали, чтобы возить меня мордой по столу. С тех пор остался осадочек. 🫡 Поэтому захотелось взглянуть, а откуда метрика-то вообще взялась?  NPS в 2003 году придумал консультант Bain Фред Райхельд. Он написал в Harvard Business Review статью со скромным названием The One Number You Need to Grow. Идея такая: все исследования заменяем на один вопрос клиенту “насколько вероятно, что вы порекомендуете нас другу?”  Райхельд не придумал это совсем из головы. Перед публикацией несколько лет тестировали разные вопросы. Именно вопрос про рекомендацию победил. Но вообще, если вдуматься, nps считают довольно странно. Шкала 10-балльная. 🔴 0–6 — критики ⚪️ 7–8 — нейтральные 🟢 9–10 — промоутеры Из процента промоутеров вычитают процент критиков. 60% промоутеров, 20% критиков → NPS = 40. Почему 6 — критик, а 7 — внезапно нейтральный? Почему 8 вообще не учитывается, а 9 полностью учитывается? Честно говоря, это уже не математика, а шаманизм. 🌟 Исследователи много раз критиковали эти пороги как произвольные. Шкалу можно нарезать любыми способами. Это на самом деле не влияет на эффективность измерения.  И есть ещё прекрасный эффект. Если в опросе ответили 10 человек, переход одного человека из нейтральных в критики роняет NPS на 10 пунктов. Из промоутеров в критики — на 20 пунктов. То есть NPS = 30 на десяти ответах и NPS = 30 на десяти тысячах ответов математически выглядят одинаково, но по надёжности это вообще не одинаковые результаты. А теперь еще интереснее.  🔬Академическая наука не подтвердила главный маркетинговый тезис NPS: что это какая-то особенно волшебная метрика, которая лучше остальных предсказывает развитие бизнеса. В 2006 году исследование в Marketing Science сравнило шесть метрик на данных десятков компаний. Лучше всего будущие бизнес-результаты предсказывала обычная средняя удовлетворённость клиентов. NPS-подобная метрика по намерению рекомендовать показывала мало или вообще не показывала дополнительной предсказательной силы.  В 2007 году другое большое исследование специально попыталось воспроизвести результаты Райхельда на данных 21 компании и более 15 500 интервью. Не получилось. В 2015 году исследовали 93 компании из 18 отраслей. NPS работал. Но лучше всего удержание клиентов предсказывала обычная доля очень довольных клиентов — Top-2-box satisfaction. Авторы вообще пришли к довольно скучному выводу: лучше смотреть на несколько показателей, чем искать одно магическое число. В 2022 году исследователи взяли 193 тысячи ответов и сравнили NPS с шестью способами посчитать те же самые ответы. NPS снова оказался вполне рабочим. Но не лучшим. Простая доля людей, поставивших самые высокие оценки, предсказывала будущие продажи лучше. То есть NPS не фигня. Но и никакого уникального научного преимущества у него нет.  Можно вообще спросить, насколько вы довольны нашим продуктом? И считать средний балл. Можно считать процент поставивших 9–10. Можно спросить, собирается ли человек купить продукт снова. Для клиентского сервиса можно измерять Customer Effort Score: насколько легко клиенту удалось решить проблему. Правда, и тут нет магии: первые исследования CES обещали превосходство над NPS, но последующие сравнения этого не подтвердили. И если нас на самом деле интересует удержание клиентов, может посмотреть на само удержание? 👀 Покупает ли человек снова? Продлевает ли подписку? Уходит ли к конкуренту? Короче, знайте. NPS – это не священный грааль.  Это просто цифра, в которую верит ваш совет директоров. 🏂

Что автоматизировано в агентстве Из доклада Ильи Горбарова, владельца Атвинта, на #стачка

В чате напомнили, что сегодня #пятница. Делитесь, что у вас хорошего? У нас вот 3 конференции за 2 недели :))) Смотрите со звуком :)

Друзья, на Optimizaiton, ровно через неделю, 8 октября будет Sales Battle. Это формат, когда 2 человека со стороны агентства и 2 со стороны заказчика обсуждают кейс так, как будто это реальная сделка. И в этот раз за команду заказчика будут играть настоящие заказчики! Обсуждать кейс по GEO будут: — Ольга Дроздова, Head of Digital TanukiFamily — Алексей Леонтьев, ex. Head of SEO Циан — Евгений Лукин, генеральный директор SEO.ru — Александр Баланцев, генеральный директор Onpeak У Sales Battle есть судьи. Их трое: — Борис Николаенко, очень хороший по нашему мнению эксперт по построению отделов продаж @nikolaenkoboris — Борис Шпирт, не менее хороший эксперт по построению клиентского сервиса @Shpirt100 — Сергей Беляев, который знает про аналитику рынка екоммерса как мало кто еще @belyaevrun Надо, надо идти на Optimization. А там точно нужно идти на Sales Battle https://2026.optimization.ru/program/331/ Такого вы больше не увидите нигде!

⚡️⚡️⚡️⚡️Встреча Сообщества в Питере! Друзья, давайте встречаться! 2 октября, в следующую пятницу, с 18:00 мы будем в Питере! Вместе с нашими партнерами — комьюнити «ЛУЧШЕ с eLama» — мы делаем препати конференции Стачка Без докладов и формальной программы — познакомимся, пообщаемся о бизнесе и обменяемся опытом в кругу коллег. И, конечно, будем разговаривать про AI 📍 Санкт-Петербург 📅 2 октября с 18:00 Всего 50 мест. Еду и напитки каждый участник заказывает и оплачивает самостоятельно Чтобы получить адрес встречи, зарегистрируйтесь: https://forms.yandex-team.ru/ext/surveys/13901196/ Увидимся!