Замер активации: метрики, которые предсказывают удержание

Большинство SaaS-команд отслеживают метрику активации. Куда меньше команд хоть раз проверяли, предсказывает ли она вообще что-нибудь. Определение родилось на планёрке — «пусть активация будет созданием проекта», — и с тех пор еженедельно попадает в отчёт, так и не пройдя проверки. Если пользователи, «активированные» по этому определению, отваливаются почти с той же скоростью, что и неактивированные, дашборд измеряет ритуал.

Активацию имеет смысл мерить только как опережающий индикатор удержания. В этом вся её должностная инструкция: ранний подвижный сигнал, который уже на первой неделе говорит то, что график выручки скажет лишь на шестой месяц. А значит, определение нельзя объявить — его надо найти в собственных данных и перепроверять по мере того, как меняется продукт.

Идти от удержания назад, а не от настройки вперёд

Процедура поиска неэффектная, но сделать её стоит по-честному:

1. Соберите список кандидатов. Десять-двадцать правдоподобных моментов первой ценности: создал первый X, позвал коллегу, подключил интеграцию, построил первый отчёт, зашёл три дня подряд, набрал N объектов. Включайте не только отдельные действия, но и комбинации с порогами.
2. Разбейте когорты по каждому кандидату. Для каждого события поделите зрелую когорту регистраций — достаточно старую, чтобы у неё была настоящая история удержания, — на тех, кто сделал его на первой неделе, и тех, кто не сделал, и сравните кривые удержания на третьем или шестом месяце.
3. Ранжируйте по расхождению. Часть событий почти не разводит кривые — это движения, а не вехи. Одно-два разведут их резко. Вот это расхождение — измеренное, а не заявленное — и есть ваше определение активации.
4. Проверьте направление на здравый смысл. Ранжирует здесь корреляция, а у корреляции есть знаменитые способы подводить. Пользователи, позвавшие коллег, могут удерживаться потому, что вовлечённый человек и зовёт, и остаётся. Проверка тут только экспериментальная: если провести через событие больше людей — лучшим сценарием, чек-листом, точечной подсказкой — и их удержание вырастет относительно контрольной группы, событие достаточно причинно, чтобы на нём строить. Если удержание не сдвинулось, вы нашли симптом вовлечённости, а не её источник.

Последний шаг — то место, где аналитике нужна инфраструктура экспериментов. Раскопки корреляций без проверки контрольной группой — ровно так команды и тратят два квартала на оптимизацию события, которое никогда ничего не решало.

Набор метрик, закрывающий всю картину

Когда событие активации определено, операционные потребности закрывают четыре метрики:

• Доля активации по недельным когортам регистраций. Какая часть зарегистрировавшихся за неделю дошла до события в отведённое окно (обычно 7 или 14 дней). Именно недельные когорты, не месячные: месячная агрегация прячет эффект всего, что вы выкатили в середине месяца.
• Время до результата — как распределение. Смотрите медиану и 90-й перцентиль, никогда не среднее: один пользователь, активировавшийся на сороковой день, уничтожает средний показатель. Медиана говорит, чего стоит типичный путь; p90 — сколько блуждают терпеливые отстающие, прежде чем сдаться, и обычно это более рабочее число.
• Продвижение по вехам. Активация — не момент, а короткая цепочка. Веха настройки (аккаунт стал способен приносить ценность), «ага-момент» (пользователь впервые ценность получил), веха привычки (вернулся за ней сам, без подсказки). Разметьте все три и читайте цепочку как воронку: разрыв между настройкой и «ага» или между «ага» и привычкой показывает, какое вмешательство когорте нужно следующим.
• Глубина первой недели. Сколько разных ценных действий новый пользователь совершает за первые семь дней. Глубина отделяет тех, кто попробовал продукт, от тех, кто его освоил, и нередко предсказывает удержание лучше любого отдельного бинарного события.

Как выбрать «полярную звезду» и потом не жалеть

«Полярная звезда» — это метрика активации и использования, поднятая до уровня общего курса компании, поэтому и требования к ней жёстче. Рабочая «звезда» привязана к ценности (считает события, в которых пользователь ценность получает, а не те, где вы вытягиваете вовлечение), согласована по частоте (у продукта с недельным ритмом — недельная метрика: дневная «звезда» на недельном продукте наказывает всех за физику), подвижна (продукт и рост способны сдвинуть её за квартал) и опережающа (предвещает выручку, а не пересказывает её). «Команды, построившие хотя бы один отчёт за неделю» — «звездой» быть могут. «Всего зарегистрированных аккаунтов» — нет: этот показатель только растёт, ничему не учит и льстит каждому.

Чаще всего жалеют о другом: «звезду» выбрали раньше, чем проверили лежащее под ней событие активации. Курс компании по непроверенной метрике портит не дашборды — он разворачивает дорожные карты.

Ошибки замера, рождающие ложную уверенность

Почти весь самообман в отчётах по активации объясняется четырьмя приёмами:

• Считать активацией прохождение онбординга. Чек-лист закрыт, тур пройден — это измеряет соблюдение вашего сценария, а не получение ценности. Такие числа — диагностика сценария, но никогда не главная цифра.
• Усреднять время до результата. Разобрано выше и всё равно повторяется бесконечно.
• Игнорировать состав сегментов. Общая активация может расти, пока активация внутри каждого сегмента падает, — достаточно, чтобы состав сместился в сторону тех, кого активировать легче. Приглашённые пользователи обычно активируются быстрее пришедших самостоятельно, администраторы — иначе, чем конечные пользователи. Читайте активацию по сегментам, иначе агрегат солжёт вам ровно в тот момент, когда маркетинг поменяет состав.
• Атрибутировать без контрольной группы. Активация выросла после выката нового тура — из-за тура, из-за смены цен или из-за сезонности? Без контрольной группы у любого улучшения пять отцов. Платформы вроде NudgePath встраивают контрольную группу в каждый сценарий именно затем, чтобы «сдвинула ли эта подсказка активацию» стало отчётом, который вы читаете, а не спором, который вы назначаете.

Что добавляет машинное обучение — и чего оно не может

Когда объём событий становится осмысленным, ML заслуживает места на шаге поиска. Вместо перебора двадцати отобранных вручную кандидатов модель просматривает весь журнал событий и находит комбинации и пороги, лучше всего предсказывающие удержание, — вытаскивая неочевидные сигналы вроде «пользователи, отредактировавшие запись в течение 48 часов после её создания», которые ни одна планёрка не выдвинула бы. Скоринг склонности переносит это в операционку: помечает рискованные новые аккаунты на первой неделе, пока отношения ещё можно спасти, а не к продлению, когда оценка лишь предсказывает похороны.

Чего ML не может — заменить проверку причинности. Модель, максимизирующая точность предсказания, с удовольствием выберет симптомы вовлечённости: переменные, которые прекрасно прогнозируют удержание и совершенно не отзываются на вмешательство. Дисциплина та же, что и в ручной процедуре: предикторы выдвигают, эксперименты подтверждают. Считайте вывод модели ранжированным списком гипотез для следующего теста с контрольной группой, а не истиной.

Рабочий ритм

Замеры дают накопительный эффект, только когда их кто-то читает по расписанию. Рабочий цикл — недельный: посмотреть долю активации и время до результата по когортам, найти веху с самым широким разрывом, выпустить против неё одно точечное вмешательство — пункт чек-листа, шаг тура, подсказку под конкретный сегмент — и замерить его против контрольной группы. В NudgePath воронки по вехам и сводка эксперимента живут рядом с самими сценариями, и это удерживает цикл честным: тот же инструмент, которым вы вмешиваетесь, говорит вам, сработало ли вмешательство.

Замер активации, устроенный так, перестаёт быть дашбордом и становится рулём: проверенное событие, небольшой набор метрик с недельным чтением, раздельные сегменты и контрольная группа за каждым заявленным улучшением. Вот и вся система — и она стоит больше, чем любое отдельное число внутри неё.