3 скрытых убийцы перформа, которые должен знать каждый менеджер. Часть 1

3 скрытых убийцы перформа, которые должен знать каждый менеджер. Часть 1

Часто мы принимаем правильные решения. Мы смотрим на данные, оцениваем дальнейшие шаги, синхронизируемся и принимаем действительно хорошие решения. Но они не срабатывают. Мы проводим работу над ошибками… и лишний раз убеждаемся, что процесс принятия решения оказался верным. Но не видим проблем. В этом цикле статей я поделюсь 3 самыми большими убийцами перформа, которые в той либо иной степени присутствуют везде. Сегодня разберём первую из них.

Корреляция != причинно-следственная связь

Одна из самых больших проблем современного performance маркетинга — постоянно растущая стоимость привлечения трафика. Проблема была всегда, но во времена снижения стоимости и порога входа для производства качественного креатива она стала более острой.

Рекламодатели ищут способы снизить маркетинговые косты. Первым под нож попадает тестирование креативов. Давайте я приведу пример из своей практики.

Компания N длительное время тестировала креативы на US на Value оптимизации под лозунгом “ничто не перформ, кроме самого перформа”. Именно в таких условиях работают боевые кампании.

Однако с целью экономии маркетингового бюджета они решили изменить подход. Если раньше тест проходил на Meta на US и длился min 5 дней, то теперь они решили изменить 2 вещи:

• добавить этап тестирования на cpi
• заменить US более дешёвым T3 гео, на котором лучшие креативы совпадают с US

Графически это выглядит вот так:

Компания столкнулась с тем, что успешных креативов стало меньше, а в ротации случались бреши: старые лидеры выгорали, а новые не успевали появиться. Поработав так некоторое время, мы с компанией начали сотрудничество.

Взглянув на схему, я добавил важные уточнения, которые делают эту схему менее эффективной. Теперь схема выглядела так:

В первоначальной картине мы видели следующее: успешным становится креатив, который на самом успешном гео показал на самой успешной сетке самый лучший перформанс (т.е. фактический ROAS Nday = целевой ROAS Nday).

После изменений картина изменилась: успешным становится креатив, который на T3 проходит cpi фильтр, потом Value фильтр, а затем несколько лучших тестируются на US Value (сравнивается тот же самый фактический ROAS Nday = целевой ROAS Nday).

Но самое важное не это. Произошла подмена прямой причинно-следственной связи (перформ на US, Value = перформ) корреляциями. Теперь тот самый креатив, который будет держать всю закупку, должен пройти 2 корреляционных фильтра:

• Хорошие/плохие метрики воронки на cpi этапе не гарантируют перформ на US, Value закупке.
• Хорошие/плохие метрики воронки на T3, Value этапе не гарантируют перформ на US, Value закупке.

Да, корреляция порой бывает очень сильной. А если случается несколько быстрых побед, то это может подпитать слепую веру в новый метод. Но, как я писал выше, ничто не является перформом, кроме самого перформа.

А теперь я поделюсь с вами математикой двух процессов. Мы сравним время и деньги. Я изменил цифры на одинаковый порядок, также получено письменное согласие на публикацию кейса.

Сначала первоначальный вариант. Стоимость нахождения успешного креатива (только спенды, без ФОТ команды и пр.) = $73,500.

Далее обновлённый вариант. Стоимость нахождения успешного креатива (только спенды, без ФОТ команды и пр.) = $112,400.

При этом посмотрите как усложнился флоу и как удлинились сроки тестирования креативов! На скриншоте выше — средние цифры. В какие-то периоды было лучше, в какие-то хуже. Также компания активно использовала AI для производства креативов, что увеличивало количество креативов, которое тестируется в неделю. Честно скажу, команда в какой-то момент просто делала креативы на потоке в разы больше 30 в неделю. Но средние цифры поражают!

Наложите сверху издержки в виде:

• Значительно бОльшее количество креативов произведено, но меньше стало успешными. Это сильно ухудшило P&L отдела креативного продакшена.
• Теперь, если новый успешный креатив будет приносить ~ столько же, сколько и предыдущие лидеры, то его ROAS ухудшится значительно.
• Значительно усложнились процессы — теперь необходимо вести учёт каждого креатива, чтобы не потерять потенциального будущего лидера. Также компания стала использовать автоправила.
• Увеличилась нагрузка на UA менеджеров — вместо 1 теперь 3 кампании.
• Самое главное — формально success rate на US, Value увеличился с 3% до 5% (~ на 70%!!!). Но в реальности success rate в первом случае 3%, а во втором 0.18% — это ухудшение в 16 раз, а также удорожание стоимости нахождения успешного креатива в 1.53 раза.

Несколько вопросов и ответов

Почему никто не обратил внимание на более длинные сроки тестирования креативов?

Дело в том, что на старте команда понимала, что нужно время чтобы устаканить процессы. Возросшее время между выгоранием успешного креатива и нахождением нового объясняли, в основном, этим.

Как вообще появилась такая идея?

Идея транслировалась свыше, т.к. была информация с нетворка, что тестируя на похожих сетапах можно уменьшить стоимость нахождения успешного креатива.

Почему от идеи не отказались раньше?

Тут выделю 2 причины:

• Команда сталкивалась с проблемами на каждом этапе и чинила проблемы в изначально хуже работающем процессе. Т.е. не происходил пересмотр всего процесса целиком.
• Хотелось полноценно проверить гипотезу со стороны стэйкхолдеров компании.

Получается, что успешные креативы на T3 гео и US не идентичны?

Отвечу просто: успешные креативы на US, как правило заходят в большом количестве гео. Но это НЕ равно тому, что креативы, которые становятся успешными на Т3 гео также повторят успех и в US.

В результате команда приняла решение пересмотреть текущую стратегию тестирования креативов и каждую последующую привлекать более тщательной “прожарке”. При этом при принятии финального решения учитывались также не только формальные маркетинговые бюджеты, а ФОТ команд UA, креативного продакшена, а также стоимость инструментов/подписок.

Резюме

Проблема подмены причинно-следственной связи корреляционной обычно возникает из желания провести быстрые изменения, которые приведут к значительным улучшениям. Чаще всего изменения касаются следующих аспектов закупки:

• гео для тестирования креативов
• сетка для тестирования креативов
• стоимость нахождения успешного креатива
• длительность теста по нахождению успешного креатива

При этом сама по себе логика может быть вполне здравой, однако решение часто оказывается лукавым. Для того чтобы избежать проблем и не тратить большие суммы (маркетинговые спенды, ФОТ команд UA и маркетинга и пр.) рекомендую следующие подходы:

• Детально просчитайте в цифрах оптимистичную, реалистичную и пессимистичные картины. По своему опыту скажу, что чаще реальность оказывается либо реалистично-пессимистичной либо пессимистичной.
• Обсуждайте важные изменения с несколькими людьми, у каждого из которых разные домены компетенций. Аналитики, UA, продуктовые менеджеры, креативный продюсер — важно чтобы изменение получило освещение со всех сторон, чтобы учесть потенциальные риски при исполнении.
• Кроме непосредственно “деревьев” посмотрите на “лес”: в кейсе выше критичным фактором для исполнения текущего подхода является синхронизация между UA и креопродакшеном. Первые должны запускать минимальное количество креативов в неделю, вторые должны практически по расписанию выдавать креативы. В противном случае внедрение процесса провалится на первом этапе работы.
• При нахождении новых способов тестируйте их на небольших выборках. Например, сделайте тестовый прогон на небольшом количестве креативов и установите бюджет, сроки и ответственных. При этом параллельно пусть идут основные тесты.

Понравилась статья? Подписывайтесь на Telegram-канал UA Collide или LinkedIn.