<\/p>\n<\/p>\n
Нередко компании, которые обращаются к нам за системой сквозной аналитики, уже используют какие-то инструменты для работы с данными. Иногда это «коробочные» решения. Сразу отказываться от них в пользу кастома не обязательно — на старте их можно интегрировать в новую систему, чтобы сэкономить время и деньги на разработку. Но в этом случае надо быть готовым к тому, что готовые решения не гарантируют точность данных на том же уровне, что специально построенная под вас система аналитики. Именно с этой проблемой мы столкнулись, когда начали строить аналитику для стартапа Refocus: до нас они использовали Roistat, но ошибки в его работе вынудили нас отказаться от него раньше, чем мы планировали.<\/p>\n
Способов построить сквозную аналитику, не обращаясь к готовым решениям, немало: можно собрать in-house отдел аналитики или найти специалистов на аутсорсе.<\/p>\n
При этом нужно учитывать, что работа целой команды аналитики может стоить порядка 5-7 тысяч евро или 500-700 тысяч рублей в месяц. И это не предел — все зависит от размеров компании-заказчика, состояния аналитики до начала работ и других факторов.<\/p>\n
На начальном этапе для многих компаний, у которых объем данных небольшой, такие расходы неоправданы. Из-за этого они часто предпочитают «коробочные» продукты — например, тот же Roistat.<\/b> Это самое популярное решение на рынке, которое предлагает премиум-тариф с максимумом функционала и полной поддержкой от 1500 евро \/ 150 тысяч рублей в месяц. Базовые тарифы у них и того дешевле. У этого инструмента больше 200 встроенных интеграций, и не только с популярными Google Analytics или Яндекс Директ, но и с целым списком нишевых кабинетов и систем, о которых вы даже не слышали.<\/p>\n
После настройки интеграций с вашими источниками Roistat позволит создать дашборды за пару кликов, а сверху предложит автоматизацию маркетинга и лидогенерации. Конкуренты Roistat вроде OWOX BI<\/b> или Alytics<\/b> также предоставляют базовые возможности для аналитики и визуализации. В общем, недорогих решений под любые потребности много.<\/p>\n
Хотя “коробка” гораздо лучше бесконечных таблиц и поначалу хорошо оптимизирует работу с данными, она далеко не идеальна. С точки зрения эксперта все минусы универсальных решений видны как на ладони:<\/p>\n
Кроме того, у вендоров таких готовых решений почти никогда нет ресурсов и возможностей, чтобы подогнать его под специфические требования каждого клиента. Более того, чаще такие “кастомные” требования многократно превосходят стоимость самой коробки (в этом суть готового решения). Если что-то не так на бэке у юзера, если меняется воронка в CRM, если нужно настроить кастомные интеграции — велики шансы, что за это придется доплатить немаленькие деньги, если вендор вообще согласится реализовать эти “специфичные требования”.<\/p>\n
На одном из наших проектов нам довелось поработать именно с такой ситуацией: Roistat не смог обеспечить точность данных и интеграций со всеми нужными источниками, и с этим пришлось разбираться самой компании — и нам.<\/p>\n
Один из наших заказчиков, который строил аналитику на самых ранних этапах — EdTech-стартап Refocus. Неудивительно, что когда мы пришли создавать для них кастомную систему, они уже работали с Roistat.<\/p>\n
Почему Refocus выбрали именно его? Во-первых, он доступен на русском языке, и это было удобно для команды, в которой много русскоязычных сотрудников. Во-вторых, им нужна была именно система сквозной аналитики, а не CRM с функцией автоматического построения графиков, поэтому альтернативы вроде HubSpot не подходили. В-третьих, все базовые потребности компании он удовлетворял за относительно небольшую сумму. Ну и в-четвертых — многие сотрудники из команды Refocus уже имели опыт работы с Roistat, так что для них это был удобный и знакомый инструмент.<\/p>\n
Roistat тянул данные из двух основных рекламных кабинетов — Google и Facebook<\/b>*. В нем трекались все базовые метрики — бюджеты, показы, клики, конверсия — и отражались на автоматически созданных внутри программы дашбордах.<\/p>\n
.png)
<\/p>\n
К сожалению, скрины дашбордов из Roistat у нас не сохранились, но мы нашли для вас пример в интернете — выглядели они примерно так.<\/p>\n
Там даже присутствовал свой пользовательский идентификатор — когда мы вводили общий айди студентов, мы думали попробовать использовать его для мэтчинга персональных данных. На практике оказалось, что сопоставление по нему проходит очень неточно, и эту идею оставили.<\/p>\n
Стартап рос, число требований и людей увеличилось, поэтому нас позвали строить для ребят кастомную аналитику и более подробные дашборды, и подключились мы.<\/p>\n
Мы провели аудит существующей системы, получили доступы к нужным ресурсам и начали выстраивать инфраструктуру и готовить первый дашборд — маркетинговый, самый актуальный для компании на тот момент.<\/p>\n
Откуда мы тянули данные для этого дашборда? Конечно, из Roistat, ведь именно там уже лежали готовые маркетинговые показатели. Настройка хранилища и выгрузка данных из источников, которые Roistat не трекал, еще не была закончена, а смотреть на классные, качественные дашборды хотелось уже сейчас.<\/p>\n
Например, так выглядел код для выгрузки данных о затратах на рекламу через API:<\/p>\n
def get_costs(channel, channel_level, date_from, date_to, source):\r\n \r\n data = '{"dimensions": ["marker_level_2", "marker_level_3", "marker_level_4"],\\\r\n "metrics":["visitsCost", "impressions", "visits"],\\\r\n "period":{"from":"' + date_from + '","to":"' + date_to + '"},\\\r\n "filters":[{"field":"' + channel_level + '", "operation":"=", "value":"' + channel + '"}],\\\r\n "interval": "1d"}'\r\n columns=['dimensions.marker_level_2.value',\r\n 'dimensions.marker_level_2.title',\r\n 'dimensions.marker_level_3.value',\r\n 'dimensions.marker_level_3.title',\r\n 'dimensions.marker_level_4.value',\r\n 'dimensions.marker_level_4.title',\r\n 'dateFrom'\r\n ]\r\n headers = {'content-type': 'application\/json'}\r\n\r\n response = requests.request("POST", url, data=data, headers=headers)\r\n df = response.json()['data']\r\n\r\n l = []\r\n for i in range(len(df)):\r\n if df[i]['items'] != []:\r\n l.append(df[i])\r\n if len(l) > 0:\r\n res1 = pd.json_normalize(l, 'items', ['dateFrom'])[columns]\r\n res2 = pd.DataFrame()\r\n q = pd.json_normalize(l, ['items', 'metrics'])\r\n for x in ["visitsCost", "impressions", "visits"]:\r\n res2[x] = q.query('metric_name == @x')['value'].values\r\n res = pd.concat([res1, res2], axis=1)\r\n res['source'] = source\r\n return res\r\n else:\r\n return pd.DataFrame()<\/code><\/pre>Подробнее о marker_levels<\/tt> можно прочитать здесь<\/a> в документации API Roistat.<\/p>\nКогда Refocus посмотрели на первую версию дашборда, они заметили, что цифры не сходятся с их реальными бюджетами, кликами, конверсией в рекламных кабинетах.<\/p>\n
Мы начали искать ошибку с нашей стороны, но убедились, что наш код работает исправно и данные в нашем дашборде один в один совпадают с цифрами в Roistat. Никаких сбоев между источником и дашбордом не происходило.<\/p>\n
Дело в том, что пока компания смотрела только на визуализации Roistat, расхождения в данных не бросались в глаза. А наш дашборд содержал несколько новых графиков, более подробных, чем мог предложить Roistat. Когда Refocus стали сравнивать детали по разным срезам, на которые Roistat не позволял посмотреть, расхождения стали очевидны.<\/p>\n
.png)
<\/p>\n
У нас дашборд был более гибкий — можно было отфильтровать данные по разным важным срезам, более тонко настроить гранулярность. И благодаря этому ошибки в метриках стали заметны.<\/p>\n
Об этом мы и сообщили коллегам, продемонстрировав совпадение. Как раз в этот момент сыграл роль недостаток закрытой системы — посмотреть внутрь Roistat и найти, где именно происходит ошибка, не могли ни мы, ни бэкенд-специалисты Refocus.<\/p>\n
Разумеется, кастомная система уже предполагала отключение этого источника в будущем — зачем платный посредник, если мы все равно будем грузить данные напрямую и из рекламных кабинетов, и из кучи других источников?<\/p>\n
После обнаружения ошибки стало ясно, что затягивать с этим не стоит, если мы хотим предоставить клиенту чистые данные.<\/p>\n
Полностью отказаться от Roistat сразу не получилось, поэтому мы добавили на дашборд фильтр “match with Roistat”.<\/tt><\/p>\n
На нем мы отмечали количество рекламных кампаний, данные по которым расходятся с показателями на нашем дашборде и на Roistat’овском.<\/p>\n
Как мы наконец заменили Roistat на кастомную систему и уточнили данные о воронках<\/h2>\n
Мы сразу написали несколько скриптов для выгрузки тех же самых данных из GA4 и Facebook Ads* через API.
\nНапример, так данные о рекламных показах, затратах и кликах за день в разрезе {campaign, adset, adname} выгружались из кабинета GA4:<\/p>\n
def get_google_costs(date_start, customer_id):\r\n\r\n request = RunReportRequest(\r\n property = f"properties\/{property_id}",\r\n dimensions = [Dimension(name = "date"),\r\n Dimension(name = "sessionGoogleAdsCustomerId"),\r\n Dimension(name = "sessionGoogleAdsCampaignId"),\r\n Dimension(name = "sessionGoogleAdsCampaignName"),\r\n Dimension(name = "sessionGoogleAdsAdGroupId"),\r\n Dimension(name = "sessionGoogleAdsAdGroupName"),\r\n Dimension(name = "sessionGoogleAdsCreativeId")],\r\n metrics = [Metric(name="advertiserAdCost"),\r\n Metric(name="advertiserAdImpressions"),\r\n Metric(name='advertiserAdClicks')],\r\n date_ranges = [DateRange(start_date = date_start, end_date = date_start)],\r\n dimension_filter = FilterExpression(\r\n filter = Filter(\r\n field_name = "sessionGoogleAdsCustomerId",\r\n string_filter = Filter.StringFilter(value = customer_id),\r\n )\r\n ),\r\n )\r\n response = client.run_report(request)\r\n\r\n date = map(lambda x: x.dimension_values[0].value, response.rows)\r\n customer_id = map(lambda x: int(x.dimension_values[1].value), response.rows)\r\n campname_id = map(lambda x: int(x.dimension_values[2].value), response.rows)\r\n campname = map(lambda x: x.dimension_values[3].value, response.rows)\r\n groupname_id = map(lambda x: int(x.dimension_values[4].value), response.rows)\r\n groupname = map(lambda x: x.dimension_values[5].value, response.rows)\r\n adnam_id = map(lambda x: int(x.dimension_values[6].value), response.rows)\r\n visitsCost = map(lambda x: float(x.metric_values[0].value), response.rows)\r\n impressions = map(lambda x: int(x.metric_values[1].value), response.rows)\r\n visits = map(lambda x: int(x.metric_values[2].value), response.rows)\r\n\r\n df = pd.DataFrame({'region': customer_id, 'date': date, 'campname': campname, 'groupname': groupname, 'campname_id': campname_id, 'groupname_id': groupname_id, 'adnam_id': adnam_id, 'visitsCost': visitsCost, 'impressions': impressions, 'visits': visits})\r\n return df\r\n\r\ndf = pd.DataFrame()<\/code><\/pre>После этого обнаружилось еще одно несовпадение: метрики в самом кабинете были чуть меньше, чем у нас на дашбордах. Отклонение не было критичным, но клиент снова не был уверен в точности наших данных.<\/p>\n
Оказалось, что в GA4 по умолчанию включается настройка Thresholding applied.<\/b> Ее цель — предотвратить возможную идентификацию отдельных пользователей по данным о возрасте, гендере и интересах. В результате ее применения терялись данные о кампаниях с небольшим (меньше 50) количеством кликов. Чтобы этого избежать, нужно было или не трекать эти показатели, или не использовать в дашбордах метрики, касающиеся пользователей напрямую. Roistat тоже не выгружал эти “пограничные” кампании через свою дефолтную интеграцию с GA4, поэтому для Refocus расхождение стало неожиданностью. Зато при прямой выгрузке через API этого ограничения не было, и ускользнувшие поначалу кампании считались, так что данные были более полными без дополнительных ухищрений.<\/p>\n
С добавлением все новых и новых источников, конечно, пришлось еще и мэтчить данные рекламных кабинетов о затратах, кликах и показах с записями на вебинары и их посещением, со сделками в CRM — но Roistat этого вовсе не делал, и поэтому не мог дать полной картины о воронках.<\/p>\n
После введения прямой выгрузки из рекламных кабинетов данные наконец-то стали полностью совпадать с реальностью, и Roistat отключили, заменив другими источниками. Теперь Refocus могли не платить дважды и получить куда более точный анализ.<\/p>\n
Выводы<\/h2>\n
Кастомная сквозная аналитика — конечно, не панацея, и есть много причин и возможностей обойтись без услуг агентств, которые ее строят. Тем не менее, даже самое популярное на рынке коробочное решение, очевидно, не всегда корректно работает. Обрубать его сразу не обязательно, и ничего не мешает сочетать Roistat и похожие продукты с кастомом. В конце концов, иногда удобно просто достроить интеграции, которые не поддерживает Roistat, и держать дашборды в нем. Но в этом случае важно понимать, что данные там могут быть неполными или некорректными, а сообщение с бэком компании — ненадежным. В результате обнаружить или исправить ошибки может быть сложнее, чем организовать прямую выгрузку данных в хранилище — и здесь кастомная система отлично справится.<\/p>\n
*Facebook принадлежит компании Meta, которая признана экстремистской организацией в России.<\/i><\/p>\n",
"date_published": "2024-10-02T15:25:45+03:00",
"date_modified": "2024-10-02T14:55:37+03:00",
"image": "http:\/\/test.leftjoin.ru\/pictures\/unnamed-(2).png",
"_date_published_rfc2822": "Wed, 02 Oct 2024 15:25:45 +0300",
"_rss_guid_is_permalink": "false",
"_rss_guid": "149",
"_e2_data": {
"is_favourite": false,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css"
],
"og_images": [
"http:\/\/test.leftjoin.ru\/pictures\/unnamed-(2).png",
"http:\/\/test.leftjoin.ru\/pictures\/unnamed-(1).png",
"http:\/\/test.leftjoin.ru\/pictures\/unnamed-1.png"
]
}
},
{
"id": "34",
"url": "http:\/\/test.leftjoin.ru\/all\/clickhouse-as-a-consumer-to-amazon-msk\/",
"title": "Clickhouse в качестве consumer для Amazon MSK",
"content_html": "
Disclaimer<\/b>: заметка носит технический характер, поэтому может быть интересна меньшему числу лиц с бизнес-бэкграундом.<\/p>\n
В этом блоге еще ни разу не затрагивалась тема Clickhouse<\/a>, одной из самых быстрых баз данных от компании Яндекс. Краткая справка без деталей: Clickhouse — наиболее эффективно написанная СУБД<\/a> колоночного типа с точки зрения программного кода, информация о СУБД довольно подробно описана в документации<\/a> и во множестве видео на Youtube (раз<\/a>, два<\/a>, три<\/a>).<\/p>\nВ своей практике последние четыре года я использовал Clickhouse в качестве аналитика и эксперта по построению аналитической отчетности. В основном для решения задачи визуализации отчетности \/ отчетов с параметрами \/ дашбордов использовался Redash<\/a> как наиболее удобный интерфейс для доступа к данным Clickhouse.
\nОднако совсем недавно в Looker, о котором я рассказывал ранее<\/a>, появилась возможность подключить Clickhouse в качестве источника данных. Следует заметить, что подключение к Clickhouse в Tableau существует уже довольно давно.<\/p>\n\n![\"\"](\"http:\/\/test.leftjoin.ru\/pictures\/setup-clickhouse-new-connection-624@2x.png\")
\n<\/div>\nАрхитектура аналитического сервиса, в основе которого лежит Clickhouse, в основном облачная. И в рассматриваемой задаче было именно так. Предположим, у вас существует выделенный instance EC2 в Amazon (на который вы установили Clickhouse) и отдельный Kafka-кластер (решение Amazon MSK<\/a>).<\/p>\nЗадача<\/b>: подключить Clickhouse в качестве consumer<\/i> для получения информации с брокеров вашего кластера Kafka. На самом деле, в документации на сайте Amazon MSK довольно подробно описано как именно подключаться к кластеру Kafka<\/a>, не буду дублировать эту информацию. В моем случае гайд помог: топики создавались продюсером с машины, на которой установлен Clickhouse и с неё читались консюмером.<\/p>\nНо возникла проблема: при подключении Clickhouse к Kafka в качестве консюмера<\/a>, происходила следующая ошибка:<\/p>\n020.02.02 18:01:56.209132 [ 46 ] {e7124cd5-2144-4b1d-bd49-8a410cdbd607} <Error> executeQuery: std::exception. Code: 1001, type: cppkafka::HandleException, e.what() = Local: Timed out, version = 20.1.2.4 (official build) (from 127.0.0.1:46586) (in query: SELECT * FROM events), Stack trace (when copying this message, always include the lines below):<\/code><\/pre>Продолжительное время я искал информацию в документации Clickhouse о том, что может вызывать эту ошибку, но не смог ничего найти. Следующей мыслью стала проверка работы локального брокера Kafka с той же машины. Установил клиент Kafka, подключил Clickhouse, отправил данные в топик и Clickhouse с легкостью их прочитал, т. е. консюмер Clickhouse работает с локальным брокером, а значит и вовсе работает.<\/p>\n
Поговорив со всеми своими знакомыми экспертами в области инфраструктуры и Clickhouse (Вася<\/a>, Макс, привет!), с ходу мы не смогли определить в чем проблема. Проверили firewall, настройки сети, все было открыто. Подтверждалось также тем, что с локальной машины можно было отправить в топик удаленного брокера Kafka сообщения командой bin\/kafka-console-producer.sh<\/i> и прочитать оттуда же bin\/kafka-console-consumer.sh<\/i>.<\/p>\nЗатем мне пришла в голову мысль обратиться к главному гуру и разработчику Clickhouse — Алексею Миловидову. Алексей с радостью постарался ответить на возникшие вопросы и предложил ряд гипотез, которые мы проверили (трассировку сетевых подключений и т. п.), однако и после более низкоуровневого аудита проблему локализовать не удалось. Тогда Алексей посоветовал обратиться к Михаилу Филимонову из компании Altinity<\/a>. Михаил оказался очень отзывчивым экспертом и одну за другой предлагал гипотезы для проверки (параллельно подсказывая как именно будет лучше их проверить).<\/p>\nВ итоге в ходе совместных усилий мы обнаружили, что проблема возникает у библиотеки librdkafka<\/i>, так как другой пакет kafkacat<\/i>, который использует эту же библиотеку отваливается от подключения к брокеру с той же проблемой (Local: timed out<\/i>).<\/p>\n
После изучения подключения через bin\/kafka-console-consumer.sh<\/i> и параметров подключения, Михаил посоветовал добавить такую строку в \/etc\/clickhouse-server\/config.xml<\/i>:<\/p>\n<kafka><security_protocol>ssl<\/security_protocol><\/kafka><\/code><\/pre>И, о чудо! Clickhouse подключился к кластеру и вытянул необходимые данные с брокера.<\/p>\n
Надеюсь, этот рецепт и мой опыт позволит вам сэкономить время и силы на изучение похожей проблемы :)<\/p>\n",
"date_published": "2020-02-04T11:55:18+03:00",
"date_modified": "2020-05-10T17:39:24+03:00",
"image": "http:\/\/test.leftjoin.ru\/pictures\/setup-clickhouse-new-connection-624@2x.png",
"_date_published_rfc2822": "Tue, 04 Feb 2020 11:55:18 +0300",
"_rss_guid_is_permalink": "false",
"_rss_guid": "34",
"_e2_data": {
"is_favourite": false,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css"
],
"og_images": [
"http:\/\/test.leftjoin.ru\/pictures\/setup-clickhouse-new-connection-624@2x.png"
]
}
}
],
"_e2_version": 3365,
"_e2_ua_string": "E2 (v3365; Aegea)"
}