В своей практике последние четыре года я использовал Clickhouse в качестве аналитика и эксперта по построению аналитической отчетности. В основном для решения задачи визуализации отчетности \/ отчетов с параметрами \/ дашбордов использовался Redash<\/a> как наиболее удобный интерфейс для доступа к данным Clickhouse. Архитектура аналитического сервиса, в основе которого лежит Clickhouse, в основном облачная. И в рассматриваемой задаче было именно так. Предположим, у вас существует выделенный instance EC2 в Amazon (на который вы установили Clickhouse) и отдельный Kafka-кластер (решение Amazon MSK<\/a>).<\/p>\n Задача<\/b>: подключить Clickhouse в качестве consumer<\/i> для получения информации с брокеров вашего кластера Kafka. На самом деле, в документации на сайте Amazon MSK довольно подробно описано как именно подключаться к кластеру Kafka<\/a>, не буду дублировать эту информацию. В моем случае гайд помог: топики создавались продюсером с машины, на которой установлен Clickhouse и с неё читались консюмером.<\/p>\n Но возникла проблема: при подключении Clickhouse к Kafka в качестве консюмера<\/a>, происходила следующая ошибка:<\/p>\n Продолжительное время я искал информацию в документации Clickhouse о том, что может вызывать эту ошибку, но не смог ничего найти. Следующей мыслью стала проверка работы локального брокера Kafka с той же машины. Установил клиент Kafka, подключил Clickhouse, отправил данные в топик и Clickhouse с легкостью их прочитал, т. е. консюмер Clickhouse работает с локальным брокером, а значит и вовсе работает.<\/p>\n Поговорив со всеми своими знакомыми экспертами в области инфраструктуры и Clickhouse (Вася<\/a>, Макс, привет!), с ходу мы не смогли определить в чем проблема. Проверили firewall, настройки сети, все было открыто. Подтверждалось также тем, что с локальной машины можно было отправить в топик удаленного брокера Kafka сообщения командой bin\/kafka-console-producer.sh<\/i> и прочитать оттуда же bin\/kafka-console-consumer.sh<\/i>.<\/p>\n Затем мне пришла в голову мысль обратиться к главному гуру и разработчику Clickhouse — Алексею Миловидову. Алексей с радостью постарался ответить на возникшие вопросы и предложил ряд гипотез, которые мы проверили (трассировку сетевых подключений и т. п.), однако и после более низкоуровневого аудита проблему локализовать не удалось. Тогда Алексей посоветовал обратиться к Михаилу Филимонову из компании Altinity<\/a>. Михаил оказался очень отзывчивым экспертом и одну за другой предлагал гипотезы для проверки (параллельно подсказывая как именно будет лучше их проверить).<\/p>\n В итоге в ходе совместных усилий мы обнаружили, что проблема возникает у библиотеки librdkafka<\/i>, так как другой пакет kafkacat<\/i>, который использует эту же библиотеку отваливается от подключения к брокеру с той же проблемой (Local: timed out<\/i>).<\/p>\n После изучения подключения через bin\/kafka-console-consumer.sh<\/i> и параметров подключения, Михаил посоветовал добавить такую строку в \/etc\/clickhouse-server\/config.xml<\/i>:<\/p>\n И, о чудо! Clickhouse подключился к кластеру и вытянул необходимые данные с брокера.<\/p>\n Надеюсь, этот рецепт и мой опыт позволит вам сэкономить время и силы на изучение похожей проблемы :)<\/p>\n",
"date_published": "2020-02-04T11:55:18+03:00",
"date_modified": "2020-05-10T17:39:24+03:00",
"image": "http:\/\/test.leftjoin.ru\/pictures\/setup-clickhouse-new-connection-624@2x.png",
"_date_published_rfc2822": "Tue, 04 Feb 2020 11:55:18 +0300",
"_rss_guid_is_permalink": "false",
"_rss_guid": "34",
"_e2_data": {
"is_favourite": false,
"links_required": [
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css",
"system\/library\/highlight\/highlight.js",
"system\/library\/highlight\/highlight.css"
],
"og_images": [
"http:\/\/test.leftjoin.ru\/pictures\/setup-clickhouse-new-connection-624@2x.png"
]
}
}
],
"_e2_version": 3365,
"_e2_ua_string": "E2 (v3365; Aegea)"
}
\nОднако совсем недавно в Looker, о котором я рассказывал ранее<\/a>, появилась возможность подключить Clickhouse в качестве источника данных. Следует заметить, что подключение к Clickhouse в Tableau существует уже довольно давно.<\/p>\n![\"\"](\"http:\/\/test.leftjoin.ru\/pictures\/setup-clickhouse-new-connection-624@2x.png\")
\n<\/div>\n020.02.02 18:01:56.209132 [ 46 ] {e7124cd5-2144-4b1d-bd49-8a410cdbd607} <Error> executeQuery: std::exception. Code: 1001, type: cppkafka::HandleException, e.what() = Local: Timed out, version = 20.1.2.4 (official build) (from 127.0.0.1:46586) (in query: SELECT * FROM events), Stack trace (when copying this message, always include the lines below):<\/code><\/pre><kafka><security_protocol>ssl<\/security_protocol><\/kafka><\/code><\/pre>