Наблюдаемость конвейеров «первой мили», почему это важно?

Соучредитель Calyptia, Анураг Гупта (Anurag Gupta) в интервью прокомментировал сделанный этим стартапом анонс решений наблюдаемости для петабайт данных «первой мили», поступающих с тысяч серверов.

Наблюдаемость на «первой миле» — это первичный анализ данных о событиях, генерируемых приложениями, сетями и машинами организации. Обычно, после создания эти данные проходят через конвейеры, такие как Kafka или Confluent, и в конечном итоге попадают во внутренние системы наблюдения за данными, такие как Splunk, Datadog, Elastic или New Relic, где они обрабатываются и сохраняются. «Первая миля» относится к начальному шагу в этом процессе, на котором создаются и собираются такие данные, как журнальные файлы или показатели производительности.

Крупный банк, который использует тысячи серверов для поддержки транзакций всех пользователей, в традиционной системе наблюдения будет знать, когда сервер выходит из строя или когда что-то в его приложении выходит из строя. Однако с помощью надежной стратегии наблюдаемости на «первой миле» он также может контролировать, правильно ли собираются данные, какие источники данных виновны в раздувании операционных расходов, как данные передаются и попадают ли они в нужные места назначения.

Такой контроль становится ещё более сложным и приобретает ещё большую важность при добавлении инфраструктуры, такой как Kubernetes, облачные рабочие нагрузки, временные развёртывания и добавочная серверная база.

«Наша цель сегодня с Calyptia — предоставить клиентам единое, независимое от поставщика решение для отправки данных из многих мест в несколько пунктов назначения, сделать это доступным способом с открытым исходным кодом посредством экосистемы подключаемых модулей с очень высокой производительностью, полной точностью преобразований, парсинга, фильтрации, маршрутизации и т. д.», — сказал Гупта.

Благодаря этому разработчики и специалисты-практики могут быстрее получить представление о своих системах, диагностировать, устранять неполадки, реагировать и принимать упреждающие меры. Чем раньше они смогут отреагировать, тем лучше будут работать их системы — и в результате выиграет бизнес в целом.