Интеграция данных в multicloud: три ключевых подхода

24 октябрь, 2019 - 10:45Ирина Рундель

По мере того, как компании все шире применяют multicloud-решения для построения своей ИТ-инфраструктуры, им становится все сложнее формировать единую картину данных, которые поступают из различных источников и могут храниться в разных расположениях. Компания TDWI предложила три подхода, которые, благодаря виртуализации, помогут упростить работу с данными в мультиоблачной среде.

1. Виртуализация как основа интеграции данных

Нередко в компаниях можно наблюдать следующие. Данные о клиентах и продажах хранятся в корпоративной CRM (а это — SaaS-продукт), под маркетинговую аналитику в облаке создается озеро данных на базе NoSQL и Hadoop, для того чтобы при помощи machine learning можно было делать прогнозы исходя из недостаточно структурированных данных. При этом другие департаменты хранят информацию в собственных хранилищах на различных облачных платформах. Как следствие, для того чтобы свести данные в единое целое, скажем, для бизнес-анализа, нужно провести целый ряд работ и процедур ETL (Extract, Transform, Load) — причем для каждого конкретного случая потребуется своя процедура.

Такая неупорядоченность информации и «зоопарк» задействованных облачных сервисов заметно усложняют получение целостной картины имеющихся корпоративных данных. Использование виртуализации данных позволяет найти решение этой проблемы, поскольку дает пользователям возможность организовать целостное логическое представление, объединяющее в себе разнородную информацию. Причем для этого не потребуется интегрировать или консолидировать данные — запросы к любым источникам данных и необходимые манипуляции с ними выполняются в рамках слоев виртуализации — пользователь может и не знать, где именно хранятся необходимые ему данные.

Важен также и тот факт, что управление различными подготовительными стадиями обработки данных также происходит на уровне виртуализации, что позволяет заметно сократить время, которое обычно расходуется на выполнение обработки и перемещения данных (data pipeline) с целью получения необходимых данных из каждого источника. При помощи виртуализации можно обеспечить одну общую точку, через которую для всех пользователей (облачных приложений и т. п.) будет организован централизованный доступ к данным.

Виртуализация это логическая (не физическая) стратегия интеграции данных. В качестве таковой она дает возможность сравнительно просто сформировать целостное представление об информации, которая, при этом, может храниться где угодно — у облачного провайдера, у нескольких различных провайдеров или на локальной площадке.

2. Прозрачность доступа к данным в multicloud

Любая data-driven организация должна стремиться максимально упростить доступ к своей информации для целей бизнес-анализа. Одним из «инструментов самообслуживания», служащих этой цели, могут быть, например, каталоги данных для руководителей нетехнических направлений.

Известно, что очень многие компании недовольны тем, что сотрудникам сложно получить в свое распоряжение необходимую информацию из мультиоблака компании. Виртуализация предоставляет решение этой проблемы, позволяя логически объединить данные в единое целое, скрыв от пользователя конкретную «механику» хранения информации в мультиоблаке. В качестве дополнительного плюса, данный подход делает компанию более гибкой при миграции между разными облачными платформами.

3. Сокращение движения информации

При интеграции данных одним из процессов, занимающих очень много времени, оказывается миграция (движение) данных. Миграция данных состоит из нескольких этапов, на каждом из которых могут возникнуть промедления или ошибки, что может растянуть этот процесс на неопределенное время, в течение которого не могут нормально работать приложения и пользователи, которым требуются перемещаемые данные.

Данных в мире с каждым днем становится все больше, что делает вопрос миграции информации все более и более болезненным. Возрастают объемы трафика, нагрузки на телекоммуникационные сети. Трудности наиболее ощутимы, если ваша организация затеяла глобальные перемены в своей ИТ-инфраструктуре, вроде перемещения значительной ее части в облако.

Виртуализация оказывается прекрасным способом минимизации миграции информации, представляя специалистам целый ряд инструментов, позволяющих оптимизировать работу с данными и снизить перемещение информации по сети (например, за счет оптимизации запросов к данным непосредственно на уровне виртуализации).

Резюме

Работа с плохо структурированной информацией, которая, при этом, еще и распределена по многим облачным и локальным платформам, требует очень много ресурсов и времени. Виртуализация данных оказывается отличным способом увеличить эффективность обработки информации, дать сотрудникам доступ к необходимым для их работы данным и снизить потребность в миграции информации.