Sunopsis: давайте все сделаем наоборот

7 ноябрь, 2006 - 16:23Александр Черников

Еще два-три года назад проблемы интеграции данных и приложений казались украинским компаниям, аналитикам и обозревателям весьма туманной перспективой, и к обсуждению подобных вопросов в западной отраслевой печати они относились скептически: нам, мол, до этого еще далеко... А сегодня в Украине уже внедряются первые продукты, аббревиатуры названий которых до сих пор нечасто встречаются на страницах отечественных изданий – EAI, ETL, ELT.

В принципе, в Северной Америке и Европе все знали, что спустя десяток-другой лет накопится столько данных, что понадобятся совершенно другие аппаратные и программные средства, чтобы получить от них пользу, которая в денежном выражении превышала бы затраты на их хранение и обработку.

Все знали также, что многие компании, устремившиеся на быстро растущий в 90-х годах XX в. IT-рынок, исчезнут, оставив своим клиентам в наследство самые разные вычислительные платформы.

Когда все это случилось на самом деле, оказалось, что проще всего добавить к и без того запутанной инфраструктуре еще один компонент – сервер ETL (Extract, Transform and Load). Его назначение – извлекать информацию из всевозможных источников – баз данных, корпоративных систем, офисных приложений, плоских файлов и т. д., преобразовывать их в нужный вид и загружать в целевое хранилище. Предполагалось, что последующая обработка такой нормализованной информации откроет путь к быстрому принятию обоснованных решений и определению наиболее рациональных или выгодных вариантов ведения бизнеса.

Однако это уже скорее задача бизнес-аналитики (Business Intelligence, BI), а принципы и технологии самой ETL тем временем стремительно совершенствовались, и основная их трансформация прошла в период с 2002 по 2005 гг., когда на смену традиционному ETL пришел новый принцип – ELT (Extract, Load-Transform), впервые в полном объеме реализованный небольшой компанией Sunopsis, основанной в 1998 г. и приобретенной Oracle в нынешнем октябре.

Попробуем подробнее разобраться, что именно и почему произошло за эти три года.

Краткий курс истории ETL

Итак, по указанным выше причинам наступление нового века ознаменовалось повышением интереса к интеграции корпоративных приложений (Enterprise Application Integration, EAI) и совместному использованию данных, хранящихся в различных системах с помощью инструментария ETL – «извлечения-преобразования–загрузки». Задача была принципиально понятной и очевидно решаемой, но даже ведущие специалисты в области обработки данных предпочитали давать весьма расплывчатые и уклончивые ответы, которые сводились к тому, что «и EAI, и ETL, скорее всего, займут каждая свою нишу и будут играть собственную определенную роль в корпоративных решениях завтрашнего дня».

Sunopsis давайте все сделаем наоборот
Идея ELT в популярном изложении очень проста: если реляционная СУБД может делать преобразования данных средствами SQL, нужно только создать генератор кода с шаблонами на все случаи жизни

EAI отводилась роль «трубочиста», технологии, обеспечивающей гарантированную поставку данных с максимальной скоростью, и соответствующий инструментарий должен был устранять все возникающие при этом проблемы.

Однако решение этой задачи требовало значительных объемов программирования для сбора, интеграции и консолидации необходимой информации – тем больших, чем масштабнее и распределеннее являлось предприятие. Отсюда, собственно, и берет начало как самостоятельное направление ETL.

Согласно большинству прогнозов 2002 г., эти два направления должны были развиваться вполне независимо, поскольку их цели скорее различны, чем идентичны. Ожидалось также, что лучшие в своем классе EAI- и ETL-решения будут настолько разными, что просто не смогут конкурировать между собой.

Эволюция преобразований

Предсказывалось, что ETL серьезно изменится с организацией поддержки режима NRT. Но тогда, в 2002 г., многие заказчики инвестировали прежде всего в EAI, и только присматривались к рынку ETL-средств.

Однако последним еще только предстояло преодолеть границы одиночных процессов и охватить все потоки данных, перемещающиеся в корпоративных системах. Будущее ETL представлялось как «сжатие» возможностей СУБД и EAI – часть функций ETL возьмет на себя СУБД, а часть – средства интеграции приложений.

Sunopsis давайте все сделаем наоборот
Если бы Sunopsis имела достаточную клиентскую базу и на порядок больше ресурсов, она вполне могла бы занять место среди лидеров рынка ETL

Предполагалось, что уже в начале века многие движки СУБД получат возможность обращаться к 10 и более терабайтам информации и будут иметь соответствующие средства интеграции данных. Эти проблемы разработчики СУБД пытались решать самостоятельно (и не слишком успешно). Конечно, именно они лучше всех знали, как загружать в базы обширные массивы информации, но когда речь шла об интеграции, лучшие результаты достигались за счет привлечения технологий других компаний.

К 2004 г. большинство разработчиков СУБД начали встраивать в них соответствующий инструментарий. В некоторых случаях это приводило к тому, что уже трудно было определить, где что происходит, а сектор ETL, который представлял отдельный рынок, и становился во многом дополнением к сегментам и EAI, и СУБД.

Gartner Group

Темп изменений на рынке ETL существенно ускорился. С 2003 г. разработчики стали увеличивать функциональность своих продуктов, добавляя в них средства обеспечения качества данных, работу в режиме NRT и расширенную поддержку метаданных.

В 2004 г. в результате роста числа альянсов и приобретений произошло перемещение ряда компаний в новые области с другими конкурентами (наборы ПО для интеграции приложений, консолидации данных в виртуальной среде, репликация баз и др.).

Заказчики также поняли, что к чему и кто есть кто, и увеличивали в своих IT-бюджетах часть, отведенную на покупку ETL-средств. Они планировали их применение в BI, управлении корпоративной информацией (Enterprise Information Management, EIM), миграции на новые системы, а порой – и как стандартного метода интеграции всех имеющихся данных.

Однако одновременно предсказывалось, что в 2006 г. игроки ETL-рынка начнут переходить к поставкам многорежимных и многоцелевых платформ интеграции данных. Приобретение корпорацией IBM лидера рынка – Ascential вызвало легкий переполох и подтолкнуло всех в этом направлении, вынуждая продавцов с нишевым расположением и узкими функциональными возможностями либо искать себе поле деятельности, либо ожидать покупки более мощными компаниями, что в конечном итоге и случилось с Sunopsis, впервые включенной Gartner Group в первом полугодии 2005 г. в сектор «провидцев»: ее приобрела Oracle.

Sunopsis была отмечена за успехи в понимании запросов и тенденций рынка. Указывалось, что ее планы связаны с обеспечением качества и консолидации данных, а также разработкой более широкой интеграционной платформы. Интересно, что статус «провидца» Sunopsis получила спустя всего четыре месяца после анонса своего главного продукта – Sunopsis Integration Suite. Ее руководство подчеркнуло тогда, что включение в данный сектор лишь подтверждает то, что в самой компании ставилось основной целью с момента основания.

Sunopsis

Подход Sunopsis к ETL (главное направление работы компании) состоит в том, что ее движок генерирует базовый SQL-код для любых платформ. Это дает возможность управлять правилами преобразования данных в самых различных системах, используемых у заказчиков.

Джон Рошер (John Rauscher), один из руководителей Sunopsis, рассказывая в одном из интервью о преимуществах продукта, отметил, что нынешние возможности SQL радикально отличаются от состояния 10-летней давности, и современные СУБД представляют собой отличную платформу для решения даже самых сложных задач интеграции данных, т. е. разработчики могут использовать существующие движки СУБД, работающие на целевых системах.

Данные извлекаются, и уже затем загружаются и преобразовываются, создавая таким образом ELT-архитектуру. При этом не требуется, чтобы клиенты покупали специальный сервер, устанавливаемый между исходными и целевыми системами, и средства ELT обходятся в среднем вдвое дешевле, чем ETL, и при этом работают примерно на порядок быстрее. Если в традиционном ETL все преобразования выполняются по принципу «ряд за рядом», то в ELT движком для трансформаций является сама СУБД. Наконец, подход ELT позволяет конечным пользователям оптимизировать существующие технологии и человеческие ресурсы, поскольку не нужно учить никаких специальных языков и приобретать дополнительные аппаратные средства, которые нуждаются в поддержке и управлении. Sunopsis написан на Java и работает на любой системе, поддерживающей Java 1.4.

ПО Sunopsis имеет собственный генератор кода SQL (который несложно установить на любом рабочем месте), обеспечивает автоматическую проверку качества данных и создает SQL-код специально для используемой СУБД. Графический интерфейс повышает производительность и сокращает общее время разработки. Ключ к подходу ELT – Sunopsis Knowledge Module (KM). Он содержит заранее написанные SQL-шаблоны, выполняющие определенные функции интеграции данных для решения различных задач. После графической разработки исходных и целевых схем в Sunopsis остается лишь выбрать нужную стратегию и дать команду генерации кода.

Влияние и перспективы сделки

9 октября Oracle объявила о приобретении Sunopsis.

Исходя из анализа, проведенного специалистами компании Current Analysis, перспективы сделки оцениваются как позитивные. Польза для Oracle несомненна, о чем свидетельствуют внушительные планы по применению технологий Sunopsis едва ли не во всех ее продуктах. Учитывая, что Oracle и ранее находилась в числе лидеров рынка в сегменте ETL, покупка передовых технологий Sunopsis существенно укрепит ее позиции и сократит отставание от IBM и Informatica. Для самой Sunopsis сделка была абсолютно необходима, чтобы выжить на стремительно консолидирующемся рынке интеграции данных.

Существующие клиенты Oracle должны быть довольны этим важным стратегическим приобретением и хорошо разработанными перспективными планами скорейшего включения технологий Sunopsis в быстрорастущую IT-экосистему, образуемую корпоративными приложениями и целым рядом различных вспомогательных информационных технологий.

Интеграция продолжается

В Украине продвижением продуктов Sunopsis и выполнением корпоративных проектов на их основе занимается компания Softline Business Intelligence (SBI). Мы обратились к ее генеральному директору Олегу Калину с просьбой прокомментировать последние события, связанные с покупкой Sunopsis корпорацией Oracle.

9 октября было сообщено о сделке между Sunopsis и Oracle. Повлияет ли это каким-либо образом на работу SBI с программными продуктами этой компании?

Sunopsis давайте все сделаем наоборот
Олег Калин: «Все действующие партнерские контракты между SBI и Sunopsis остаются в силе»

На основании информации, полученной от Sunopsis, все действующие партнерские контракты в области продаж, поддержки и профессионального сервиса остаются в силе, и обо всех изменениях в канале продаж компания Sunopsis проинформирует своих партнеров заранее. В отношении нашего сотрудничества с Sunopsis могу сообщить, что несмотря на то что договор о партнерстве был подписан всего несколько месяцев назад, мы уже смогли завершить продажу ряда ее продуктов одному из лидеров мобильной связи Украины. Таким образом, наше партнерство началось достаточно эффективно, и мы надеемся его продолжить.

Какие выгоды получат клиенты Sunopsis от этой сделки?

В результате слияния компаний клиенты Sunopsis получат доступ к глобальным ресурсам Oracle, в том числе мировой сети продаж и поддержки, а также к ее технологическим и исследовательским ресурсам.

А что она даст клиентам Oracle?

C приобретением Sunopsis компания Oracle сможет предложить своим заказчикам эффективный инструмент интеграции в гетерогенной среде. Заказчики, использующие Oracle BI, SOA и продукты класса Master Data Management, будут получат средство, которое обеспечит малое время внедрения и лучшую производительность на больших объемах данных.

Что можно сказать в свете данной сделки о поддержке выполненных и планируемых проектов внедрения продуктов Sunopsis?

Как я упомянул, наша компания уже осуществляет продажи продуктов Sunopsis и, конечно, мы будем поддерживать существующие и будущие внедрения. Для этого мы провели обучение наших специалистов и есть группа сотрудников, сертифицированных компанией Sunopsis.