Качеството на данните – предизвикателство изискващо адекватно решение

победител в първия конкурс на списание CIO за най-добра публикация на тема „Ключовите информационни технологии за корпоративния сектор".

Поощрителна награда
Огнян Ширков: „Качеството на данните – предизвикателство изискващо адекватно решение"

Оценяване

Статиите предоставени за конкурса бяха оценени от редакционен съвет в състав:

1. Надя Кръстева - главен редактор на сп. CIO (председател)
2. Рамона Червенкова - CGEIT, водещ специалист в областта на Управленското консултиране и ИТ одита, президент на българската секция на Асоциацията за одит и контрол на информационни системи (ISACA).
3. Веселка Атанасова - началник отдел „Информационно осигуряване” в “Топлофикация – Русе” АД. Носител на наградата за „Ефективност" в конкурса „ИТ мениджър на годината - 2008”.
4. Марин Калчев -Главен Директор на Главна дирекция "Информационни системи", НОИ. Носител на наградата за „Мениджмънт" в конкурса „ИТ Мениджър на годината - 2008".
5. Найден Неделчев - CGEIT, CISM, CEH, началник отдел Сигурност на технологиите в Мобилтел ЕАД. Носител на наградата за „Иновации" в конкурса „ИТ Мениджър на годината - 2008".
6. д-р Павлин Добрев, технически директор, ПроСист Лабс ЕООД

Редакционният съвет оценяваше: Актуалност, значимост и полезност на технологиите, методите и средствата, разглеждани в статията, обективност, компетентност, достъпност и атрактивност на изложението

Класирането е на база средно аритметично от индивидуалните оценки на участниците в редакционния съвет.

Ataccama Master Data Center – Цялостен подход към качеството на данните

Интегрирането и миграцията към нова информационна система представлява предизвикателство за ИТ отдела на всяка компания. Независимо дали става въпрос за склад за данни, ERP или CRM системи, често това начинание се предприема с цел подобряване и оптимизиране на бизнес процесите, съкращаване на разходите и разбира се по-големи печалби. Не рядко обаче се случва така, че подобни големи инвестиции на времеви, човешки и финансов ресурс нямат очакваната възвращаемост, без значение от типа и доставчика на системата – проблемът очевидно е другаде.

„Garbage in – garbage out” в свободен превод на езика на бизнеса означава, че дори и да инвестирате в най-добрият софтуер който пазарът предлага, ако не го захранвате с качествени данни, то резултатите няма да са задоволителни, а отчетите лесно могат да се окажат грешни и подвеждащи. Очевидно е необходимо цялостно решение което централизирано да анализира, оценява и където е възможно да подобрява качеството на вече съществуващите данни от една страна и да предотвратява постъпването на данни с ниско или лошо качество в информационната инфраструктура на компанията, от друга.

Ако всичко това ви звучи твърде технически и не до там обвързано с бизнеса, може би си заслужава да се замислите отново. По време на конференцията “Gartner's BI Summit”, през Март тази година, анализаторът на Gartner Тед Фрайдман подчерта: "Независимо от различните приложения, големи инвестиции, многобройни отчети и огромни складове за данни, без осигурено качество на данните, процесите по взимане на решения в голяма степен си остават залагане на сляпо. Данните са… не само ИТ проблем. Ако гледате на тях по този начин, ще претърпите неуспех." За да се избегнат подобни неприятни моменти, проблемът трябва да се конфронтира с адекватно решение.

Master Data Center (MDC), една от двете основни продуктови линии разработвани от Ataccama, е специализирана, високо ефективна технология, осигуряваща постъпването на еднозначна и качествена информация в компанията. Работи надеждно и постоянно върху интеграцията и унификацията на милионите записи касаещи клиентите, техните продукти и на други ключови данни от много системи. Придобитата по този начин информация се предоставя веднага на разположение на всички клиенти, започвайки от исторически системи (legacy), CRM и самообслужващи се системи (self-care), чак до информационни складове и аналитични приложения.

Внимателен анализ на вече съществуващите решения в областта на качеството на данните, проведен още в ранните стадии на разработката на MDC, позволи да се избегнат недостатъците от които страдат конкурентните продукти. Базирана на JAVA технология, MDC работи на всяка една платформа, а съществуващите над 600 iWay адаптера позволяват да се интегрира безпроблемно с всеки продукт или инфраструктура, например SOA. Продуктът е разработен с цел производителност и използва методи за паралелна обработка на данните, което гарантира мащабируемост и гладко нарастване на обработвания обем, както по време на работа със съществуващи големи количества от данни, така и с големи онлайн заявки в реално време. Последната версия на софтуера, благодарение на оптимизираното си ядро, достига скорост на анализ по време на профилиране на данните от порядъка на милиони записи за минута.

Интеграция на MDC в съществуващата ИТ инфраструктура

MDC е проектиран и разработен като самостоятелно софтуерно приложение – не зависи от никакъв софтуер или хардуер на други производители. Всички необходими компоненти са включени към продукта – от сървъра за приложения, през уеб сървъра, до монитора на транзакции. Единственото от което се нуждае технологията на Ataccama е операционна система.

Едно от изискванията на корпоративните клиенти към софтуерните решения за качеството на данните е те да работят в реално време като част от тяхната SOA архитектура. MDC е създаден за да обработва големи обеми от онлайн транзакции. Количеството обработвани записи е от порядъка на десетки до стотици милиони, като осигурява споразумения за качеството на услугата (SLA) за под една секунда, за онлайн услуги като качество, идентификация и унификация на данните.

Предвиждайки нарастващата тенденция към „Софтуер като услуга”, вътрешната архитектура на продукта позволява имплементирането на всички негови функционалности като онлайн услуга. Въпреки безпроблемната интеграция на продукта в системите на много клиенти, подобна възможност позволява спестяването на каквито и да било инвестиции по съществуващата ИТ инфраструктура.

Локализацията и адаптирането на функционалностите към местната среда представлява предизвикателство за голяма част от иначе не лоши продукти. Технологията на Ataccama е интернационална от самото си създаване. Освен че е UNICODE базирана, което позволява безпроблемна работа с почти всички съществуващи азбуки и набори от символи, решението е отворено и гъвкаво, позволявайки дефинирането на специфични бизнес правила, характерни за всяка държава, като предоставя също и режим на автоматично конфигуриране базирано на референтни данни. В допълнение към гъвкавостта на своят продукт, Ataccama инвестира и в проучване и анализ на референтни бази от данни за много държави, включително и България.

Освен това решението се доставя с голям набор от модули и алгоритми за обработка на бизнес данни, предварително конфигурирани и готови за употреба, съобразени с местните изисквания и бизнес реалност. Бизнес модулите представляват модели на данни, бизнес правила за качество и консолидиране на данни, услуги и интерфейси за избрани бизнес обекти, като физически и юридически лица, продукти, локации, адреси, контакти, МПС, БУЛСТАТ. В продукта се съдържат над 100 алгоритъма за качество, идентификация, точно съвпадение и унифициране на данните. Алгоритмите могат да се комбинират по различни начини заедно с разнообразни подходи за оценяване (scoring): детерминистичен, вероятностен, йерархичен, базиран на бизнес правила и др.

Направени са значителни усилия за прегледност и леснота на употреба от гледна точка на бизнеса. Част от пакета е и MDC Portal - уеб базирано приложение което се използва от бизнес анализатори, мениджъри и оператори на данни. Порталът предлага пълно наблюдение на работният поток засягащ управлението на данни, позволявайки на потребителите да разглеждат и редактират данни, промени в процесите които имат нужда от ръчна намеса, да разглеждат отчети и др.

Софтуерът на Ataccama отива дори по-далеч. Благодарение на партньорството си с iWay и многообразието от предлаганите от тях възможности за интеграция, MDC дава възможност за централизирано, активно следене и управление на бизнес процесите в реално време, чрез възможностите за определяне на процедури и бизнес правила, гранични стойности и автоматизирани отговори в случай на тяхното надвишаване. Технологията е полезен инструмент при задълбочени анализи и сегментация на клиенти, класифициране на продукти, проучване на пазара, както и при създаване на потребителски данни използвани в модели за извличане на данни (data mining), за целите на управление на риска, разкриване на измами, пазарни прогнози и др. MDC може да се използва и за имплементирането на едно от предварителните изисквания на Базел 2 стандарта, най-вече що се отнася до оценката на кредитополучателите (scoring).

Въпреки че не е, в много компании качеството на данните се приема за даденост. Това несъмнено поражда затруднения при убеждаване на ръководството за инвестиране в подобни проекти. Качеството на данните е реално бизнес предизвикателство, а не технологична екзотика, което ако бъде прието и се подходи към него по адекватен начин може да доведе не само до намаляване на разходите и повишаване на производителността на цялостната ИТ инфраструктура, но и до множество бизнес преимущества, като оптимизиране на бизнес процесите и повишаване на приходите.

инж. Огнян Ширков, ИТ Консултант, Адастра България
Тел.: +359 2 960 00 39
Факс: +359 2 960 00 31
Мобилен: + 359 887 85 12 55
ognian.chirkov@adastragrp.com
www.bg.adastragrp.com
www.adastragrp.com

Контакти, Адастра Груп