Burzliwy rozwój technologii informatycznych, a w szczególności baz danych spowodował, że w każdej firmie czy instytucji gromadzone są dane na różnych etapach działalności. Bardzo często dane są gromadzone w różnorodny sposób – od plików tekstowych poprzez arkusze kalkulacyjne do baz danych. W okresie początkowego rozwoju systemy informatyczne wspomagające działalność firm koncentrowały się na wsparciu działalności operacyjnej. Powstawały rozmaite systemy ukierunkowane na konkretny aspekt działania. Zwykle systemy takie nie były z sobą w żaden sposób powiązane i tworzyli je różni producenci w odmiennych technologiach. Stosowanie technologii informatycznych w codziennej działalności firm i instytucji było związane z gromadzeniem danych na potrzeby konkretnego typu działania. Dane zbierane w różnych systemach, oprócz wspomagania codziennych działań, były wykorzystywane także do celów raportowania i informowania kierownictwa.

Dane w wielkich ilościach

Obecnie wolumen danych jest ogromny, a dane uważane są za niezwykle cenne zasoby – na równi z bogactwami naturalnymi i rezerwami finansowymi. Analiza i wykorzystanie dużych zbiorów danych (Big Data) napędza ekonomię, badania naukowe oraz rozwój społeczeństwa informacyjnego. Właściwe wykorzystanie informacji jest kluczowe dla rozwoju gospodarki opartej o wiedzę. Dynamicznie rosnący wolumen informacji kreowanych przez różnorodne źródła cyfrowe ma istotne konsekwencje dla biznesu, stawiając przed nim poważne wyzwania, ale jednocześnie stwarza szansę na poprawę modeli i strategii biznesowych dzięki implementacji właściwych metod i narzędzi informatycznych służących analityce biznesowej/ekonomicznej. Duże ilości gromadzonych danych stają się kopalnią wiedzy, która może zostać wykorzystana do właściwego kierowania firmą i osiągnięcia przewagi konkurencyjnej na rynku.

Od bałaganu w danych po analizę danych masowych

Koncepcja Big Data, związana z gromadzeniem i przetwarzaniem bardzo dużych wolumenów danych, które często są słabo ustrukturyzowane i przetwarzane w czasie zbliżonym do rzeczywistego, niesie różnego rodzaju organizacjom duże możliwości i jednocześnie znaczące wyzwania. Wiąże się to m.in. z rosnącym zapotrzebowaniem na niestandardowe, zindywidualizowane produkty oraz z systematycznym skracaniem się cyklu życia produktu. Konieczność dostosowania się do gwałtownie postępujących zmian wymaga coraz szybszego wprowadzania produktów na rynek. Tworzone są coraz bardziej złożone struktury organizacyjne, które pozwalają podołać temu wyzwaniu. Te fundamentalne zmiany wymagają zaawansowania w tworzeniu innowacji zarówno w zarządzaniu, jak i inżynierii produkcji. Możliwe i wskazane jest wprowadzenie istotnych innowacji w procesach zarządzania oraz komunikacji z klientami, opierając te procesy w większym stopniu na analizowanych na bieżąco szczegółowych danych masowych. Big Data daje także możliwości opracowania nowych lub znaczącej modyfikacji dotychczasowych modeli biznesowych, w ramach których dostępne będzie wykorzystanie potencjału tkwiącego w posiadanych danych. W szczególności świadczone będą nowe usługi oparte na analizie danych masowych. Można więc uznać, że metody Big Data umożliwiają i jednocześnie wymuszają innowacyjność czterech podstawowych typów: produktową, procesową, organizacyjną i zarządczą.

Wielkie dane w wielkich liczbach

Sektor analityki Big Data przeżywa obecnie gigantyczny boom i wedle analiz IDC rozwija się w tempie sześciokrotnie szybszym, niż cała branża IT. Tylko w 2017 r. wartość globalnego rynku danych wyniosła 13,5 mld dolarów, a do końca 2018 roku ma ona sięgnąć już 18,2 mld – podaje raport „Global Data Market Size” opracowany przez OnAudience.com, jedną z największych hurtowni danych na świecie, należącą do Cloud Technologies. W Polsce w minionym roku na dane o internautach przeznaczono kwotę 8,9 mln dolarów. Jeśli spełnią się przewidywania analityków, to w tym roku wydatki w tym obszarze sięgną 30,4 mln dolarów. Daje to 1282% wzrost w stosunku do 2016 roku. Żadna inna gałąź IT nie może pochwalić się takim wzrostem. Firmy informatyczne, chcąc wpisać się w ten trend, coraz częściej oferują swoje technologie w modelu usługowym (as-a-Service).

Big Data as-a-Service (BDaaS)

Big Data as-a-Service (BDaaS) to rodzaj kompleksowej usług świadczonej w obszarze analityki danych, która odnosi się do przetwarzania w chmurze obliczeniowej coraz większej ilości informacji, wytwarzanych i przechowywanych w firmach oraz w Internecie, w celu ich biznesowego wykorzystania. Zajmują się tym wyspecjalizowane, zewnętrze wobec firm podmioty: platformy DMP (Data Management Platforms). Mają one dostęp do gigantycznej ilości często unikatowych danych o wysokiej rozdzielczości i potrafią te dane analizować. Następnie sprzedają przetworzone przez siebie informacje bezpośrednio do firm zainteresowanych rozbudową swoich systemów BI lub uzyskaniem aktualnych informacji o kliencie czy konkurencji. 

Do benefitów, jakie firmy mogą czerpać z analityki danych jako usługi zaliczyć można:

• Big Data as-a-Service umożliwia rozpoznanie realnych i aktualnych potrzeb oraz zainteresowań klientów. Pozwala także rozszerzyć katalog odbiorców usług czy towarów firmy.

• dane można wykorzystać do lepszego dopasowania działań reklamowych w sieci pod kątem konkretnego internauty.

• analityka danych ułatwia proces monetyzacji zasobów cyfrowych posiadanych przez firmę i przekształcenia ich w kapitał rozwojowy czy strategiczny przedsiębiorstwa.

• takie rozwiązania jak: data enrichment, czyli wzbogacenie wewnętrznych systemów firmowych klasy BI (Business Intelligence), CRM (Customer Relationship Management), ERP (Enterprise Resource Planning) oparte są o zewnętrzne źródła danych.

• Big Data as-a-Service zdejmuje z firm konieczność żmudnego przeszukiwania własnych zasobów informacyjnych. Pokazuje jasno przedsiębiorcy, gdzie tkwią główne źródła problemów w jego organizacji, a także jak im zaradzić i jakie działania podjąć, aby utrzymać się na rynku lub kształtować jego obraz.

Usługi BDaaS cieszą się wysokim poziomem oceny satysfakcji użytkowników. Z badania przeprowadzonego przez Computing Technology Industry Association (CompTIA) na grupie ponad 400 specjalistów IT z całego świata wynika, że dla 72% badanych, wdrożenie mechanizmów służących analityce Big Data w chmurze obliczeniowej nie tylko sprostało ich oczekiwaniom, ale nawet je przerosło. Usługa pozwala na tzw. wzbogacenie danych, tj. powiązanie, skorelowanie danych wytwarzanych w przedsiębiorstwie z dostępnymi danymi ze źródeł zewnętrznych. Piotr Prajsnar, CEO Cloud Technologies wyjaśnia, że dopiero, gdy połączy się je w ramach jednego systemu można uzyskać pełny, 360 stopniowy obraz firmy oraz klienta, co może stanowić klucz do optymalizacji procesów biznesowych. Wdrożenia systemów on-premise w przypadku dużych korporacji to złożony proces, dlatego analityka Big Data w modelu usługowym pozwala na szybsze zintegrowanie danych i odniesienie korzyści. Firmy najczęściej korzystają z Big Data w modelu BDaaS za pośrednictwem hurtowni danych.

Architektura systemu hurtowni danych

Hurtownia danych jest wydzieloną centralną bazą danych zbierającą informacje służące do zarządzania organizacją. Jest ona odizolowana od baz operacyjnych, a jej struktura i użyte do jej budowy narzędzia powinny być zoptymalizowane pod kątem przetwarzania analitycznego. Prostą, najczęściej cytowaną, definicję pojęcia hurtowni danych zaproponował William H. Inmon (jeden z czołowych teoretyków hurtowni danych i systemów OLAP – autor książki Building the Data Warehouse, Wiley & Sons, New Jork 1996). Hurtownia danych to zbiór zintegrowanych, nieulotnych, ukierunkowanych baz danych, wykorzystywanych w systemach wspomagania decyzji.

Źródło: http://datawarehouse4u.info/Architektura-Schematu-Hurtowni-Danych.html

Hurtownia danych jest z definicji systemem, który gromadzi dane o działalności danego przedsiębiorstwa zarówno te bieżące jak i historyczne. Jej głównym zadaniem nie jest przetwarzanie transakcyjne (systemy OLTP) ale przetwarzanie analityczne (systemy OLAP) - czyli pomoc kierownictwu w podejmowaniu decyzji biznesowych dotyczących danego przedsiębiorstwa poprzez transformacje danych w użyteczną informacje przy użyciu narzędzi BI, różnego rodzaju raportów, analiz OLAP czy data mining'u. Podstawowe cechy hurtowni danych:

• Jest scentralizowaną bazą danych – gromadzi dane z różnych źródeł i przechowuje je w specjalnie zaprojektowanych strukturach.

• Jest oddzielona od baz operacyjnych – tym samym operacje wykonywane na danych gromadzonych w hurtowniach nie wpływają na wydajność operacji realizowanych w systemach OLTP.

• Scala informacje z wielu źródeł – ponieważ dane dotyczące jednego procesu mogą być w konkretnej firmie tworzone i przechowywane w różnych bazach danych lub nawet w plikach czy arkuszach kalkulacyjnych.

• Jest zorientowana tematycznie – gromadzi dane opisujące różne aspekty działalności firmy.

• Przechowuje dane historyczne – hurtownie mają niezaspokojony „apetyt” na dane, im dłuższa historia przechowywanych danych, tym większe możliwości analizy.

• Utrzymuje wielką liczbę informacji – w hurtowniach danych praktycznie nie wykonuje się operacji usuwania danych, czyli suma danych tylko rośnie wraz z dostarczaniem nowych porcji danych.

• Agreguje informacje – z punktu widzenia analizy najczęściej interesują nas podsumowania, obliczenia średnich i inne działania matematyczne wykonywane na grupach danych.

Hurtownie danych - korzyści

Wdrożenie hurtowni danych może dostarczyć firmie wiele korzyści:

• Odciążenie systemów transakcyjnych – przygotowanie analiz i zestawień nie obciąża już systemów transakcyjnych, które mogą obsługiwać bieżące operacje. Zasilenie hurtowni danymi z systemów źródłowych wykonywane jest automatycznie i najczęściej odbywa się w cyklu dziennym, z reguły w nocy, gdy użytkownicy nie korzystają z systemu.

• Poprawa jakości analizowanych danych – analizując dane w hurtowni danych na zagregowanym poziomie dużo łatwiej wychwycić pewne nieprawidłowości w systemach źródłowych. W hurtowni danych bardzo dobrze widać np., czy koszty są przypisane do odpowiednich nośników, czy wszyscy klienci są przypisani do regionów sprzedaży lub handlowców itd.

• Przechowywanie danych o długim horyzoncie czasowym – dzięki temu, że w hurtowni danych mamy łatwy dostęp do danych wieloletnich możemy wykonywać bardziej trafne prognozy, czy też doszukiwać się określonych trendów.

• Łączenie danych pochodzących z różnych systemów transakcyjnych – hurtownia danych może pobrać dane z praktycznie każdego źródła danych. Dane te są następnie porządkowywane i dokonywana jest unifikacja pojęć i mierników. Dzięki temu możliwe staje się porównanie niejednorodnych danych.

• Udostępnienie danych dla wszystkich potrzebujących – w hurtowni danych można zdefiniować poszczególnym użytkownikom uprawnienia do odpowiedniego wycinka danych. Przy pomocy narzędzi analitycznych i wizualizacji danych, użytkownicy mogą wykonywać na ich bazie różne zestawienia, raporty i analizy.

Big Data jest kołem zamachowym dzisiejszego biznesu. Za sprawą analityki danych firma może działać efektywniej, uzyskując lepszą perspektywę dotyczącą zarówno rynku, jak i miejsca, jakie na nim zajmuje. Jak podaje firma analityczna Gartner do 2020 roku dzięki wykorzystaniu analityki Big Data aż 80 proc. procesów biznesowych w firmach zostanie zmodernizowanych. W ciągu najbliższych 2 lat 7 na 10 przedsiębiorstw zamierza zwiększyć wydatki na analizę dużych zbiorów danych. Firmom nie chodzi dziś już wyłącznie o gromadzenie, przetwarzanie, segmentowanie i analizowanie danych, czyli wspomniany data harvesting, lecz przede wszystkim o ich monetyzację. Nie jest to jednak łatwe zadanie. Głównym problemem związanym z analityką biznesową jest ocena przydatności i wiarygodności danych, także z tych źródeł, których do tej pory w ogóle nie brano pod uwagę. Te problemy rozwiązują zewnętrzne hurtownie danych oraz platformy DMP (Data Management Platforms), które przetwarzają dane w chmurze obliczeniowej.

Trafność wprowadzania takich rozwiązań potwierdza badanie przeprowadzone przez NewVantage Partners wśród przedsiębiorstw z rankingu „Fortune 1000”, charakteryzujących się największymi przychodami na rynku amerykańskim. Według tego raportu 80%. firm, które dotychczas zainwestowały w Big Data przyznało, że całkowita inwestycja była co najmniej dobra lub okazała się sporym sukcesem. Z kolei według raportu Dresner Advisory Services, obecnie 53% firm korzysta z analityki Big Data. Prym wiedzie branża telekomunikacyjna (85%). Na drugim i trzecim miejscu są usługi finansowe i opieka zdrowotna (odpowiednio 75% i 60%). Najmniejsze nasycenie cechuje sektor edukacji (niespełna 25%). Natomiast, jak przedstawia Cloud Technologies, rośnie znaczenie hurtowni danych ze względu na takie możliwości jak analiza aktywności użytkowników Internetu, dzięki współpracy z dostawcami serwisów www na całym świecie.

Autor: dr Łukasz Kryśkiewicz, adiunkt Katedry Ekonomii Biznesu SGH

Źródła:

1. Big data: The next frontier for innovation, competition, and productivity, McKinsey Global Institute, 2011.

2. http://datawarehouse4u.info/Architektura-Schematu-Hurtowni-Danych.html

3. https://di.com.pl/rok-2018-minie-pod-znakiem-inwestycji-w-big-data-59409

4. http://it-filolog.pl/bdaas-czyli-big-data-jako-usluga/

5. http://www.wnp.pl/tech/bdaas-ratunkiem-w-potopie-internetowych-danych,277385_1_0_0.html

6. https://www.crn.pl/aktualnosci/kto-i-po-co-potrzebuje-big-data

7. https://www.erp-view.pl/business_intelligence/big_data_as_a_service.html

8. https://www.erp-view.pl/business_intelligence/ten_rok_minie_pod_znakiem_inwestycji_w_big_data.html

9. Jarke M., Lenzerini M., Vassiliou Z., Vassiliadis P., Hurtownie danych. Podstawa organizacji funkcjonowania, WSiP, Warszawa 2003.

10. Surma J., Business Intelligence. Systemy wspomagania decyzji biznesowych, WN PWN, Warszawa 2009.