Analiza predykcyjna z wykorzystaniem SQL Server 2008, cz. I

Opublikowano: 27 czerwca 2008

Microsoft® SQL Server® 2008 oferuje analizę predykcyjną za pośrednictwem pełnego i intuicyjnego zestawu narzędzi Data Mining. Głęboka integracja z platformą Microsoft Business Intelligence zapewnia bogate wglądy na każdym etapie cyklu życia danych. Co więcej, elastyczna platforma umożliwia umieszczenie funkcji predykcji w dowolnej aplikacji.

Zawartość strony

	Wprowadzenie
	Analiza predykcyjna dla wszystkich użytkowników

Wprowadzenie

Jednym z najbardziej wartościowych zasobów każdej firmy są tony danych biznesowych rozmieszczonych w różnych aplikacjach oraz systemach w obrębie całej organizacji. W tych danych drzemie potencjał, który pozwala wykonywać kiedyś niemożliwe do zrealizowania analizy biznesowe i tworzyć niezawodny fundament do efektywnego podejmowania decyzji i trafnego prognozowania wskazującego drogę do sukcesu. Niestety zbyt często dane są gromadzone przez różne systemy komputerowe i pozostawione w zapomnieniu w odizolowanych magazynach danych. Niektóre organizacje mogą generować na podstawie tych danych historyczne raporty, inne mogą nawet mierzyć wydajność firmy z wykorzystaniem kluczowych wskaźników wydajności (Key Performance Indicators - KPI). Jednak zaskakująco mało organizacji uświadamia sobie korzyści, jakie przynosi eksploracja danych historycznych zmierzająca do wykrywania wzorców oraz trendów, a jeszcze mniej stosuje analizę predykcyjną w codziennych procesach biznesowych w celu podejmowania decyzji, określania prognoz i poprawiania ogólnej sprawności firmy.

W kilku ostatnich wersjach firma Microsoft przedefiniowała możliwości raportowania i analizy w Microsoft® SQL Server®, zmierzając do stworzenia kompleksowej platformy Business Intelligence (BI), która może być integrowana z codziennymi działaniami firmy i efektywnie wykorzystywana przez pracowników w całej organizacji, nie tylko przez garstkę wyspecjalizowanych analityków. Wiele organizacji, które wcześniej oceniały rozwiązania BI jako zbyt kosztowne lub skomplikowane pod względem implementacji, teraz korzysta z kompleksowych możliwości tworzenia, renderowania i dostarczania raportów przy pomocy usług SQL Server Reporting Services oraz z bogatej funkcjonalności przetwarzania analitycznego online (OLAP) dostarczanej przez usługi SQL Server Analysis Services. Ścisła integracja między tymi serwerowymi produktami BI a wszechobecnym systemem Microsoft Office umożliwiła masowy dostęp do analizy biznesowej oraz wpłynęła na wyewoluowanie nowego typu pracowników informacji, którzy mogą przeprowadzać bardziej dogłębne analizy kondycji firmy oraz działać z większą efektywnością.

Rozpropagowanie możliwości raportowania i analizy wielowymiarowej przyniosło już ogromne korzyści wielu organizacjom o różnej wielkości. Jednak kolejnym krokiem w ramach pobudzania sprawności i efektywności operacyjnej firm jest przejście od retrospekcyjnej analizy danych historycznych do proaktywnych działań opartych na wyniku analizy predykcyjnej danych biznesowych, a także do zastosowania w procesach biznesowych inteligentnego, bazującego na faktach systemu podejmowania decyzji. Kluczem do osiągnięcia tego celu jest wykorzystanie funkcjonalnych algorytmów Data Mining, które zapewniają ogromne możliwości w zakresie analizowania zbiorów danych, porównywania nowych danych z faktami i zachowaniami historycznymi, identyfikowania klasyfikacji oraz relacji między jednostkami i atrybutami biznesowymi oraz udostępniania trafnych wglądów predykcyjnych we wszystkich systemach oraz z myślą o wszystkich użytkownikach podejmujących decyzje biznesowe. Podobnie jak w przypadku technologii OLAP, Data Mining był kiedyś uważany za wysoko specjalistyczną dziedzinę, której implementacja wymagała drogiego oprogramowania i niezwykłych kwalifikacji. Jednak dołączając wszechstronne technologie Data Mining do usług SQL Server Analysis Services oraz zapewniając bezpośrednią integrację z systemem Microsoft Office 2007, firma Microsoft zaoferowała rentowne rozwiązanie. Rozwiązanie to pozwala zapewnić wszystkim dostęp do bogatych funkcji oraz analiz Data Mining,które stanowią kluczowy czynnik sukcesu, oferując jednocześnie korporacyjne możliwości SQL Server Analysis Services.

 Do początku strony

Analiza predykcyjna dla wszystkich użytkowników

Rozwiązanie analizy predykcyjnej zapewnia największą efektywność, gdy jest wszechobecne w całej organizacji i pomaga sterować codziennymi decyzjami biznesowymi dzięki swojej skali i wydajności na poziomie korporacyjnym. Konieczne jest także zapewnienie strategii implementacji kompleksowej analizy predykcyjnej, która umożliwi użytkownikom stosowanie technologii Data Mining w sposób intuicyjny i samoobsługowy, co z kolei pozwala firmom błyskawicznie oceniać sytuację. Technologia Data Mining w SQL Server 2008 spełnia te wymagania poprzez ścisła integrację z systemem Office 2007, uniwersalne środowisko programistyczne, korporacyjne możliwości oraz rozszerzalny zestaw bogatych i innowacyjnych algorytmów Data Mining, które zostały zaprojektowane z uwzględnieniem typowych problemów biznesowych.

Globalne rozpowszechnianie poprzez system Microsoft Office

Kiedyś analiza predykcyjna była zastrzeżona dla wąskiego grona pracowników, którzy stanowili ekspertów w dziedzinie statystyki. Dodatek Microsoft SQL Server 2008 Data Mining dla Office 2007, pokazany na Rysunku 1, udostępnił analizy oraz predykcje szerszemu gremium odbiorców, umożliwiając pracownikom korzystającym z informacji zastosowanie zaawansowanej technologii Data Mining w znanym środowisku arkuszy kalkulacyjnych. Dzięki dostarczonemu zestawowi narzędzi użytkownicy mogą w kilku prostych krokach uzyskiwać rzetelne informacje, które zapewniają natychmiastowe i znaczące rekomendacje pomocne w podejmowaniu codziennych decyzji. Narzędzia Table Analysis dla Microsoft Office Excel® 2007 ukrywają złożoność technologii Data Mining za intuicyjnymi zadaniami, dostarczając mechanizmy, które pozwalają użytkownikom w łatwy i niemal niezauważalny sposób przechodzić między analizą a odkrywaniem. Komponent kliencki Data Mining dla Office Excel 2007 oferuje dostęp do pełnego procesu tworzenia rozwiązania Data Mining, który zapewnia zaawansowanym użytkownikom więcej informacji, sprawdzanie poprawności i dużą kontrolę. Co więcej, szablony Data Mining dla aplikacji Visio umożliwiają użytkownikom renderowanie opatrzonych adnotacjami wizualizacji graficznych modeli Data Mining. Generalnie integracja funkcji SQL Server 2008 Data Mining z systemem Office 2007 tworzy kompleksowy, intuicyjny ekosystem biznesowy z funkcją pracy zespołowej, który upowszechnia dostęp do analizy predykcyjnej i pomaga w dostarczaniu informacji wspierających podejmowanie decyzji biznesowych w całej organizacji.

Rysunek 1: Dodatek Data Mining dla programu Microsoft Office Excel 2007

Dodatek Data Mining dla systemu Office 2007 oferuje następujące korzyści:

• Wszechstronność: zapewnia szeroki zakres narzędzi dostosowanych do wielu potrzeb
  Dodatek Data Mining dla sytemu Office 2007 został zaprojektowany tak, aby oferować wyjątkowo szeroki i wiarygodny zestaw narzędzi Data Mining. Dostępność tych narzędzi na komputerze PC sprawia, że wszyscy użytkownicy mogą analizować dane i odkrywać ukryte trendy oraz relacje między produktami, klientami, rynkami, pracownikami oraz innymi czynnikami. To pozwala im przewidywać potrzeby, poznawać mechanizmy działania i odnajdować ukryty potencjał, a tym samym usprawniać procesy biznesowe i bezpośrednio wpływać na rentowność firmy.

• Intuicyjność: dostarcza znaczące wglądy dla każdego użytkownika
  Dostęp do analizy predykcyjnych za pośrednictwem znajomego środowiska Microsoft Office ułatwia użytkownikom włączanie predykcji w codzienne procesy. Zautomatyzowane zadania dostarczane w ramach narzędzi Table Analysis dla Office Excel 2007 błyskawicznie dostarczają czytelne i znaczące wyniki analiz w trzech prostych krokach:

  • Definiowanie danych. Określenie danych, które zapewnią niezbędny dostęp do informacji i stworzenie w arkuszu kalkulacyjnym Office Excel 2007 tabeli definiującej dane poddawane analizie.

  • Identyfikowanie zadania. Wybranie z menu Data Mining lub Table Analysis odpowiedniego zadania Data Mining, które ma zostać wykonane na danych.

  • Pobieranie wyniku. Analiza danych wyjściowych zadania dostarczanych za pośrednictwem czytelnych i intuicyjnych wizualizacji bezpośrednio w środowisku Office Excel 2007.

    Do zautomatyzowanych zadań dostarczanych w ramach dodatku Data Mining dla programu Office Excel 2007 należą:

    • Analyze Key Influencers – Wykrywa kluczowe czynniki, które wpływają na określony wynik. Szczegółowy raport przedstawia ranking kluczowych czynników wygenerowany w oparciu o ich istotność, umożliwiając użytkownikom porównywanie kluczowych czynników dla każdego z zestawów odrębnych wartości.
    • Detect Categories – Pomaga użytkownikom w identyfikowaniu i segmentowaniu danych w oparciu o wspólne właściwości. Generowany jest szczegółowy raport opisujący odkryte kategorie, umożliwiając zmianę etykiety kategorii przy użyciu znaczących nazw wykorzystywanych w dalszej analizie.
    • Fill From Example - Pomaga użytkownikom w automatycznym uzupełnieniu częściowo wypełnionych kolumn w oparciu o wzorce w tabeli. Generowany jest raport objaśniający wykryte wzorce, umożliwiający użytkownikom ponowne analizowanie danych oraz udoskonalanie wzorców w miarę zdobywania nowej wiedzy.
    • Forecast - Umożliwia użytkownikom przewidywanie przyszłych wartości w oparciu o trendy w zbiorze danych. Do oryginalnej tabeli dodawane są wartości prognozowane i generowane są wykresy prezentujące przeszłość oraz przewidywaną ewolucję serii.
    • Highlight Exceptions - Umożliwia użytkownikom wykrywanie pozycji w zbiorze danym, które zawierają wartości spoza oczekiwanego zakresu. Wiersze zawierające wyjątki są podświetlane i akcentowana jest kolumna, która stanowi prawdopodobną przyczynę powstania wyjątku.
    • Scenario Analysis: What If - Umożliwia użytkownikom uzyskiwanie wglądu we wpływ potencjalnych zmian stosowanych na jednej wartości na pozostałe wartości w zbiorze danych.
    • Scenario Analysis: Goal Seeking - Umożliwia użytkownikom lepsze zrozumienie wewnętrznych czynników, które muszą zostać zmienione, aby w określonej kolumnie docelowej osiągnięta została pożądana wartość (dopełnienie narzędzia What-If).
    • Prediction Calculator – Powiązane z zadaniem Analyze Key Influencers, Prediction Calculator generuje interaktywny formularz służący do oceniania nowych przypadków. Wpływ każdego z atrybutów jest tłumaczony na zestaw wyników. Zestawienie kombinacji atrybutów, które odnoszą się do nowego przypadku, pozwala przewidywać prawdopodobne przyszłe mechanizmy działania.
    • Shopping Basket Analysis - Umożliwia użytkownikom wykrywanie relacji między elementami często kupowanymi razem ze sobą. Raport objaśniający relacje może pomóc w lepszym zrozumieniu finansowych korzyści wynikających z powiązanych ofert lub poprawionego rozmieszczenia produktów.

  Łatwe w zrozumieniu, graficzne dane wyjściowe tych narzędzi umożliwiają proste przejście między analizą a odkrywaniem i udostępniają użytkownikom bogate możliwości predykcji oraz wglądów, które w czytelny sposób przekładają się na rekomendacje oraz działania.

• Współpraca: dzielenie wglądów w obrębie całej organizacji
  Po przeprowadzeniu analizy predykcyjnej przy użyciu aplikacji Office Excel 2007, użytkownicy mogą skorzystać z zaawansowanych narzędzi publikacji systemu Office 2007, aby dzielić odkrycia i informować o decyzjach biznesowych w obrębie całej organizacji. Użytkownicy mogą na przykład udostępnić wynik analizy za pośrednictwem interaktywnych wizualizacji graficznych w diagramach Office Visio 2007 lub udostępnić tabele, raporty oraz diagramy przy pomocy Microsoft Office SharePoint® Server 2007.

Uniwersalne środowisko programistyczne

System Office 2007 stanowi idealne narzędzie dla pracowników wykorzystujących informacje, ale programiści BI, którzy rozwijają rozwiązania na skalę korporacyjną, najczęściej wybierają SQL Server Business Intelligence Development Studio, ponieważ oferuje ono środowisko bazujące na projektach, uzupełnione funkcjonalnością debugowania i integracją z systemem kontroli źródła, co pozwala na tworzenie kompleksowych rozwiązań BI. Oczywiście masowe rozpowszechnianie funkcji Data Mining jest użyteczne tylko wtedy, gdy programiści mogą budować rozwiązania Data Mining, które szybko i z łatwością realizują określone wymagania biznesowe. SQL Server Business Intelligence Development Studio stanowi uniwersalne środowisko programistyczne bazujące na systemie programistycznym Microsoft Visual Studio®. Przy użyciu Business Intelligence Development Studio programiści mogą tworzyć struktury Data Mining określające tabele i kolumny, które mają zostać uwzględnione podczas analizy, a także mogą dodawać wiele modeli Data Mining, które stosują algorytmy Data Mining na danych w tych tabelach. Szablon projektu Analysis Services w Business Intelligence Development Studio, pokazany na Rysunku 2, zawiera intuicyjne narzędzie Data Mining Designer służące do tworzenia i wyświetlania modeli Data Mining. Dostarcza również funkcje Cross-validation, Lift chart oraz Profit chart, które służą do porównywania i kontrastowania jakości modeli w sposób wizualny i przy pomocy statystycznych ocen błędów oraz trafności przed wdrożeniem tych modeli.

Rysunek 2: Data Mining Designer w Business Intelligence Development Studio

SQL Server 2008 dodatkowo rozszerza już wszechstronne środowisko programistyczne SQL Server 2005, dołączając następujące możliwości:

• Efektywniejszy podział danych na partycje szkoleniowe oraz testowe. Partycjonowanie jest dostępne w ramach procesu tworzenia modelu Data Mining. Programiści mogą określać, która część szkoleniowego zbioru danych ma być losowo wybierana podczas testowania.

• Budowanie modeli na podstawie filtrowanych danych. Filtrowanie danych umożliwia tworzenie modeli Mining, które wykorzystują podzbiór danych w strukturze Mining. Filtrowanie zapewnia elastyczność w zakresie projektowania struktur oraz źródeł danych, ponieważ programiści mogą stworzyć pojedynczą strukturę Mining w oparciu o ogólny widok źródła danych, a następnie stosować filtry, aby wykorzystywać tylko część danych do szkolenia i testowania różnych modeli. Dzięki temu nie trzeba budować osobnej struktury i powiązanego modelu dla każdego podzbioru danych. Programista mógłby na przykład zdefiniować widok źródła danych dla tabeli Customers i tabel powiązanych, zbudować pojedynczą strukturę Mining, która zawiera wszystkie wymagane pola, a następnie stworzyć model, który jest filtrowany w oparciu o wybrany atrybut widoku np. Region. Programista mógłby następnie z łatwością wykonać kopię tego modelu i zmienić warunek filtra tak, aby wygenerować nowy model, bazując na innej wartości Region. Stosowanie filtrów na modelach danych pozwala:

  • Tworzyć osobne modele dla wartości dyskretnych. Na przykład sklep z ubraniami może wykorzystywać dane demograficzne klientów do budowania osobnych modeli dla płci, pomimo iż dane sprzedaży pochodzą z pojedynczego źródła danych dla wszystkich klientów.
  • Eksperymentować z modelami poprzez tworzenie, a następnie testowanie wielu sposobów grupowania tych samych danych np. przedział wiekowy 20-30 kontra 20-40 kontra 20-25.
  • Określać złożone filtry na zawartości zagnieżdżonych tabel np. wymagając, aby przypadek został uwzględniony w modelu tylko wtedy, gdy użytkownik zamówił przynajmniej dwa określone elementy.

• Budowanie niezgodnych modeli w ramach tej samej struktury. Modele wykorzystujące ciągłe lub dyskretne wersje tej samej kolumny mogą współistnieć w jednej strukturze, co pozwala uniknąć potrzeby tworzenia wielu wersji tej samej kolumny źródłowej.

• Testowanie wielu modeli jednocześnie przy użyciu metody Cross-validation. Modele tworzone przez algorytmy Data Mining mają różne zastosowania, które wymagają różnych pomiarów trafności oraz trwałości. Użytkownicy określają te pomiary w zależności od wybranych zastosowań. Ponadto pomiary te pomagają w zapewnianiu, że poszczególne ustawienia skutkują najlepszym modelem dla bieżącego zestawu danych i określonego zastosowania. SQL Server 2008 oferuje solidną metodę Cross-validation, która pozwala jednocześnie testować wszystkie modele w strukturze przy użyciu techniki folding. To umożliwia użytkownikom testowanie różnych ustawień na podzbiorze danych przed zatwierdzeniem kosztownego etapu przetwarzania. Ponadto wyniki funkcji Cross-validation informują użytkowników, czy wyniki dla modelu są stabilne i czy zmienią się pod wpływem zwiększenia lub zmniejszenia ilości danych. Rysunek 3 prezentuje raport Cross-validation w narzędziu Data Mining Designer.

  

  Rysunek 3: Raport Cross Validation

Funkcje klasy korporacyjnej

Analiza predykcyjna stanowi element usług SQL Server Analysis Services, które jako serwerowe rozwiązanie klasy korporacyjnej oferują wiele korzyści: szybki rozwój, wysoką dostępność, nadzwyczajną wydajność i skalowalność, stabilne zabezpieczenia i wzbogacone możliwości zarządzania za pośrednictwem SQL Server Management Studio. Te funkcje klasy korporacyjnej sprawiają, że technologie Data Mining umożliwiające analizę predykcyjną mogą rozwijać się wraz z firmą i zapewniają wysokowydajne, skalowalne rozwiązanie dostosowane do dowolnego rozmiaru firmy.

Bogate i innowacyjne algorytmy

Różne firmy wyznaczają sobie różne cele i muszą podejmować różne decyzje. Z tego względu każda technologia Data Mining musi oferować wszechstronny zestaw funkcji, aby odpowiadać na szeroki zakres wymagań biznesowych. SQL Server 2008 Analysis Services obejmują technologię Data Mining, która wspiera wiele bogatych i innowacyjnych algorytmów - większość z nich została zaprojektowana przez dział Microsoft Research z myślą o typowych wyzwaniach biznesowych. Co więcej, technologia Data Mining w SQL Server Analysis Services jest rozszerzalna, co umożliwia dodawanie algorytmów typu plug-in realizujących nietypowe potrzeby analityczne, które są charakterystyczne dla określonej firmy. Tabela 1 prezentuje niektóre zadania, które można realizować przy użyciu technologii SQL Server Data Mining.

Sprawniejsze projektowanie agregacji

Jednym z najbardziej wartościowych zasobów każdej firmy są tony danych biznesowych rozmieszczonych w różnych aplikacjach oraz systemach w obrębie całej organizacji. W tych danych drzemie potencjał, który pozwala wykonywać kiedyś niemożliwe do zrealizowania analizy biznesowe i tworzyć niezawodny fundament do efektywnego podejmowania decyzji i trafnego prognozowania wskazującego drogę do sukcesu. Niestety zbyt często dane są gromadzone przez różne systemy komputerowe i pozostawione w zapomnieniu w odizolowanych magazynach danych. Niektóre organizacje mogą generować na podstawie tych danych historyczne raporty, inne mogą nawet mierzyć wydajność firmy z wykorzystaniem kluczowych wskaźników wydajności (Key Performance Indicators - KPI). Jednak zaskakująco mało organizacji uświadamia sobie korzyści, jakie przynosi eksploracja danych historycznych zmierzająca do wykrywania wzorców oraz trendów, a jeszcze mniej stosuje analizę predykcyjną w codziennych procesach biznesowych w celu podejmowania decyzji, określania prognoz i poprawiania ogólnej sprawności firmy.

W kilku ostatnich wersjach firma Microsoft przedefiniowała możliwości raportowania i analizy w Microsoft® SQL Server®, zmierzając do stworzenia kompleksowej platformy Business Intelligence (BI), która może być integrowana z codziennymi działaniami firmy i efektywnie wykorzystywana przez pracowników w całej organizacji, nie tylko przez garstkę wyspecjalizowanych analityków. Wiele organizacji, które wcześniej oceniały rozwiązania BI jako zbyt kosztowne lub skomplikowane pod względem implementacji, teraz korzysta z kompleksowych możliwości tworzenia, renderowania i dostarczania raportów przy pomocy usług SQL Server Reporting Services oraz z bogatej funkcjonalności przetwarzania analitycznego online (OLAP) dostarczanej przez usługi SQL Server Analysis Services. Ścisła integracja między tymi serwerowymi produktami BI a wszechobecnym systemem Microsoft Office umożliwiła masowy dostęp do analizy biznesowej oraz wpłynęła na wyewoluowanie nowego typu pracowników informacji, którzy mogą przeprowadzać bardziej dogłębne analizy kondycji firmy oraz działać z większą efektywnością.

Rozpropagowanie możliwości raportowania i analizy wielowymiarowej przyniosło już ogromne korzyści wielu organizacjom o różnej wielkości. Jednak kolejnym krokiem w ramach pobudzania sprawności i efektywności operacyjnej firm jest przejście od retrospekcyjnej analizy danych historycznych do proaktywnych działań opartych na wyniku analizy predykcyjnej danych biznesowych, a także do zastosowania w procesach biznesowych inteligentnego, bazującego na faktach systemu podejmowania decyzji. Kluczem do osiągnięcia tego celu jest wykorzystanie funkcjonalnych algorytmów Data Mining, które zapewniają ogromne możliwości w zakresie analizowania zbiorów danych, porównywania nowych danych z faktami i zachowaniami historycznymi, identyfikowania klasyfikacji oraz relacji między jednostkami i atrybutami biznesowymi oraz udostępniania trafnych wglądów predykcyjnych we wszystkich systemach oraz z myślą o wszystkich użytkownikach podejmujących decyzje biznesowe. Podobnie jak w przypadku technologii OLAP, Data Mining był kiedyś uważany za wysoko specjalistyczną dziedzinę, której implementacja wymagała drogiego oprogramowania i niezwykłych kwalifikacji. Jednak dołączając wszechstronne technologie Data Mining do usług SQL Server Analysis Services oraz zapewniając bezpośrednią integrację z systemem Microsoft Office 2007, firma Microsoft zaoferowała rentowne rozwiązanie. Rozwiązanie to pozwala zapewnić wszystkim dostęp do bogatych funkcji oraz analiz Data Mining,które stanowią kluczowy czynnik sukcesu, oferując jednocześnie korporacyjne możliwości SQL Server Analysis Services.

Do początku strony