Artykuły na temat Eksploracji danych, czyli Data Miningu

+ Co to jest data mining?
+ Rodzaje metod odkrywania wiedzy

Co to jest data mining?

Data mining jest jednym z etapów odkrywania wiedzy w bazach danych. Wywodzi się z takich dziedzin nauki, jak statystyka i uczenie maszynowe. Istota data miningu polega na wykorzystaniu szybkości komputerów do odkrywania ukrytych dla człowieka zależności i prawidłowości w ogromnych zbiorach danych. Przykładem może być wykrycie, jakie towary są najczęściej kupowane razem w danym sklepie – właśnie to zastosowanie data miningu wykorzystałem w swojej aplikacji.

Innymi przykładami wykorzystania data miningu są problemy:

• jakie cechy wyróżniają kierowców najczęściej powodujących wypadki?

• jakie jest prawdopodobieństwo terminowej spłaty kredytu przez klienta banku?

• jaka będzie jutro pogoda?

• jakie ustalić wielkości produkcji dóbr X w okresie Y?

W maksymalnym uproszczeniu cały proces odkrywania wiedzy sprowadza sie do tego, że wybrane metody uczenia się są używane do odnalezienia regularności w danych i zapisania ich w odpowiedniej postaci, zaś metody statystyczne służą do oceny ich jakości.

Rodzaje metod odkrywania wiedzy

W bardzo wygodny sposób możemy podzielić metody odkrywania wiedzy na kategorie odpowiadające rodzajom wiedzy, jakie odkrywają.

• Klasyfikacja. Odkrywa wiedzę, w jaki sposób przynależność do pewnych kategorii zależy od ilości i wartości atrybutów. Metoda ta wywodzi się od algorytmów uczenia się pojęć.

• Aproksymacja. Odkrywa wiedzę, jak wartość funkcji rzeczywistoliczbowej zależy od atrybutów. Metoda ta wywodzi się z algorytmów uczenia się aproksymacji (np. sieci neuronowe) i statystycznych metod regresji.

• Zależności przyczynowe. Odkrywa wiedzę o tym, jakie zależności przyczynowe występują między różnymi atrybutami. Metody odkrywania takiej wiedzy znajdują zastosowanie w algorytmach sieci bayesowskich.

• Zależności funkcyjne. Odkrywa wiedzę, jakimi wzorcami najlepiej wyrażają się zależności między atrybutami o wartościach liczbowych. Odkryte zależności muszą być zapisane przy pomocy formuły algebraicznej. Wykorzystuje się tu metody odkrywania równań.

• Podobieństwo. Odkrywa wiedzę o tym, jakie występują wśród analizowanych rekordów grupy rekordów podobnych i w jaki sposób to podobieństwo zależy od atrybutów, co umożliwia nam późniejsze wnioskowanie. Do odszukania takich zależności wykorzystuje się metody grupowania.

• Asocjacje. Odkrywa wiedzę o tym, jakie wartości atrybutów często występują razem w analizowanym zbiorze rekordów. Do znajdowania takiej wiedzy służą algorytmy odkrywania reguł asocjacyjnych. Właśnie tą metodę odkrywania wiedzy zastosowałem w swojej aplikacji i bardziej przybliżę ją w dalszej części pracy.