Wstęp

O książce

Niniejsza książka powstała na bazie doświadczeń autora, a głównym jej celem jest przybliżenie czytelnikowi podstaw z dziedziny Data mining studentom kierunku Matematyka Politechniki Lubelskiej. Będzie łączyć w sobie zarówno treści teoretyczne związane z przedstawianymi etapami eksploracji danych i budową modeli, jak i praktyczne wskazówki dotczące budowy modeli w środowisku R (R Core Team 2018). Podane zostaną również wskazówki, jak raportować wyniki analiz i jak dokonać właściwych ilustracji wyników. Bardzo użyteczny w napisaniu książki były pakiety programu R: bookdown (Xie 2018a), knitr (Xie 2018b) oraz pakiet rmarkdown (Allaire et al. 2018).

Zakres przedmiotu

Przedmiot Eksploracja danych będzie obejmował swoim zakresem eksplorację i wizualizację danych oraz uczenie maszynowe. Eksploracja danych ma na celu pozyskiwanie i systematyzację wiedzy pochodzącej z danych. Odbywa się ona głównie przy użyciu technik statystycznych, rachunku prawdopodobieństwa i metod z zakresu baz danych. Natomiast uczenie maszynowe, to gałąź nauki (obejmuje nie tylko statystykę, choć to na niej się głównie opiera) dotyczącej budowy modeli zdolnych do rozpoznawania wzorców, przewidywania wartości i klasyfikacji obiektów. Data mining to szybko rosnaca grupa metod analizy danych rozwijana nie tylko przez statystyków ale również przez biologów, genetyków, cybernetyków, informatyków, ekonomistów, osoby pracujace nad rozpoznawaniem obrazów i wiele innych grup zawodowych. W dzisiejszych czasch trudno sobie wyobrazić życie bez sztucznej inteligencji. Towarzyszy ona nam w codziennym, życiu kiedy korzystamy z telefonów komórkowych, wyszukiwarek internetowych, robotów sprzątających, automatycznych samochodów, nawigacji czy gier komputerowych. Lista ta jest niepełna i stale się wydłuża.

Zakres technik stosowanych w data mining

  • statystyka opisowa
  • wielowymiarowa analiza danych
  • analiza szeregów czasowych
  • analiza danych przestrzennych
  • reguły asocjacji
  • uczenie maszynowe1, w tym:
    • klasyfikacja
    • predykcja
    • analiza skupień
    • text mining
    • analiza przeżycia
  • i wiele innych
Przykład nienadzorowanego uczenia maszynowego.\ *Źródło:*https://analyticstraining.com/cluster-analysis-for-business/

Rysunek 0.1: Przykład nienadzorowanego uczenia maszynowego.  Źródło:https://analyticstraining.com/cluster-analysis-for-business/

Etapy eksploracji danych

Etapy eksploracji danych [@kavakiotis2017]

Rysunek 0.2: Etapy eksploracji danych (Kavakiotis et al. 2017)

  1. Czyszczenie danych - polega na usuwaniu braków danych, usuwaniu stałych zmiennych, imputacji braków danych oraz przygotowaniu danych do dalszych analiz.
  2. Integracja danych - łączenie danych pochodzących z różnych źródeł.
  3. Selekcja danych - wybór z bazy tych danych, które są potrzebne do dalszych analiz.
  4. Transformacja danych - przekształcenie i konsolidacja danych do postaci przydatnej do eksploracji.
  5. Eksploracja danych - zastosowanie technik wymienionych wcześniej w celu odnalezienia wzorców2 i zależności.
  6. Ewaluacja modeli - ocena poprawności modeli oraz wzorców z nich uzyskanych.
  7. Wizualizacja wyników - graficzne przedstawienie odkrytych wzorców.
  8. Wdrażanie modeli - zastosowanie wyznaczonych wzorców.

Bibliografia

Allaire, JJ, Yihui Xie, Jonathan McPherson, Javier Luraschi, Kevin Ushey, Aron Atkins, Hadley Wickham, Joe Cheng, Winston Chang, and Richard Iannone. 2018. Rmarkdown: Dynamic Documents for r. https://CRAN.R-project.org/package=rmarkdown.
Kavakiotis, Ioannis, Olga Tsave, Athanasios Salifoglou, Nicos Maglaveras, Ioannis Vlahavas, and Ioanna Chouvarda. 2017. “Machine Learning and Data Mining Methods in Diabetes Research.” Computational and Structural Biotechnology Journal 15: 104–16.
R Core Team. 2018. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.
Xie, Yihui. 2018a. Bookdown: Authoring Books and Technical Documents with r Markdown. https://CRAN.R-project.org/package=bookdown.
———. 2018b. Knitr: A General-Purpose Package for Dynamic Report Generation in r. https://CRAN.R-project.org/package=knitr.

  1. ang. machine learning↩︎

  2. ang. patterns↩︎