Meni

Podatkovno rudarjenje: postopek, tehnike in glavna vprašanja pri analizi podatkov

  • Glavni
  • Drugo
  • Podatkovno rudarjenje: postopek, tehnike in glavna vprašanja pri analizi podatkov

data mining process

Preizkusite Naš Instrument Za Odpravo Težav

Ta poglobljena vadnica za rudarjenje podatkov pojasnjuje, kaj je rudarjenje podatkov, vključno s postopki in tehnikami, ki se uporabljajo za analizo podatkov:

Razumejmo pomen izraza rudarstvo na primeru rudarjenja zlata iz kamnin, ki se imenuje rudarstvo zlata. Tu je koristno 'zlato', zato se imenuje pridobivanje zlata.

Podobno pridobivanje koristnih informacij iz velike količine podatkov se imenuje rudarjenje znanja in je v javnosti znano tudi kot rudarjenje podatkov. Z izrazom koristne informacije označujemo podatke, ki nam lahko pomagajo pri napovedovanju rezultata.

Na primer iskanje trendov nakupa določene stvari (recimo železa) po določeni starostni skupini ( Primer: 40-70 let).

=>POMAKNITE NAVZDOLza ogled celotnega seznama 7 vadnic za globinsko rudarjenje podatkov za začetnike

Podatkovno rudarjenje

Kaj se boste naučili:

ascii v int c ++

Seznam vaj za rudarjenje podatkov

Vadnica št. 1: Podatkovno rudarjenje: postopek, tehnike in glavna vprašanja pri analizi podatkov (Ta vadnica)
Vadnica # 2: Tehnike rudarjenja podatkov: algoritem, metode in najboljša orodja za rudarjenje podatkov
Vadnica št. 3: Proces rudarjenja podatkov: vključeni modeli, koraki in izzivi
Vadnica # 4: Primeri podatkovnega rudarjenja: najpogostejše aplikacije podatkovnega rudarjenja 2019
Vadnica št. 5: Primeri algoritma drevesa odločanja pri rudarjenju podatkov
Vadnica # 6: Apriorijev algoritem pri rudarjenju podatkov: izvedba s primeri
Vadnica št. 7: Algoritem rasti pogostega vzorca (FP) pri rudarjenju podatkov

Pregled vadnic v tej seriji rudarjenja podatkov

Vadnica št.Kaj se boste naučili
Vadnica_7: Algoritem rasti pogostega vzorca (FP) pri rudarjenju podatkov
To je podrobna vadnica o pogostnem algoritmu rasti vzorca, ki predstavlja bazo podatkov v obliki drevesa FP. Tukaj je pojasnjena tudi primerjava FP Growth Vs Apriori.
Vadnica_ # 1: Podatkovno rudarjenje: postopek, tehnike in glavna vprašanja pri analizi podatkov
Ta poglobljena vadnica za rudarjenje podatkov pojasnjuje, kaj je rudarjenje podatkov, vključno s procesi in tehnikami, ki se uporabljajo za analizo podatkov.
Vadnica_ # 2: Tehnike rudarjenja podatkov: algoritem, metode in najboljša orodja za rudarjenje podatkov
Ta vadnica o tehnikah rudarjenja podatkov razlaga algoritme, orodja za pridobivanje podatkov in metode za pridobivanje uporabnih podatkov.
Tutorial_ # 3: Proces rudarjenja podatkov: vključeni modeli, koraki in izzivi
Ta vadnica o postopku pridobivanja podatkov zajema modele, korake in izzive za pridobivanje podatkov, vključene v postopek pridobivanja podatkov.
Vadnica_ # 4: Primeri podatkovnega rudarjenja: najpogostejše aplikacije podatkovnega rudarjenja 2019
V tej vadnici so opisani najbolj priljubljeni primeri rudarjenja podatkov v resničnem življenju. Spoznali boste več o aplikaciji Data Mining v financah, marketingu, zdravstvu in CRM.
Vadnica_ # 5: Primeri algoritma drevesa odločanja pri rudarjenju podatkov
Ta poglobljena vadnica pojasnjuje vse o algoritmu drevesa odločanja pri rudarjenju podatkov. Spoznali boste primere dreves odločanja, algoritem in razvrstitev.
Vadnica_ # 6: Apriorijev algoritem pri rudarjenju podatkov: izvedba s primeri
To je preprosta vadnica o Apriorijevem algoritmu za iskanje pogostih naborov elementov pri rudarjenju podatkov. Spoznali boste tudi korake v Aprioriju in razumeli, kako to deluje.

Kaj je rudarjenje podatkov?

Podatkovno rudarjenje je danes veliko povpraševanje, saj podjetjem pomaga, da preučijo, kako se lahko prodaja njihovih izdelkov poveča. To lahko razumemo na primeru modne trgovine, ki bo registrirala vsakega kupca, ki kupi izdelek v njihovi trgovini.

Na podlagi podatkov kupca, kot so starost, spol, dohodkovna skupina, poklic itd., Bo trgovina lahko ugotovila, kateri tip kupcev kupuje različne izdelke. Tu lahko vidimo, da ime kupca ne koristi, saj ne moremo napovedati trenda nakupa po imenu, ali bo ta oseba kupila določen izdelek ali ne.

Tako je koristne informacije mogoče najti z uporabo starostne skupine, spola, dohodkovne skupine, poklica itd. Iskanje znanja ali zanimivega vzorca v podatkih je »Data Mining«. Drugi izrazi, ki jih je mogoče uporabiti, so Rudanje znanja iz podatkov, Pridobivanje znanja, Analiza podatkov, Analiza vzorcev itd.

Drug izraz, ki se pogosto uporablja pri rudarjenju podatkov, je Odkrivanje znanja iz podatkov ali KDD.

Proces analize podatkov

Postopek odkrivanja znanja je zaporedje naslednjih korakov:

  1. Čiščenje podatkov: Ta korak iz vhodnih podatkov odstrani šum in neskladne podatke.
  2. Integracija podatkov: Ta korak združuje več virov podatkov. Čiščenje in integracija podatkov skupaj tvorita predobdelavo podatkov. Predobdelani podatki se nato shranijo v podatkovno skladišče.
  3. Izbira podatkov: Ti koraki izberejo podatke za nalogo analize iz baze podatkov.
  4. Preoblikovanje podatkov: V tem koraku se uporabljajo različne tehnike združevanja podatkov in povzetka podatkov za pretvorbo podatkov v uporabno obliko za rudarjenje.
  5. Podatkovno rudarjenje: V tem koraku se z uporabo inteligentnih metod izvlečejo vzorci podatkov.
  6. Ocena vzorca: Izvlečeni vzorci podatkov se ovrednotijo ​​in prepoznajo v skladu z merili zanimivosti.
  7. Predstavitev znanja: Tehnike vizualizacije in predstavitve znanja se uporabljajo za predstavitev pridobljenega znanja uporabnikom.

Model podatkovnega rudarjenja

Koraki od 1 do 4 so v fazi predhodne obdelave podatkov. Tu je podatkovno rudarstvo predstavljeno kot en sam korak, vendar se nanaša na celoten postopek odkrivanja znanja.

Tako lahko rečemo, da je analiza podatkov postopek odkrivanja zanimivih vzorcev in znanja iz velike količine podatkov. Viri podatkov lahko vključujejo baze podatkov, podatkovna skladišča, svetovni splet, ploščate datoteke in druge informativne datoteke.

Kakšne vrste podatkov je mogoče izkopati?

Najosnovnejše oblike podatkov za rudarstvo so podatki baze podatkov, podatki o skladišču podatkov in podatki o transakcijah. Tehnike rudarjenja podatkov je mogoče uporabiti tudi za druge oblike, kot so tokovi podatkov, zaporedni podatki, besedilni podatki in prostorski podatki.

# 1) Podatki zbirke podatkov: Sistem za upravljanje baz podatkov je nabor medsebojno povezanih podatkov in nabor programov za upravljanje in dostop do podatkov. Sistem relacijske baze podatkov je zbirka tabel in vsaka tabela je sestavljena iz nabora atributov in nabora.

Rudarstvo relacijskih baz podatkov preiskuje trende in vzorce podatkov Npr . kreditno tveganje strank na podlagi starosti, dohodka in predhodnega kreditnega tveganja. Tudi rudarstvo lahko ugotovi odstopanja od pričakovanih Npr. znatno povišanje cene predmeta.

# 2) Podatki skladišča podatkov: Podatkovno skladišče je zbirka informacij, zbranih iz več podatkovnih virov, shranjenih v enotni shemi na enem mestu. DW je oblikovan kot večdimenzionalna podatkovna struktura, imenovana podatkovna kocka, ki ima celice in dimenzije, ki zagotavljajo predračun in hitrejši dostop do podatkov.

Podatkovno rudarjenje se izvaja v slogu OLAP z združevanjem dimenzij na različnih stopnjah razdrobljenosti.

# 3) Transakcijski podatki: Transakcijski podatki zajemajo transakcijo. Ima ID transakcije in seznam elementov, ki se uporabljajo v transakciji.

# 4) Druge vrste podatkov: Drugi podatki lahko vključujejo: časovno povezane podatke, prostorske podatke, podatke hiperteksta in večpredstavnostne podatke.

Katere tehnike se uporabljajo pri pridobivanju podatkov?

Podatkovno rudarjenje je domena, ki temelji na aplikacijah. Številne tehnike, kot so statistika, strojno učenje, prepoznavanje vzorcev, iskanje informacij, vizualizacija itd., Vplivajo na razvoj metod analize podatkov.

Pogovorimo se o nekaterih od njih tukaj !!

Statistika

Preučevanje zbiranja, analize, interpretacije in predstavitve podatkov je mogoče opraviti s pomočjo statističnih modelov. Na primer , statistične podatke lahko uporabimo za modeliranje šuma in manjkajočih podatkov, nato pa lahko ta model uporabimo v velikem naboru podatkov za prepoznavanje šuma in manjkajočih vrednosti v podatkih.

Strojno učenje

ML se uporablja za izboljšanje učinkovitosti na podlagi podatkov. Glavno raziskovalno področje je, da se računalniški programi samodejno naučijo prepoznavati zapletene vzorce in sprejeti pametne odločitve na podlagi podatkov.

Strojno učenje se osredotoča na natančnost in podatkovno rudarstvo se osredotoča na učinkovitost in razširljivost rudarskih metod na velikem naboru podatkov, kompleksnih podatkih itd.

Strojno učenje je treh vrst:

  1. Nadzorovano učenje: Ciljni nabor podatkov je znan in naprava je usposobljena v skladu s ciljnimi vrednostmi.
  2. Nenadzorovano učenje: Ciljne vrednosti niso znane in stroji se učijo sami.
  3. Polnadzorovano učenje: Uporablja tako tehnike nadzorovanega kot nenadzorovanega učenja.

Pridobivanje informacij (IR)

To je znanost iskanja dokumentov ali informacij v dokumentih.

Uporablja dva načela:

  • Podatki, ki jih je treba iskati, so nestrukturirani.
  • Poizvedbe tvorijo predvsem ključne besede.

Z analizo podatkov in IR lahko najdemo glavne teme v zbirki dokumentov in tudi glavne teme, ki so vključene v vsak dokument.

kako ustvariti niz nizov

Glavna vprašanja pri analizi podatkov

Kot je omenjeno spodaj, ima Data Mining vrsto vprašanj:

Metodologija rudarjenja

  • Ker obstajajo različne aplikacije, se še vedno pojavljajo nove rudarske naloge. Te naloge lahko isto bazo podatkov uporabljajo na različne načine in zahtevajo razvoj novih tehnik rudarjenja podatkov.
  • Med iskanjem znanja v velikih naborih podatkov moramo raziskati večdimenzionalni prostor. Za iskanje zanimivih vzorcev je treba uporabiti različne kombinacije dimenzij.
  • Negotovi, hrupni in nepopolni podatki lahko včasih privedejo do napačnih izpeljav.

Interakcija uporabnika

  • Postopek analize podatkov mora biti zelo interaktiven. Za lažji postopek rudarjenja je pomembno, da je uporabnik interaktiven.
  • V proces rudarjenja podatkov je treba vključiti domensko znanje, ozadje, omejitve itd.
  • Znanje, odkrito z rudarjenjem podatkov, bi moralo biti uporabno za ljudi. Sistem mora sprejeti ekspresivno predstavitev znanja, uporabniku prijazne tehnike vizualizacije itd.

Učinkovitost in razširljivost

  • Algoritmi za podatkovno rudarjenje bi morali biti učinkoviti in razširljivi, da lahko učinkovito izvlečejo zanimive podatke iz ogromne količine podatkov v skladiščih podatkov.
  • Široka distribucija podatkov, zahtevnost računanja spodbuja razvoj vzporednih in porazdeljenih podatkovno intenzivnih algoritmov.

Raznolikost vrst podatkovnih zbirk

  • Izdelava učinkovitih in učinkovitih orodij za analizo podatkov za različne aplikacije, širok spekter vrst podatkov iz nestrukturiranih podatkov, časovnih podatkov, hiperteksta, večpredstavnostnih podatkov in programske kode ostaja zahtevno in aktivno področje raziskav.

Družbeni vpliv

  • Zaskrbljujoče področje je razkritje za uporabo podatkov in morebitna kršitev zasebnosti in zaščite pravic posameznika.

Zaključek

Data Mining pomaga pri odločanju in analizi velike količine podatkov. Dandanes je to najpogostejša poslovna tehnika. Omogoča samodejno analizo podatkov in prepoznava priljubljene trende in vedenje.

Analizo podatkov lahko kombiniramo s strojnim učenjem, statistiko, umetno inteligenco itd. Za napredno analizo podatkov in preučevanje vedenja.

Podatkovno rudarjenje je treba uporabiti ob upoštevanju različnih dejavnikov, kot so stroški pridobivanja informacij in vzorca iz zbirk podatkov (uporabiti je treba zapletene algoritme, ki zahtevajo strokovne vire), vrsto informacij (saj pretekli podatki morda niso enaki kot v resnici sedanje, zato analiza ne bo koristna).

Upamo, da bo ta vadnica obogatili svoje znanje o konceptu Data Mininga !!

NASLEDNJA Vadnica

Priporočeno branje

^