Exploatarea datelor - Data mining
Parte dintr-o serie pe |
Învățarea automată și extragerea datelor |
---|
Exploatarea datelor este un proces de extragere și descoperire a modelelor în seturi mari de date care implică metode la intersecția sistemelor de învățare automată , statistici și baze de date . Exploatarea datelor este un subdomeniu interdisciplinar de informatică și statistică cu scopul general de a extrage informații (cu metode inteligente) dintr-un set de date și de a transforma informațiile într-o structură inteligibilă pentru utilizare ulterioară. Exploatarea datelor este etapa de analiză a procesului „descoperirea cunoștințelor în baze de date” sau KDD. În afară de pasul analizei brute, acesta implică, de asemenea , aspecte de bază de date și de gestionare a datelor , pre-procesare a datelor , considerente de model și inferență , valori interesante, considerente de complexitate , post-procesare a structurilor descoperite, vizualizare și actualizare online .
Termenul „extragere de date” este un nume greșit , deoarece scopul este extragerea de tipare și cunoștințe din cantități mari de date, nu extragerea ( extragerea ) de date în sine . De asemenea, este un cuvânt cheie și se aplică frecvent oricărei forme de prelucrare a datelor sau informațiilor la scară largă ( colectare , extracție , depozitare , analiză și statistici), precum și oricărei aplicații a sistemului de asistență a deciziilor computerizate , inclusiv a inteligenței artificiale (de exemplu, mașină învățare) și business intelligence . Cartea Data mining: Instrumente și tehnici practice de învățare automată cu Java (care acoperă în principal materialul de învățare automată) a fost numită inițial doar Practical machine learning , iar termenul minerit de date a fost adăugat doar din motive de marketing. Adesea termeni mai generali ( pe scară largă ) , analiza datelor și Analytics -sau, atunci când se referă la metode reale, inteligenta artificiala si masina de învățare -sunt mai adecvată.
Sarcina reală de extragere a datelor este analiza semi- automată sau automată a unor cantități mari de date pentru a extrage șabloane interesante necunoscute anterior, cum ar fi grupuri de înregistrări de date ( analiza cluster ), înregistrări neobișnuite ( detectarea anomaliilor ) și dependențe ( extragerea regulilor de asociere , extragerea secvențială a modelelor ). Aceasta implică de obicei utilizarea tehnicilor bazei de date, cum ar fi indicii spațiali . Aceste tipare pot fi apoi văzute ca un fel de rezumat al datelor de intrare și pot fi utilizate în analize suplimentare sau, de exemplu, în învățarea automată și analiza predictivă . De exemplu, pasul de extragere a datelor ar putea identifica mai multe grupuri din date, care pot fi apoi utilizate pentru a obține rezultate de predicție mai precise de către un sistem de sprijinire a deciziilor . Nici colectarea datelor, pregătirea datelor, nici interpretarea și raportarea rezultatelor nu fac parte din etapa de extragere a datelor, dar aparțin procesului general KDD ca etape suplimentare.
Diferența dintre analiza datelor și extragerea datelor este că analiza datelor este utilizată pentru a testa modele și ipoteze asupra setului de date, de exemplu, analizând eficacitatea unei campanii de marketing, indiferent de cantitatea de date; în schimb, exploatarea datelor folosește învățarea automată și modele statistice pentru a descoperi modele clandestine sau ascunse într-un volum mare de date.
Termenii asociați dragare de date , pescuitul de date și detectarea datelor se referă la utilizarea metodelor de extragere a datelor pentru a preleva probe părți dintr-un set de date cu populație mai mare care sunt (sau pot fi) prea mici pentru a se face inferențe statistice fiabile cu privire la validitatea oricărui tipare descoperite. Aceste metode pot fi, totuși, folosite în crearea de noi ipoteze pentru a testa împotriva populațiilor mai mari de date.
Etimologie
În anii 1960, statisticiștii și economiștii au folosit termeni precum pescuitul datelor sau dragarea datelor pentru a se referi la ceea ce au considerat practica proastă a analizei datelor fără o ipoteză a-priori. Termenul „extragere de date” a fost folosit într-un mod similar critic de economistul Michael Lovell într-un articol publicat în Revista Studiilor Economice din 1983. Lovell indică faptul că practica „se maschează sub o varietate de pseudonime, variind de la„ experimentare ”(pozitiv ) la „pescuit” sau „spionaj” (negativ).
Termenul minerit de date a apărut în jurul anului 1990 în comunitatea bazelor de date, în general cu conotații pozitive. Pentru o scurtă perioadă de timp în anii 1980, a fost folosită o expresie „extragere a bazelor de date” ™, dar din moment ce a fost înregistrată de HNC, o companie din San Diego, pentru a lansa stația de lucru pentru exploatarea bazei de date; în consecință, cercetătorii s-au orientat spre extragerea datelor . Alți termeni utilizați includ arheologia datelor , recoltarea informațiilor , descoperirea informațiilor , extragerea cunoștințelor etc. Gregory Piatetsky-Shapiro a inventat termenul „descoperirea cunoștințelor în baze de date” pentru primul atelier pe același subiect (KDD-1989) și acest termen a devenit mai popular în comunitatea AI și de învățare automată . Cu toate acestea, termenul de extragere a datelor a devenit mai popular în comunitățile de afaceri și de presă. În prezent, termenii miniere de date și descoperirea cunoștințelor sunt folosiți în mod interschimbabil.
În comunitatea academică, forurile majore de cercetare au început în 1995, când a fost lansată la Montreal, sub sponsorizarea AAAI , Prima Conferință Internațională privind mineritul datelor și descoperirea cunoștințelor ( KDD-95 ) . A fost co-prezidat de Usama Fayyad și Ramasamy Uthurusamy. Un an mai târziu, în 1996, Usama Fayyad a lansat revista Kluwer, numită Data Mining and Knowledge Discovery, ca redactor-șef fondator. Mai târziu a început buletinul informativ SIGKDD Explorări SIGKDD. Conferința internațională KDD a devenit prima conferință de cea mai înaltă calitate în minerit de date, cu o rată de acceptare a documentelor de cercetare sub 18%. Revista Data Mining and Knowledge Discovery este jurnalul principal de cercetare din domeniu.
fundal
Extragerea manuală a modelelor din date a avut loc de secole. Metodele timpurii de identificare a modelelor în date includ teorema lui Bayes (anii 1700) și analiza de regresie (anii 1800). Proliferarea, omniprezenta și puterea crescândă a tehnologiei informatice au sporit dramatic capacitatea de colectare, stocare și manipulare a datelor. Pe măsură ce seturile de date au crescut ca dimensiune și complexitate, analiza directă „practică” a datelor a fost crescută din ce în ce mai mult cu prelucrarea indirectă, automatizată a datelor, ajutată de alte descoperiri în informatică, în special în domeniul învățării automate, cum ar fi rețelele neuronale , analiza clusterelor , algoritmi genetici (anii 1950), arborii de decizie și regulile de decizie (anii 1960) și mașinile vectoriale de sprijin (anii 1990). Exploatarea datelor este procesul de aplicare a acestor metode cu intenția de a descoperi tipare ascunse. în seturi mari de date. Acoperă decalajul de la statistici aplicate și inteligență artificială (care oferă de obicei fundalul matematic) la gestionarea bazelor de date prin exploatarea modului în care datele sunt stocate și indexate în baze de date pentru a executa algoritmii de învățare și descoperire efectivi mai eficient, permițând astfel de metode să fie aplicate la seturi de date tot mai mari.
Proces
Procesul de descoperire a cunoștințelor în bazele de date (KDD) este de obicei definit cu etapele:
- Selecţie
- Pre-procesare
- Transformare
- Exploatarea datelor
- Interpretare / evaluare.
Există, totuși, în multe variante pe această temă, cum ar fi procesul standard pentru industria minieră (CRISP-DM) care definește șase etape:
- Înțelegerea afacerii
- Înțelegerea datelor
- Pregătirea datelor
- Modelare
- Evaluare
- Implementare
sau un proces simplificat, cum ar fi (1) pre-procesare, (2) extragerea datelor și (3) validarea rezultatelor.
Sondajele efectuate în 2002, 2004, 2007 și 2014 arată că metodologia CRISP-DM este principala metodologie utilizată de minerii de date. Singurul alt standard de data mining numit în aceste sondaje a fost SEMMA . Cu toate acestea, de 3-4 ori mai mulți oameni au raportat utilizarea CRISP-DM. Mai multe echipe de cercetători au publicat recenzii ale modelelor de procese de extragere a datelor, iar Azevedo și Santos au efectuat o comparație între CRISP-DM și SEMMA în 2008.
Pre-procesare
Înainte de a putea utiliza algoritmi de extragere a datelor, trebuie asamblat un set de date țintă. Deoarece extragerea datelor nu poate descoperi decât modelele prezente efectiv în date, setul de date țintă trebuie să fie suficient de mare pentru a conține aceste tipare, rămânând în același timp suficient de concis pentru a fi exploatat într-un termen acceptabil. O sursă obișnuită pentru date este data mart sau un depozit de date . Pre-procesarea este esențială pentru a analiza seturile de date multivariate înainte de extragerea datelor. Setul țintă este apoi curățat. Curățarea datelor elimină observațiile care conțin zgomot și pe cele cu date lipsă .
Exploatarea datelor
Exploatarea datelor implică șase clase comune de sarcini:
- Detectarea anomaliilor (depășire / detectare modificări / devieri) - Identificarea înregistrărilor de date neobișnuite, care ar putea fi interesante sau erori de date care necesită investigații suplimentare.
- Învățarea regulilor de asociere (modelarea dependenței) - Căutări de relații între variabile. De exemplu, un supermarket ar putea colecta date despre obiceiurile de cumpărare ale clienților. Folosind învățarea regulilor de asociere, supermarketul poate determina ce produse sunt cumpărate frecvent împreună și poate utiliza aceste informații în scopuri de marketing. Aceasta este uneori denumită analiza coșului de piață.
- Clustering - este sarcina de a descoperi grupuri și structuri în date care sunt într-un fel sau altul „similare”, fără a utiliza structuri cunoscute în date.
- Clasificare - este sarcina de a generaliza structura cunoscută pentru a se aplica noilor date. De exemplu, un program de e-mail poate încerca să clasifice un e-mail ca „legitim” sau ca „spam”.
- Regresie - încearcă să găsească o funcție care modelează datele cu cea mai mică eroare, pentru estimarea relațiilor dintre date sau seturi de date.
- Rezumare - oferind o reprezentare mai compactă a setului de date, inclusiv vizualizarea și generarea de rapoarte.
Validarea rezultatelor
Exploatarea datelor poate fi utilizată în mod neintenționat și poate produce rezultate care par a fi semnificative; dar care nu prezic de fapt un comportament viitor și nu pot fi reproduse pe un nou eșantion de date și nu folosesc prea mult. Adesea, acest lucru rezultă din investigarea prea multor ipoteze și a efectuării testării adecvate a ipotezelor statistice . O versiune simplă a acestei probleme în învățarea automată este cunoscută sub denumirea de overfitting , dar aceeași problemă poate apărea la diferite faze ale procesului și astfel o împărțire tren / test - atunci când este cazul deloc - poate să nu fie suficientă pentru a împiedica acest lucru.
Ultimul pas al descoperirii cunoștințelor din date este de a verifica dacă tiparele produse de algoritmii de extragere a datelor apar în setul de date mai larg. Nu toate tiparele găsite de algoritmii de extragere a datelor sunt neapărat valide. Este obișnuit ca algoritmii de extragere a datelor să găsească modele în setul de instruire care nu sunt prezente în setul de date generale. Aceasta se numește supradezionare . Pentru a depăși acest lucru, evaluarea utilizează un set de date de testare pe care algoritmul de extragere a datelor nu a fost instruit. Modelele învățate sunt aplicate acestui set de testare, iar rezultatul rezultat este comparat cu rezultatul dorit. De exemplu, un algoritm de extragere a datelor care încearcă să distingă „spam” de e-mailuri „legitime” ar fi instruit pe un set de instruire de e-mailuri eșantion. Odată instruiți, modelele învățate vor fi aplicate la setul de testare de e-mail-uri pe care le - a nu a fost instruit. Precizia modelelor poate fi apoi măsurată din câte e-mailuri clasifică corect. Mai multe metode statistice pot fi utilizate pentru a evalua algoritmul, cum ar fi curbele ROC .
Dacă tiparele învățate nu îndeplinesc standardele dorite, ulterior este necesar să reevaluăm și să modificăm etapele de pre-procesare și extragere a datelor. Dacă tiparele învățate îndeplinesc standardele dorite, atunci ultimul pas este interpretarea modelelor învățate și transformarea lor în cunoștințe.
Cercetare
Principalul organism profesional din domeniu este Grupul de interes special (SIG) al Asociației pentru Mașini de Calculat (ACM) pentru descoperirea cunoștințelor și extragerea datelor ( SIGKDD ). Din 1989, ACM SIG a găzduit o conferință internațională anuală și și-a publicat lucrările, iar din 1999 a publicat o revistă academică semestrială intitulată „Explorări SIGKDD”.
Conferințele de informatică privind mineritul de date includ:
- CIKM Conference - ACM Conference on Information and Knowledge Management
- Conferința europeană privind învățarea automată și principiile și practica descoperirii cunoștințelor în baze de date
- Conferința KDD - Conferința ACM SIGKDD despre descoperirea cunoștințelor și exploatarea datelor
Subiectele miniere de date sunt, de asemenea, prezente pe multe conferințe de gestionare a datelor / baze de date, cum ar fi Conferința ICDE , Conferința SIGMOD și Conferința internațională pe baze de date foarte mari
Standarde
S-au depus unele eforturi pentru a defini standarde pentru procesul de extragere a datelor, de exemplu, Procesul standard european pentru industria minieră (CRISP-DM 1.0) din 1999 și standardul Java Data Mining din 2004 (JDM 1.0). Dezvoltarea succesorilor acestor procese (CRISP-DM 2.0 și JDM 2.0) a fost activă în 2006, dar de atunci a stagnat. JDM 2.0 a fost retras fără a ajunge la o versiune finală.
Pentru schimbul de modele extrase - în special pentru utilizarea în analiza predictivă - standardul cheie este Predictive Model Markup Language (PMML), care este un limbaj bazat pe XML dezvoltat de Data Mining Group (DMG) și acceptat ca format de schimb de mulți aplicații de extragere a datelor. După cum sugerează și numele, acoperă doar modelele de predicție, o anumită sarcină de extragere a datelor de mare importanță pentru aplicațiile de afaceri. Cu toate acestea, extensiile pentru a acoperi (de exemplu) gruparea subspatiu au fost propuse independent de DMG.
Utilizări notabile
Exploatarea datelor este utilizată oriunde există date digitale disponibile astăzi. Exemple notabile de exploatare a datelor pot fi găsite în întreaga afacere, medicină, știință și supraveghere.
Probleme de confidențialitate și etică
Deși termenul „extragere de date” în sine nu poate avea implicații etice, este adesea asociat cu extragerea informațiilor în legătură cu comportamentul oamenilor (etic și de altă natură).
Modul în care poate fi utilizată extragerea datelor poate, în unele cazuri și contexte, să ridice întrebări cu privire la confidențialitate , legalitate și etică. În special, seturile de date guvernamentale sau comerciale privind exploatarea datelor în scopuri de securitate națională sau de aplicare a legii, cum ar fi în Programul de conștientizare a informațiilor totale sau în ADVISE , au ridicat probleme de confidențialitate.
Exploatarea datelor necesită pregătirea datelor care descoperă informații sau modele care compromit obligațiile de confidențialitate și confidențialitate. O modalitate obișnuită de a se produce acest lucru este prin agregarea datelor . Agregarea datelor implică combinarea datelor împreună (posibil din diverse surse) într-un mod care facilitează analiza (dar care, de asemenea, ar putea face identificarea datelor private, la nivel individual deductibile sau altfel evidente). Nu este vorba despre extragerea datelor în sine , ci rezultatul pregătirii datelor înainte - și în scopul - analizei. Amenințarea la adresa confidențialității unei persoane intră în joc atunci când datele, odată compilate, determină minerul de date sau oricine are acces la setul de date nou compilat, să poată identifica anumite persoane, mai ales atunci când datele erau inițial anonime.
Se recomandă să fiți conștienți de următoarele înainte de colectarea datelor:
- Scopul colectării datelor și al oricăror proiecte (cunoscute) de extragere a datelor;
- Cum vor fi utilizate datele;
- Cine va putea extrage datele și utiliza datele și instrumentele derivate ale acestora;
- Starea securității în jurul accesului la date;
- Cum pot fi actualizate datele colectate.
Datele pot fi, de asemenea, modificate pentru a deveni anonime, astfel încât persoanele să nu poată fi identificate cu ușurință. Cu toate acestea, chiar și seturile de date „anonimizate” pot conține suficiente informații pentru a permite identificarea indivizilor, așa cum s-a întâmplat atunci când jurnaliștii au putut găsi mai mulți indivizi pe baza unui set de istorii de căutare care au fost publicate în mod neintenționat de AOL.
Dezvăluirea accidentală a informațiilor de identificare personală care duce la furnizor încalcă practicile de informare echitabile. Această indiscreție poate provoca vătămări financiare, emoționale sau corporale persoanei indicate. Într-un caz de încălcare a confidențialității , patronii Walgreens au intentat un proces împotriva companiei în 2011 pentru vânzarea de informații despre rețete companiilor de minerit de date care, la rândul lor, au furnizat datele companiilor farmaceutice.
Situația în Europa
Europa are legi destul de puternice privind confidențialitatea și sunt în curs eforturi pentru a consolida în continuare drepturile consumatorilor. Cu toate acestea, principiile portului sigur SUA-UE , dezvoltate între 1998 și 2000, expun în mod eficient utilizatorii europeni la exploatarea confidențialității de către companiile americane. Ca o consecință a dezvăluirii supravegherii globale a lui Edward Snowden , au existat discuții sporite pentru revocarea acestui acord, deoarece, în special, datele vor fi expuse pe deplin Agenției Naționale de Securitate și încercările de a ajunge la un acord cu Statele Unite au eșuat.
În Regatul Unit, în special, au existat cazuri de corporații care foloseau exploatarea datelor ca o modalitate de a viza anumite grupuri de clienți, obligându-le să plătească prețuri nedrept ridicate. Aceste grupuri tind să fie oameni cu un statut socio-economic mai scăzut, care nu sunt pricepuți la modul în care pot fi exploatați pe piețele digitale.
Situația în Statele Unite
În Statele Unite, Congresul SUA a abordat problemele legate de confidențialitate prin adoptarea de controale de reglementare, cum ar fi Legea privind portabilitatea și responsabilitatea asigurărilor de sănătate (HIPAA). HIPAA cere persoanelor fizice să-și dea „consimțământul informat” cu privire la informațiile pe care le furnizează și la utilizările prezente și viitoare ale acestora. Potrivit unui articol din Biotech Business Week , „" [i] n practică, HIPAA nu poate oferi o protecție mai mare decât reglementările de lungă durată din arena cercetării ", spune AAHC. Mai important, obiectivul regulii de protecție prin consimțământul informat este abordați un nivel de neînțelegere către indivizii obișnuiți. " Acest lucru subliniază necesitatea anonimatului datelor în agregarea datelor și practicile miniere.
Legislația SUA privind confidențialitatea informațiilor, cum ar fi HIPAA și Family Educational Rights and Privacy Act (FERPA), se aplică numai domeniilor specifice pe care le abordează fiecare astfel de lege. Utilizarea exploatării datelor de către majoritatea companiilor din SUA nu este controlată de nicio legislație.
Legea drepturilor de autor
Situația în Europa
Conform legilor europene privind drepturile de autor și bazele de date , exploatarea operelor în baza drepturilor de autor (cum ar fi prin exploatarea web ) fără permisiunea proprietarului drepturilor de autor nu este legală. În cazul în care o bază de date reprezintă date pure în Europa, este posibil să nu existe drepturi de autor - dar pot exista drepturi de bază de date, astfel încât exploatarea datelor să fie supusă drepturilor proprietarilor de proprietate intelectuală protejate de Directiva bazei de date . La recomandarea revizuirii Hargreaves , acest lucru a condus guvernul britanic să-și modifice legea privind drepturile de autor în 2014 pentru a permite extragerea conținutului ca limitare și excepție . Marea Britanie a fost a doua țară din lume care a făcut acest lucru după Japonia, care a introdus o excepție în 2009 pentru exploatarea datelor. Cu toate acestea, datorită restricției Directivei privind societatea informațională (2001), excepția Regatului Unit permite extragerea de conținut numai în scopuri necomerciale. Legea drepturilor de autor din Marea Britanie nu permite, de asemenea, ca această prevedere să fie anulată de termenii și condițiile contractuale.
Comisia Europeană a facilitat discuții cu părțile interesate cu privire text și extragerea datelor în 2013, sub titlul de licențe pentru Europa. Accentul pus pe soluționarea acestei probleme juridice, precum licențierea, mai degrabă decât limitările și excepțiile, a condus la reprezentanții universităților, cercetătorilor, bibliotecilor, grupurilor societății civile și editorilor cu acces liber să părăsească dialogul părților interesate în mai 2013.
Situația în Statele Unite
Legea drepturilor de autor din SUA și, în special, prevederile sale pentru utilizarea loială , confirmă legalitatea exploatării conținutului în America și în alte țări cu utilizare loială, precum Israel, Taiwan și Coreea de Sud. Deoarece extragerea conținutului este transformatoare, adică nu înlocuiește lucrarea originală, este privită ca fiind legală în condiții de utilizare loială. De exemplu, ca parte a soluționării Google Book , judecătorul de caz a decis că proiectul Google de digitalizare a cărților în drepturi de autor era legal, în parte din cauza utilizărilor transformative afișate de proiectul de digitalizare - una fiind extragerea de text și date.
Software
Software-ul și aplicațiile gratuite pentru extragerea datelor
Următoarele aplicații sunt disponibile sub licențe gratuite / open-source. Accesul public la codul sursă al aplicației este, de asemenea, disponibil.
- Morcov2 : cadru de grupare a textului și a rezultatelor căutării.
- Chemicalize.org : un miner de structură chimică și un motor de căutare web.
- ELKI : Un proiect de cercetare universitară cu analize avansate de cluster și metode de detectare a valorilor anterioare scrise în limbajul Java .
- GATE : un instrument de procesare a limbajului natural și de inginerie a limbajului.
- KNIME : Konstanz Information Miner, un cadru de analiză a datelor ușor de utilizat și cuprinzător.
- Analiză online masivă (MOA) : o extragere în timp real a fluxului de date mari cu instrument de derivare a conceptului în limbajul de programare Java .
- MEPX : instrument multiplataforma pentru probleme de regresie și clasificare bazate pe o variantă de programare genetică.
- ML-Flex: Un pachet software care permite utilizatorilor să se integreze cu pachete de învățare automată ale unor terțe părți scrise în orice limbaj de programare, să execute analize de clasificare în paralel pe mai multe noduri de calcul și să producă rapoarte HTML ale rezultatelor clasificării.
- mlpack : o colecție de algoritmi de învățare automată gata de utilizat, scrise în limbajul C ++ .
- NLTK ( Natural Language Toolkit ): o suită de biblioteci și programe pentru procesarea simbolică și statistică a limbajului natural (NLP) pentru limbajul Python .
- OpenNN : Deschideți biblioteca de rețele neuronale .
- Orange : o suită de software pentru minerit de date și învățare automată bazată pe componente , scrisă în limbajul Python .
- PSPP : Software de extragere a datelor și statistici în cadrul proiectului GNU similar cu SPSS
- R : Un limbaj de programare și un mediu software pentru calculul statistic , extragerea datelor și grafica. Face parte din Proiectul GNU .
- Scikit-learn : o bibliotecă open-source de învățare automată pentru limbajul de programare Python
- Torch : O bibliotecă open-source de învățare profundă pentru limbajul de programare Lua și cadrul științific de calcul , cu suport larg pentru algoritmi de învățare automată.
- UIMA : UIMA (Unstructured Information Management Architecture) este un cadru component pentru analiza conținutului nestructurat precum text, audio și video - dezvoltat inițial de IBM.
- Weka : o suită de aplicații software de învățare automată scrise în limbajul de programare Java .
Aplicații software și software de exploatare a datelor
Următoarele aplicații sunt disponibile sub licențe proprietare.
- Angoss KnowledgeSTUDIO: instrument de extragere a datelor
- LIONsolver : o aplicație software integrată pentru extragerea datelor, business intelligence și modelare care implementează abordarea de învățare și optimizare inteligentă (LION).
- Inteligență Megaputer: software-ul de extragere a datelor și a textului se numește PolyAnalyst .
- Microsoft Analysis Services : software de extragere a datelor furnizat de Microsoft .
- NetOwl : suită de produse analitice de text și entități multilingve care permit extragerea datelor.
- Oracle Data Mining : software pentru data mining de la Oracle Corporation .
- PSeven : platformă pentru automatizarea simulării și analizei de inginerie, optimizare multidisciplinară și extragere a datelor oferită de DATADVANCE .
- Qlucore Omics Explorer: software de extragere a datelor.
- RapidMiner : un mediu pentru învățarea automată și experimentele de extragere a datelor.
- SAS Enterprise Miner : software de extragere a datelor furnizat de SAS Institute .
- SPSS Modeler : software de extragere a datelor furnizat de IBM .
- STATISTICA Data Miner: software de data mining furnizat de StatSoft .
- Tanagra : Software de extragere a datelor orientat spre vizualizare, de asemenea, pentru predare.
- Vertica : software de extragere a datelor furnizat de Hewlett-Packard .
- Google Cloud Platform : modele automatizate de ML personalizate gestionate de Google .
- Amazon SageMaker : serviciu gestionat furnizat de Amazon pentru crearea și producerea de modele ML personalizate.
Vezi si
- Metode
- Agent minier
- Detectare anomalii / valori anterioare / modificări
- Învățarea regulilor de asociere
- Rețele bayesiene
- Clasificare
- Analiza grupului
- Arborii de decizie
- Învățarea ansamblului
- Analiza factorilor
- Algoritmi genetici
- Minarea intenției
- Sistem de clasificare a învățării
- Învățare multiliniară subspatiu
- Rețele neuronale
- Analiza regresiei
- Minarea secvenței
- Analiza datelor structurate
- Suporta masini vectoriale
- Exploatarea textului
- Analiza seriilor temporale
- Domenii de aplicații
- Exemple de aplicații
- subiecte asemănătoare
Pentru mai multe informații despre extragerea informațiilor din date (spre deosebire de analiza datelor), consultați:
- Alte resurse
Referințe
Lecturi suplimentare
- Cabena, Peter; Hadjnian, Pablo; Stadler, Rolf; Verhees, Jaap; Zanasi, Alessandro (1997); Discovering Data Mining: From Concept to Implementation , Prentice Hall , ISBN 0-13-743980-6
- MS Chen, J. Han, PS Yu (1996) " Exploatarea datelor: o imagine de ansamblu dintr-o perspectivă a bazei de date ". Cunoștințe și inginerie de date, Tranzacții IEEE pe 8 (6), 866-883
- Feldman, Ronen; Sanger, James (2007); The Text Mining Handbook , Cambridge University Press , ISBN 978-0-521-83657-9
- Guo, Yike; și Grossman, Robert (editori) (1999); Minare de date de înaltă performanță: algoritmi de scalare, aplicații și sisteme , editori Kluwer Academic
- Han, Jiawei , Micheline Kamber și Jian Pei. Exploatarea datelor: concepte și tehnici . Morgan Kaufmann, 2006.
- Hastie, Trevor , Tibshirani, Robert și Friedman, Jerome (2001); Elementele învățării statistice: extragerea datelor, inferența și predicția , Springer, ISBN 0-387-95284-5
- Liu, Bing (2007, 2011); Exploatarea datelor web: explorarea hyperlinkurilor, conținut și date de utilizare , Springer , ISBN 3-540-37881-2
- Murphy, Chris (16 mai 2011). „Mineria de date este liberă vorbire?”. InformationWeek : 12.
- Nisbet, Robert; Bătrân, Ioan; Miner, Gary (2009); Manual de analiză statistică și aplicații de extragere a datelor , Academic Press / Elsevier, ISBN 978-0-12-374765-5
- Poncelet, Pascal; Masseglia, Florent; și Teisseire, Maguelonne (editori) (octombrie 2007); „Modele de extragere a datelor: noi metode și aplicații”, Referința științei informației , ISBN 978-1-59904-162-9
- Tan, Pang-Ning; Steinbach, Michael; și Kumar, Vipin (2005); Introducere în exploatarea datelor , ISBN 0-321-32136-7
- Theodoridis, Sergios; și Koutroumbas, Konstantinos (2009); Recunoașterea modelelor , ediția a IV-a, Academic Press, ISBN 978-1-59749-272-0
- Weiss, Sholom M .; și Indurkhya, Nitin (1998); Predictive Data Mining , Morgan Kaufmann
- Witten, Ian H .; Frank, Eibe; Hall, Mark A. (30 ianuarie 2011). Data Mining: Instrumente și tehnici practice de învățare automată (3 ed.). Elsevier. ISBN 978-0-12-374856-0.(Vezi și software-ul gratuit Weka )
- Ye, Nong (2003); The Handbook of Data Mining , Mahwah, NJ: Lawrence Erlbaum