Conţinut
Sursa: Nmedia /Dreamstime.com
La pachet:
Datele mari reprezintă o afacere mare peste tot, dar câteva domenii specifice exploatează cel mai mult această tehnologie.
Când am început acest articol, plănuiam să listez diferitele tipuri de platforme de date mari. Dar, după trei zile de încercare de a corela toate diferitele oferte de date mari - relaționale versus nerelaționale, SQL versus NoSQL și baze de date versus cadru - într-o oarecare aspect de ordine, am decis să evit acea mizerie.
Pentru a adăuga insultă la vătămare, am sperat să introduc persoana care a inventat termenul „date mari” ca parte a articolului. Dar nici nu pot face asta. Nu există un răspuns agreat. De fapt, există un proiect complet de cercetare care a analizat cine a venit cu date mari inițial. În schimb, o să arunc o privire la unele dintre cele mai importante moduri de utilizare a datelor mari. E mult mai important. Și este mai interesant și mai surprinzător decât ai putea crede.
Cum sa întâmplat
Analiștii care folosesc mineritul tradițional de date manipulează datele de ani buni. Aceiași analiști consideră că este dificil să facă față cantității și varietății de date salvate de companii, organizații private și agenții guvernamentale.
Introduceți date mari, următorul pas evolutiv în extragerea datelor. Datele mari au fost concepute pentru a gestiona bazele de date masive și numeroase tipuri de date create în lumea digitală de astăzi. Dacă „masiv” te gândești la Google și la toate datele pe care le colectează, ai fi în pachetul de bilă. Ceea ce te poate surprinde este faptul că Google se află doar pe locul patru în Top Ten List din cele mai mari baze de date din lume. În ianuarie 2014, Centrul Mondial de Date pentru Climă a trecut pe listă cu 220 de terabyți de date și oricine presupune despre dimensiunea bazelor de date controlate de anumite agenții guvernamentale.
Desigur, datele mari au decolat, deoarece fac posibilă manipularea unor cantități mari de date diferite și descoperirea unor lucruri uimitoare - și uimitor de detaliate și personale. John Sumser, analistul industriei HR, oferă următorul exemplu:
"Astăzi creăm ipoteze și colectăm date. Mâine vom face inversul. Acumularea constantă și constantă de date ne va permite să analizăm datele înainte de a formula întrebări. Asta înseamnă că vom primi răspunsuri la întrebările pe care nu le-am făcut". Nu știu să întreb. Vom deveni fără gânduri o mulțime de lucruri pe care presupunem că sunt fapte. "
Desigur, am auzit cu toții despre unele dintre modalitățile înfiorătoare cu care aceste date au fost folosite, cum ar fi capacitatea Targets de a discerne sarcina unei femei tinere, înainte ca familia ei să afle chiar. Dar datele mari sunt folosite și pentru cauze mult mai puțin sinistre. Iată câteva organizații care le folosesc cel mai mult:
Nu îți poți îmbunătăți abilitățile de programare atunci când nimeni nu îi pasă de calitatea software-ului.
Un domeniu evident de date mari va ajuta este de gestionare a înregistrărilor electronice de sănătate în condiții de siguranță și cu exactitate în cadrul organizațiilor medicale. A avea înregistrări corecte va oferi pacienților servicii mai bune și reducerea erorilor. Domeniul asistenței medicale, din motive evidente, adaptează datele mari într-un ritm mai lent pentru a se conforma reglementărilor guvernamentale privind confidențialitatea pacienților.
Așa cum am menționat anterior, datele mari sunt cunoscute pentru furnizarea de răspunsuri la întrebări neatribuite. În domeniul îngrijirii sănătății, acest lucru poate însemna găsirea unui nou medicament sau a unui tratament care nu s-ar fi găsit altfel. Conform McKinsey & Company, datele mari ar putea face următoarele în viitorul nu atât de îndepărtat:
- Modelarea predictivă a proceselor și medicamentelor biologice devine mai sofisticată și răspândită.
- Pacienții sunt identificați pentru a se înscrie în studiile clinice pe baza mai multor surse de informații, cum ar fi media socială.
- Încercările sunt monitorizate în timp real pentru a identifica rapid problemele de siguranță sau operaționale.
- În locul silozurilor rigide care sunt dificil de exploatat, datele sunt capturate electronic și curg ușor între diferite unități.
Big Data, Oportunitate mare
În timp ce datele mari sunt valorificate în anumite domenii specifice, oferă oportunități pentru toate organizațiile din următoarele domenii:
Aproape despre orice dispozitiv de calcul și de rețea înregistrează datele. Cantitatea de date înregistrate devine rapidă. Datele mari pot gestiona cu ușurință acea cantitate de date, permițând administratorilor să monitorizeze activitatea rețelei, să diagnostice probleme sau, în exemplul pe care mi l-a oferit Rubin, să caute anumite modele de trafic de rețea care să indice activitatea malware.
Dacă citiți acest articol, este un pariu destul de sigur că sunteți la curent cu problema Heartbleed din jurul OpenSSL. Pe lângă problema tehnică, există îngrijorarea că vulnerabilitatea există de câțiva ani. Rubin a menționat că datele mari permit administratorilor de rețea, care lucrează cu analiștii de date, să creeze un program care va căuta în toate jurnalele de rețea pentru bătăi de inimă dăunătoare. Această postare FEP menționează:
"Orice operator de rețea care are jurnalele de pachete extinse poate verifica bătăile inimii dăunătoare, care au cel mai frecvent o sarcină utilă TCP de 18 03 02 00 03 01 sau 18 03 01 00 03 01 (sau poate chiar 18 03 03 00 03 01)."Următorul exemplu este rezultatul eșantionului din comanda de audit show:
Audit router # spectacol
* 14 sept. 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Utilizator:
* 14 sept. 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Utilizator:
* 14 sept. 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Utilizator:
* 14 sept. 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Utilizator:
* 14 sept. 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Utilizator:
Dacă urmați timbrele de timp, intervalul de timp pentru toate acele intrări a fost mai mic de o secundă. Nici nu aș vrea să extrapolez asta pentru o zi, cu atât mai puțin doi ani!
Ceva de urmărit
Dacă verificați anunțurile de locuri de muncă, există o nevoie cumplită pentru experți mari în date. L-am întrebat pe Rubin despre asta. A fost de acord, menționând că elevii săi sunt încântați de perspectivele lor. Am realizat apoi că platformele de date mari, în special cele considerate open source, urmează o cronologie foarte similară cu modul în care Linux a devenit mainstream.
Universitățile includ versiuni open-source ale platformelor de date mari, în special Hadoop, deoarece sunt gratuite, iar studenții pot manipula codul sursă. Așadar, absolvenții care completează toate acele locuri de muncă vor prefera să lucreze cu platforme open-source, întrucât știu ei cel mai bine. Va fi interesant de urmărit.