Conţinut
- Fără bug-uri, fără stres - Ghidul dvs. pas cu pas pentru crearea de programe care schimbă viața fără a vă distruge viața
- Până la afaceri
- Cum va schimba Kafka Managementul datelor
La pachet:
Kafka va face pentru sistemele de informații ce face LinkedIn pentru oamenii de afaceri: ține-i conectați pe game largi.
Crezând cu pasiune în ceva care încă nu există, îl creăm. Inexistentul este orice nu am dorit suficient.~ Franz Kafka
Necesitatea rămâne mama invenției. După cum mi-a spus odată un consultant astut, „Dacă există ceva ce trebuie să se întâmple într-o organizație, se întâmplă”. Punctul său era de două ori: 1) unii oameni vor găsi întotdeauna o modalitate de a duce la bun sfârșit lucrurile; și, 2) conducerea superioară, sau chiar conducerea intermediară, poate foarte bine nu știe exact cum se fac lucrurile în propria unitate.
Dacă extindem acea metaforă la întregul univers al gestionării datelor, putem vedea o transformare care are loc chiar acum. Presiunea brută a datelor mari, combinată cu axa de transmisie a datelor, creează atât de multă presiune încât sistemele de legătură se frâng la margini, dacă nu se prăbușesc cu totul. Cu toate acestea, există nenumărați profesioniști care își desfășoară activitatea în acest moment, care în mare parte nu știu această realitate.
Întreprinderile bazate pe date, bazate pe date, au un scaun pe rând și conduc în multe moduri această schimbare. Luați în considerare modul în care centralele precum Yahoo! Și LinkedIn au transformat industria software-ului companiei în lateral, cu donațiile lor prodigioase către open-source: Hadoop, Cassandra și acum Kafka, toate fiind păstrate de Fundația Apache, el însuși un jucător central în această metamorfoză. .
Care este rezultatul acestei schimbări? Ceea ce a fost martor astăzi este reclasificarea și restructurarea categorică a gestionării datelor în sine. Asta nu înseamnă că sistemele moștenitoare vor fi acum eliminate și înlocuite. Orice veteran din industrie vă va spune că dizolvarea cu ridicata a sistemelor moștenite se întâmplă la fel de des când Chicago Cubs câștigă World Series. Este un eveniment rar, să spunem cel puțin.
Ceea ce se întâmplă cu adevărat este că se construiește o super-structură în jurul sistemelor din lumea veche. Luați în considerare analogia autostrăzilor interstatale, care adesea se ridică deasupra orașelor și orașelor pe care le servesc, destinate să livreze oameni și încărcături în aceste centre de populație și să ofere stres pentru oricine și orice din ele. Acestea nu înlocuiesc drumurile existente atât cât le măresc cu alternative de mare viteză.
Exact asta face Apache Kafka: oferă rute de mare viteză pentru circulația datelor între și printre sistemele informaționale. Pentru a urma analogia autostrăzii, există încă multe companii care folosesc cozi liniare sau vechiul standard de ETL (extract-transform-load); dar aceste căi au limite mici de viteză și există multe găuri; în plus, costurile de întreținere sunt deseori exorbitante; semnalizarea este slabă.
Kafka oferă o metodă alternativă pentru furnizarea de date, una care este hotărâtă în timp real, scalabilă și durabilă. Aceasta înseamnă că Kafka nu este doar un vehicul de mișcare a datelor, ci și un replicator de date; și într-o anumită măsură, o tehnologie de baze de date distribuită. Ar trebui să fim atenți să luăm analogia prea departe, deoarece există caracteristici ale bazelor de date care respectă ACID pe care Kafka nu le face încă sport. Totuși, schimbarea este reală.
Aceasta este o veste excelentă pentru peisajul informațional, deoarece datele sunt acum libere să se deplaseze în această țară și în lume. Ceea ce a fost cândva o constrângere dureroasă, și anume lovirea ferestrelor de lot pentru procesele ETL, acum se disipează pe măsură ce ceața dă drumul la cer senin sub strălucirea unui soare fierbinte. Atunci când mutarea datelor de la un sistem la altul devine fără margini, apare o eră de noi oportunități.
Fără bug-uri, fără stres - Ghidul dvs. pas cu pas pentru crearea de programe care schimbă viața fără a vă distruge viața
Nu îți poți îmbunătăți abilitățile de programare atunci când nimeni nu îi pasă de calitatea software-ului.
Ființele umane vor reprezenta probabil cea mai mare fricțiune pe drumul către viitorul datelor. Obiceiurile vechi mor greu. Nary a CIO este prea încântat să facă schimbări en-gros la sistemele de întreprindere. A spus un experimentat senior executiv al rolului: „Pregătește-te să fii singur”. În termen de un an de la acel comentariu, a fost consultant. Nu este o cale ușoară, încercând să administreze lumea remarcabil de ingrozitoare a datelor despre întreprindere.
Vestea bună este că Kafka oferă o rampă pentru viitor. Deoarece servește ca un autobuz cu mai multe fațete, cu putere mare, creează punți între sistemele moștenite și omologii lor așteptați. Astfel, organizațiile care îmbrățișează această nouă oportunitate, cu minți deschise și buget suficient, vor putea păși în lumea nouă, fără a lăsa în urmă vechea. Este o afacere serioasă.
Până la afaceri
În timp ce Apache Kafka este o tehnologie open-source, gratuită pentru oricine să o descarce și să o utilizeze, oamenii care au creat acest software pentru LinkedIn au oprit o entitate separată numită Confluent, care se concentrează pe întărirea ofertei pentru utilizarea întreprinderii. La fel ca Cloudera, Hortonworks și MapR și-au construit afacerile în jurul proiectului open-source al Apache Hadoop, așa că Confluent încearcă să monetizeze Kafka.
Într-un interviu recent InsideAnalysis, CEO-ul Confluent și co-fondatorul Jay Kreps și-a explicat originea la LinkedIn:
"Încercam să rezolvăm câteva probleme diferite acolo. Una a fost, aveam toate aceste sisteme de date diferite cu diferite tipuri de date. Aveam baze de date și aveam fișiere de jurnal și aveam valori despre servere și aveam utilizatori care făceau clic pe lucruri. Obținerea tuturor acestor date - pe măsură ce deveneau mari - a fost cu adevărat dificilă. Puterea datelor era acolo doar dacă puteai să le aduni la aplicații, la procesare sau la sistemele care aveau nevoie de acestea. Aceasta a fost o mare problemă.
"Cealaltă problemă pe care am avut-o a fost că am adoptat Hadoop și în care am fost implicat. Am avut această platformă fantastică de procesare offline pe care am putea să o scalăm și să ne putem pune toate datele. Pentru LinkedIn, toate datele noastre s-au întâmplat în realitate. timp. A existat o generație continuă de date. A existat întotdeauna această neconcordanță, în timp ce am încercat să construim în realitate părți cheie ale afacerii noastre; între ceva care a funcționat o dată pe zi, poate noaptea, și a generat rezultate până a doua zi, și acest tip de date continue - perioade scurte de interacțiune - cu care a trebuit să fiți la curent. Am vrut să putem face ceva care a fost în jur în universitate, dar nu a fost cu adevărat un lucru principal, care este să puteți atingeți și prelucrați fluxuri de date pe măsură ce au fost generate, mai degrabă decât pe măsură ce au stat. "
Bine. Exact asta încearcă să facă acum Confluent cu datele întreprinderii de toate formele și dimensiunile. Oportunitatea în joc? Greenfield. Sincer, în întreaga istorie a software-ului pentru întreprinderi, s-ar putea susține că piața adresabilă pentru această tehnologie ia absolut tortul. Nu există o singură organizație mare, sau chiar o întreprindere mică cu date mari, care să nu poată beneficia foarte mult de această tehnologie.
Acest lucru este valabil mai ales datorită aspectului neurologic al acestei tehnologii; nu numai mințile implicate, ci natura a ceea ce face Kafka pentru sistemele informaționale. Deoarece Kafka poate fi utilizat pentru a gestiona circulația datelor în întreaga organizație, aceasta poate fi privită ca mai mult decât doar un polițist, ci mai degrabă creierul operațiunii în sine. Am fost în primele etape ale acestei viziuni, dar suntem siguri, realitatea ei.
Cum va schimba Kafka Managementul datelor
Pentru a înțelege modul în care Kafka va schimba natura gestionării datelor, gândește-te doar la modurile în care LinkedIn a schimbat rețelele. Găsirea colegilor a devenit mult mai ușoară; a rămâne în legătură cu oamenii este acum o înțelegere. Kafka va face pentru sistemele de informații ce face LinkedIn pentru oamenii de afaceri: ține-le conectate pe cele mai largi game de pe acest pământ.
Spinoff-ul Confluent este emblematic pentru ceva ce am putea numi Noua Inovație, o mișcare determinată de decuplarea dezvoltării de software și a mentalității cu sursă închisă, ghidată de creatorii tehnologiei open-source, alimentată de cantități mari de capital de risc, monetizată de companii cu scop lucrativ care încearcă să revoluționeze modul în care organizațiile și oamenii creează, adună, analizează și valorifică datele.
Pentru a-l cita pe Franz Kafka, „Dintr-un anumit moment înainte, nu mai există întoarcere înapoi. Acesta este punctul la care trebuie atins”.
Am trecut de Rubicon. Nu se mai întoarce acum.