La pachet: Gazda Rebecca Jozwiak discută despre progresele arhitecturii și stocării bazelor de date cu Dez Blanchfield, Robin Bloor și Brian Bulkowski.
În prezent nu sunteți autentificat. Vă rugăm să vă conectați sau să vă înregistrați pentru a vedea videoclipul.
Rebecca Jozwiak: Doamnelor și domnilor, salut și bine ați venit la Hot Technologies din 2016. Astăzi suntem, „Expunerea diferențierii: Sosește o nouă eră a infrastructurii scalabile.” Fac astăzi pasă pentru Eric Kavanagh. Sunt Rebecca Jozwiak, umila ta gazdă a grupului de bord, în timp ce Eric pleacă în Jamaica. Bine pentru el.
Deci, așa cum a fost de zeci de ani, anul acesta este fierbinte, deși tehnologia se îndreaptă într-un ritm care depășește legea Moores și ce fac organizațiile pentru a ține pasul? Caută ceea ce este rapid, și am considera că este una dintre cele mai importante lucruri atunci când ne gândim la bazele de date. Și, desigur, avem opțiunile către relaționalul obișnuit, acum avem NoSQL-ul nostru, avem magazinul nostru de coloane, avem bazele noastre de date grafice, bazele noastre de date RDF, dar, într-adevăr, ceea ce caută întreprinderile este la scară, este paralelism și este rapid. .
Acum, arhitecturile tradiționale se bazau pe acest model relațional. Dar dacă te uiți la majoritatea afacerilor web care au apărut în ultimii trei, cinci, zece ani, acesta nu este modelele pe care le folosesc pentru infrastructura lor. Folosesc o arhitectură diferită, paralelă, fac o scară largă și se descurcă rapid și cam la ceea ce se îndreaptă mulți astăzi.
Formația noastră, îl avem pe Dez Blanchfield, este un om de știință al grupului Bloor. Avem Doctor Robin Bloor, analistul nostru principal la Bloor Group și îl avem pe Brian Bulkowski, CTO și fondator la Aerospike. Deci, băieți cu asta, o voi preda pe Dez.
Dez Blanchfield: Vă mulțumesc și mulțumesc că m-ați petrecut aici. Voi încerca să stabilesc scena pentru cum am ajuns foarte repede la locul unde ne aflăm și vom merge în multe detalii tehnice pe măsură ce parcurgem subiectele de astăzi. Voi prelua controlul ecranului aici.
Deci, mai mare, mai bun și mai rapid. Când mă gândesc unde ne aflăm, imaginea care îmi vine în minte personal, este tocmai această imagine pe care am primit-o în diapozitivul meu, care este extinderea universului. Am avut tehnologia să se dezvolte și să crească de zeci de ani, de fapt de la sfârșitul anilor cincizeci, când cadrul principal a devenit un lucru real. Tehnologia a continuat să crească în multe cazuri la o mai mică sau mai mare decât o curbă liniară, în funcție de ce parte a curbei te afli, în ceea ce privește software-ul sau hardware-ul.
Scara a devenit din ce în ce mai mare și din ce în ce mai rapidă, în ceea ce privește ceea ce încercăm să oferim și din ce în ce mai mic la nivel de producție și semiconductor. Și la mijloc există software și aplicații și sisteme care stau la baza acelui software, și au tendința de a deveni din ce în ce mai mici în natură și am văzut lucruri precum aplicații containerizate și servere micro, a devenit din nou un lucru. Am făcut asta în trecut, cu zeci de ani înainte, dar ca urmare a mersului tot mai mic acolo, devenim din ce în ce mai mari la scara cărora putem rula acum lucruri, cum ar fi aplicații și baze de date particulare și logica aceste baze de date.
Am această vedere în care am fost scalate foarte orizontal, în esență axa X; am fost scalate pe verticală pe axa Y. Suntem acum în punctul în care trebuie să mergem undeva diferit, iar în mintea mea este un fel de conceput mental ca axa Z, și este că trebuie să aprofundăm tehnologia și să ne uităm cum putem face lucrurile diferit de ceea ce am făcut până acum, pentru a obține acea viteză suplimentară. Așadar, vizualizez toată această extindere a universului, unde am avut loc o explozie, și există unele tehnologii și această creștere și cerere liniară mai bună. A trebuit să găsim diferite modalități de a obține acel rezultat mai mare, mai bun și mai rapid.
Doar pentru a acoperi rapid felul în care ne aflăm acum în câteva medii hardware. Am văzut că scăderea costurilor unui gigabyte de spațiu pe disc provoacă câteva tranziții și tehnologii destul de mari și abordări la problema pe scară mai mare, mai bună și mai rapidă. Acestea sunt două grafice separate care acoperă aproximativ un deceniu de bucată, puțin peste un deceniu, fiecare dintre prețul scăzut al unui gigabyte de spațiu pe hard disk.
Este o curbă J clasică sau un stick de hochei așa cum ne referim adesea la acestea, în condițiile în care, în urmă cu ceva timp, puteți cheltui literalmente sute de mii de dolari pentru a cumpăra un gigabyte de spațiu pe disc, nu chiar acum două decenii, în timp ce astăzi a devenit dolari și pana la urma sunt sigura ca se va termina, ceea ce vom denumi cursa la zero, va deveni centi. Aceasta a adus o schimbare interesantă în tipul de lucruri pe care le-ar putea face întreprinderile. Și mă refer la asta ca la o perturbare a datelor sau a datelor mari, în special, și prin asta, ceea ce vreau să spun este că am văzut tehnologii, cum ar fi să devenim un lucru în care am putea să ne scalăm foarte orizontal în stocare și tipul de calcul pe care poate aplica la acel spațiu de stocare și modul în care deschide o tehnologie interesantă, deoarece ne permite să facem o stocare paralelă foarte mare, redundantă la cel mai rapid nivel, și piese Hadoop în sine, nativ fiind în măsură să copieze datele într-o scriere o dată citite de multe ori în format și trebuie doar să extindeți lucrurile la un grad aproape liniar.
Și toate companiile de genul acesta se datorează perturbării folosind date mari. Avem companii precum Uber, care este cea mai mare companie de taximetrie din lume. De fapt nu dețin niciun taxi și este o listă lungă aici. Airbnb este cel mai mare furnizor de cazare, de fapt nu are proprietăți imobiliare. Unul dintre preferatele mele este, de exemplu în această listă, unde nu creează conținutul, îl creăm pentru ei, dar sunt de fapt cel mai mare proprietar de media de pe planetă. Avem cele interesante precum băncile cu cea mai rapidă creștere, de fapt nu avem bani. Acestea sunt platforme și bănci de împrumuturi de la egal la egal, iar în Australia există una în special, care are o faimă din ce în ce mai mare, numită SocietyOne. Iar unele dintre băncile majore care trebuie să aibă numerar investesc în acea bancă peer-to-peer. Și parcurgem această listă chiar până la Netflix; de fapt nu dețin niciun cinematograf și totuși sunt în mod efectiv cea mai mare casă de cinema de pe planetă.
Așadar, au ajuns în locul în care au fost, în mintea mea, prin aplicarea tehnologiilor inteligente la nivel de date, pentru că am putea face o stocare mai mare și mai largă la costuri mai mici din cauza prețului scăzut al unui gigabyte de spațiu pe hard disk și am putea aplicați anumite calcule inteligente și distribuiți un model de calcul peste acesta. Aceste companii au avut capacitatea de a crea un avantaj competitiv și de a perturba ca urmare a reducerii costurilor spațiului pe disc.
Am văzut că se întâmplă un lucru similar în costul memoriei. Cu câteva decenii în urmă, dacă aveai șase milioane de dolari în jur, ai putea cumpăra un gigabyte de memorie RAM și am avut o curbă J sau un stick de hochei foarte similar, să aibă loc în reducerea costurilor sau a prețului scăzut al BERBEC. Și asta a provocat câteva lucruri interesante, iar în mintea mea, una dintre cele mai mari perturbări din spațiul respectiv este cantitatea de memorie care poate fi încorporată pe dispozitive, cum ar fi dispozitive mobile, precum telefoane și tablete și chiar laptopuri. Calculatoare în aceste zile, cantitatea de memorie care intră într-un laptop mediu este destul de ridicolă în unele cazuri. În unele cazuri, laptopul meu actual are mai multă memorie decât unele dintre serverele pe care le foloseau nu cu mult timp în urmă.
Acest lucru a adus o schimbare semnificativă la propriu, într-un mod similar pe care o are o memorie RAM în mintea mea, ne-a permis să ne scalăm și să schemăm rapid. Și acum am apărut o tehnologie pe care o numim flash, iar aceasta este o tehnologie care provine inițial de la ceva ce se bazează pe hardware sub forma EEPROM, un cip mic care a fost proiectat pentru a putea fi disponibil, și să scrieți și apoi doar atunci când puterea va fi oprită, va păstra tot ceea ce ați scris pe cip ca stocare persistentă. A fost lent, a fost neplăcut și în acele zile, cred că era în anii 1980-1981 a devenit un lucru. Până în 1984, Toshiba, care cred că a inventat tehnologia, a făcut din ea un lucru comercial pe care l-am putea folosi.
Dar, înainte de mult, oamenii și-au dat seama că ar putea efectiv să ia o combinație de componente care au fost folosite pentru a crea acest concept de EEPROM, o memorie de citire numai, odată ce a fost ștersă și scrisă la ea, și ar putea de fapt să scrie în mod regulat, și utilizați-l un pic mai mult ca spațiu pe disc și ceva mai mult ca RAM. În timp, s-a dezvoltat. Acum această tehnologie de stocare flash a fost o fuziune între stocarea discului tradițional, fie că este vorba de un disc rotativ sau, în unele cazuri, de un disc hibrid de memorie și RAM. Și lucrul esențial este sistemul dintre căci poți să-l citești și să-l scrii, apoi să oprești puterea și să păstreze ceea ce i-ai scris. Așadar, un spațiu pe disc, în mod evident, îi scrii, oprești puterea, iar fusul rotativ și puternic modificat, din lipsă de descriere mai bună, păstrează zerourile și cele pe care i le-ai scris.
În spațiul de memorie cu acces aleatoriu, scrieți ceva în memorie în RAM, opriți calculatorul și totul se șterge, deoarece nu mai există electroni care să-l țină încărcat și să dețină informațiile pe care le-ați scris. În plus, este la mijloc și este extrem de rapid, mai rapid decât discul, un pic mai lent decât memoria RAM. Dar puteți să-i scrieți și să citiți din ea, iar când veți opri puterea, aceasta va persista. Acest lucru a adus câteva tehnologii uimitoare și, în special, am dezvoltat dispozitive mobile și laptop-uri care sunt într-adevăr, foarte rapide și capabile să facă o mulțime de lucruri, iar acum este mutat în spațiul de infrastructură din jurul spațiului de stocare și calculare, iar acest lucru a fost semnificativ. schimbări în ceea ce putem oferi la scară. În felul acesta, cred că axa Z din mintea mea apare acum.
Este aproape la timp în multe feluri, pentru că acum am văzut o perturbare prin ceea ce mă refer la cerere și este faptul că consumatorii au, indiferent de ceea ce se întâmplă în infrastructură și în spațiul tehnologic și capacitatea de a conduce mai repede și calcule mai rapide și performanțe la nivel de infrastructură, consumatorii cer această perturbare sub forma celor menționate acum, experiența celebrității. Toată lumea își dorește fiecare sistem, fiecare aplicație, fiecare site web pentru a ști cine sunt și ce le place și pentru a le putea oferi o experiență personalizată individual. Nu mai este suficient de bun doar pentru a merge pe un site web unde cumpăr bilete de cinema. Vreau să știe ce am mai cumpărat înainte, de ce am cumpărat-o și, eventual, ceea ce oamenii cum ar fi cumpărat și recomand lucrurile mele.
Invariabil, vedem la ce mă refer este o ordine secundară socială, și asta înseamnă că vreau experiența celebrității, dar vreau să socializez și ideea asta, vreau să o împărtășesc cu toți prietenii mei și să le spun ceea ce eu Fac și vreau să știu și eu ce fac prietenii mei. Și aceasta este rezultatul unei cereri explozive de calcul și stocare suplimentară și de transformare rapidă a lucrurilor. Am văzut generația Fitbit, ceea ce numesc urmărire permanentă. Tot ceea ce fac este urmărit, înregistrat și capturat undeva. Am văzut totul în timp real: activități bancare, licitație, motoare de recomandare, care trebuie să poată face față lucrurilor în timp real pe care le fac personal în calitate de consumator.
Și atunci vedem un impact foarte mare, cum ar fi riscurile de securitate din jurul securității cibernetice. A fost că aveam hackeri individuali, apoi aveam bande criminale care se aplică ei înșiși, acum avem națiuni întregi care se duc la război pe internet, ceea ce este un lucru real și se întâmplă de fapt. Fii atent la asta, stai la o parte și aruncă o privire asupra acestuia, deoarece există un impact real în acest sens, iar o parte din banter-ul nostru pre-show a fost în jurul discuției despre riscul de a avea propriul computer sau cel puțin rețeaua ta.
Am văzut acest concept de extragere a entității. Extragerea entității este atunci când trebuie să găsim lucruri de interes în seturi de date foarte mari, în special în jurul fraudelor și activității ilegale și de tip hacker. Dar, de cele mai multe ori, vom vedea că extragerea entității devine un punct focal pentru lucruri bune și lucruri care ne sunt de valoare, spre deosebire de a căuta lucruri care ne atacă.
Am văzut, de asemenea, o explozie, ceea ce se numește date geospatiale. Este vorba despre date care știu de fapt de unde provin sau de unde provin alte date. Îți poți imagina că stai în stradă și vrei să găsești cea mai apropiată stație de parcare sau cel mai apropiat restaurant, aplicații care pot aplica calcule geospatiale și date, calculând date, care știu unde se află în spațiu, este foarte important pentru că trebuie să puteți ști unde sunt alte obiecte și entități și faceți asta rapid.
Am văzut mobil conectat permanent. Chiar și atunci când ne culcăm noaptea, telefoanele noastre încă mai bifează, ne actualizăm, ne verificăm calendarele, ne uităm care este vremea și ne dăm seama dacă ceea ce ne-ar plăcea la micul dejun va fi disponibil. Se întâmplă foarte mult zgomot acolo și asta a creat un impact masiv asupra a ceea ce trebuie să facem în partea din spate și cât de repede o facem.
În general, amploarea și impactul a ceea ce se numește internetul lucrurilor sau, cel mai adesea, conectivitatea de la mașină la mașină, unde dispozitivele vorbesc cu dispozitivele și asta merge până la motoarele legate la o parte a avioanelor care spun avionului în sine sau sistemul de management al avionului, că un rulment al motorului numărul patru se confruntă cu uzură excesivă și căldură și ar trebui înlocuit atunci când aterizăm, iar apoi comunică cu o altă mașină, deci ar trebui să plaseze un comandă și, în mod magic, un inginer apare la zbor în aeroport și este pregătit să îl înlocuiască în timpul alimentării.
Și scara atât de mare și atât de mare încât a trebuit să mergem în ceea ce mă refer la ea, prin accesul la un fel de a face față. Pentru că o lume nouă și binevenită în lumea nouă, o nouă lume a tot ceea ce folosim fiind conectat; a fost odată sateliți și dispozitive de rețea, acum sunt dispozitive mobile și laptopuri, tablete și telefoane și chiar noul meu Audi are un semn încorporat în el și raportează constant asupra propriei sănătăți, dar, de asemenea, se actualizează, și știe unde se află și ce hărți sunt aplicabile și chiar îmi spune când să parcurg o altă rută dacă există trafic pe drum.
Tot ceea ce construim acum, tot ceea ce vă vorbim acum, este conceput pentru a vă conecta și conecta la alte lucruri, nu doar de la mine la sistem, ci de la sistem la sistem și pentru a putea face față trebuie să aplicăm o gândire foarte diferită la nivelul infrastructurii, atât la hardware cât și la software și, în special, la nivelurile de bază de date pe care sistemele trebuie să le sprijine și, în multe moduri, baza de date a devenit motorul, iar aplicațiile sunt cu adevărat doar mici bot care fac lucruri.
Mă voi înfășura rapid aici cu această vedere ușor plină de umor despre felul în care mergem cu aceste lucruri și despre ceea ce mă refer la „IoT la apăsarea unui buton”. A apărut un nou gadget numit „ Amazon Dash Button și acesta este un gadget de dimensiuni mici. De fapt, în multe privințe, este la fel ca unitatea mea USB thumb. Când cumpărați acest lucru, este de aproximativ 4,99 dolari americani online de pe Amazon, vă este livrat, îl configurați cu telefonul mobil și îl atașați doar la unul dintre dispozitivele dvs., cum ar fi un frigider sau o mașină de spălat sau orice altceva. În exemplul mașinii dvs. de spălat, dacă în cele din urmă rămâneți fără praf de spălat, puteți apăsa butonul și acesta va forma acasă și va comanda automat mai mult pentru dvs., iar mai mult va fi livrat către dvs. prin intermediul prietenilor noștri buni de la Amazon.
Pentru mine, acest lucru mă înspăimântă, pentru că va vedea o explozie a unui număr de lucruri care sunt conectate în rețea și încearcă să creeze conectivitate și să genereze cerere. Dacă vă puteți imagina, una sau două dintre aceste lucruri este poate nu atât de înfricoșătoare, dar ultima dată când m-am uitat, au fost peste 110 dintre aceste mărci, așa că aproape fiecare brand de pe planetă va încerca să obțină propria lor apăsare. buton IoT, că te duci acasă și apasă un buton și acesta spune: „Comandați-mi o pizza.” Apăsați un alt buton și comanda mâine un prânz pre-construit pentru copiii dvs. pentru școală.
Aceasta conduce la o cerere atât de masivă de transformare în partea din spate, la nivelul aplicației, în special la nivelul bazei de date, încât cred că am văzut doar vârful aisbergului de tipul de transformare a performanței pe care trebuie să o vedem . Și cu asta, o voi înmâna doctorului Robin Bloor și voi pune la cunoștința lui un fel de loc în care ne aflăm.
Rebecca Jozwiak: Bine Robin, ți-am trecut mingea.
Robin Bloor: Nu este bine? Bine, aici mergem, eu sunt. Am văzut prezentarea lui Dezs înainte de a veni la aceasta, așa că aș spune lucruri care sunt complimentare, mai degrabă decât să repet câteva dintre lucrurile pe care le-a spus Dez. Am crezut că voi vorbi despre evoluția bazelor de date în ceea ce privește ceea ce s-a întâmplat de fapt cu arhitectura și așa mai departe și mai departe, a bazelor de date dintr-o perspectivă istorică.
Problema fundamentală pe care o are orice furnizor de baze de date este menținerea unei arhitecturi flexibile care scalează și ține pasul cu evoluția hardware. Voi vorbi despre asta, dar când veți privi înapoi și veți vedea modul în care obișnuiau să fie construite bazele de date și modul în care sunt construite acum, acestea sunt în mod semnificativ diferite de ceea ce aș numi designul arhitectural . Merită doar să analizeze de ce este vorba sau cel puțin cred că așa este. Factorii hardware și Dez ne-au oferit o rezoluție deosebit de bună a nivelurilor inferioare din punct de vedere al memoriei și al discului. Ce avem acum și acesta este viitorul, Intel este următorul, CP care va avea un FPGA pe el. Ce vor face oamenii cu asta, nu am un indiciu. AMD contopește procesoare și GPU-uri și ce diferență va face asta? Acestea sunt tipurile de schimbări care de fapt vor face diferența în baza de date și bănuiesc că Aerospike, printre altele, deoarece Aerospike este determinat de performanță, probabil că deja aruncă o privire și lucrează acolo unde crede că va merge de fapt. cu modul în care funcționează produsul.
Avem un sistem pe un cip care nu a decolat încă. SSD-urile despre care știm, dar ideea este că acestea cresc de fapt în viteză, aproximativ rata legii lui Moore, un factor de 10 la fiecare șase ani. Însă Intel este pe cale să elibereze punctul 3D, care susține că poate merge de peste o sută de ori mai rapid decât SSD-urile, de fapt, un fel de picături în mix, atunci asta va schimba viteza cu care produsele de genul Aerospike pot efectiv. merge.
Atunci am obținut arhitecturi hardware paralele, cu alte cuvinte în modul în care am construit hardware în sensul - inițial era doar un procesor așezat pe memorie, care stătea pe disc, dar a devenit mult mai complicat decât atât. Ideea unui sistem pe un cip este că de fapt puteți avea paralelism cip pentru a cip la cip și a face ca totul să meargă cu o viteză extraordinară și nu avem idee exact care dintre aceste produse vor domina de fapt.
Aceasta este doar o privire asupra viitorului, dar la nivel de hardware performanțele se accelerează și costurile continuă să scadă, cam așa cum sunt descrise Dez. Procesoarele dvs. nu sunt neapărat mai ieftine, ci doar primesc și mai departe.
Din perspectiva afacerii, în unele situații, și acestea sunt situații de piață, fiind primul care este valoarea afacerii. Dacă în special - dacă sunteți absolut convins că un anumit stoc va scădea în preț, prima persoană care primește comanda de vânzare primește cel mai bun preț. Este chiar atât de simplu. Prin urmare, există o cursă tehnologică care continuă la tranzacționarea automatizată la bănci pentru a încerca efectiv să câștige aceste situații. Ce s-a întâmplat după asta? Ce se întâmplă după ce băncile și-au făcut treaba cu toate acestea? Începeți brusc să vedeți că alte zone se infectează cu același tip de nevoi pentru viteză.
Într-adevăr, ceea ce se întâmpla, este că ființele umane au fost eliminate din ecuație, iar asta s-a întâmplat cu publicitatea pe internet foarte repede. Dar lucrul a fost că nu este tranzacția specifică, execuția metodelor, acesta este un întreg proces de afaceri, este faptul că o pagină web tocmai a fost eliminată și trebuie luată o decizie care poate fi o decizie destul de complicată, în ceea ce privește ce reclamă să pună efectiv pe pagina respectivă, deducând de la cine este utilizatorul browserului, care ar fi cel mai potrivit anunț pentru a face asta, etc. A devenit un lucru foarte complex și o voi menționa din nou.
Dar ideea este că performanța și scalabilitatea procesului de afaceri, nu este aceeași problemă ca și performanța și scalabilitatea unei capacități de interogare, iar acest lucru este foarte bine știut, din cauza unei camere de informare recente pe care am făcut-o cu Aerospike că acestea de asemenea, suntem conștienți de. Un alt lucru, atunci când lucrați efectiv la aceste viteze, proprietățile activelor contează pentru o tranzacție, orice procesare a evenimentelor. Chiar contează. Așadar, o mulțime de lucruri pe care le fac unele baze de date, care pierd o scrisoare sau două din activ, pot funcționa destul de bine în cont - acest lucru va funcționa bine în conținutul despre care vorbim. Nu este acceptabil, sincer.
Din perspectiva tehnologiei, te uiți de fapt - știu că există două tipuri de pârghie, pentru a crea tipul de arhitecturi care sunt de fapt necesare pentru a da felul de viteze pe care le poate face, cum ar fi Aerospike, pot face un milion de tranzacții pe secunda. Trebuie să fii foarte precis în ceea ce privește dezvoltarea software-ului. Nu poți doar să piratezi. Trebuie să vă preocupați lungimile traseului codului. Trebuie să folosiți excelent în memorie și de fapt optimizați tranzacții întregi. Aveți nevoie de paralelism inteligent și, de asemenea, aveți nevoie de paralelism cu siguranță. Trebuie să creșteți mai degrabă decât să extindeți dimensiunea, deoarece imediat ce veți implica rețeaua în orice lucru, acesta devine indicatorul cel mai probabil pe care îl veți atinge în latență și va începe să facă tranzacțiile prea lente.
Trebuie să ajungi cât mai mult pe orice informație cunoscută dintr-o rețea înainte de a efectua o scară largă și nu vrei să faci o scară rapidă, nu vrei foarte multe procese. Doriți o rețea care nu este utilizată de nimeni altcineva. Și vrei să ai o rețea incredibil de rapidă.
Stocarea SSD accelerată este ceva - de fapt cred că cea mai mare parte a acestui lucru se aplică la ceea ce face Aerospike. Unul dintre lucrurile interesante este că este o bază de date NoSQL. Se credea - nu știu, cu câțiva ani în urmă - se credea că baza de date relațională era singura bază de date și domina totul și era doar această situație ciudată de nișă în care nu trebuia să mergi. relațională. Acum este cam întors pe cap. Este baza de date rapidă care se află pe bazele de date SQL și unul dintre motivele pentru care, motivul principal, este acela de a evita alăturarea datelor, stochează datele într-un mod obiect. Când ați terminat cu un obiect, îl stocați și apoi trageți întregul obiect înapoi, nu va uni lucrurile împreună pentru a le procesa efectiv. Aceasta este despre viteză. Aceste tipuri de tehnici care generează viteză în baza de date.
Acesta este urmele lacrimilor, acesta este ceea ce s-a întâmplat cu baza de date. Povestea sau narațiunea bazelor de date relaționale era sfârșitul unei baze de date, de fapt nu era adevărată. Chiar și atunci când au început să ajungă la dominare, era încă necesar. Bazele de date cu obiecte au făcut tranzacțiile anterioare în acele zile, deoarece bazele de date relaționale nu le-au putut efectua, iar apoi s-a dovedit că bazele de date relaționale folosind magazine rânduri, nici nu au putut face interogări rapide, aveți nevoie de magazine de coloane. Și atunci am descoperit că, dacă ai dori să efectuezi interogări grafice cu privire la date, nici un depozit de coloane și nici o bază de date relațională nu ar fi bune, și de fapt trebuia să ai o bază de date specifică pentru grafic. Apoi au apărut bazele de date RDF și de îndată ce ați început să luați în considerare sensul semanticii și am obținut bazele de date NoSQL în foarte, foarte specific pentru viteză. A le numi NoSQL este aproape ca și cum ai marca toate aceste baze de date ca și cum ar fi aceleași, de fapt, acestea sunt radical diferite în ceea ce se află dedesubt. Singurul motiv pentru care poartă numele NoSQL este că nu dau naibii despre SQL, deoarece este prea scump. Latențele tranzacției de care au nevoie.
IoT - pe care am crezut că îl voi termina în același punct pe care l-a terminat Dez - nu s-a terminat, toată această situație din punct de vedere al vitezei și al cerințelor de latență, nu s-a terminat până când doamna grasă va începe să dezgusteze acest lucru date și încă nu a început. Multe dintre aceste date vor dori să aibă latențele pe care le-am indicat, așa că cred că sunt tot ce am de spus. Lăsați-l să transmită Aerospike și Brian Bulkowski.
Brian Bulkowski: Bună, mulțumesc mult pentru alăturarea grupului Bloor și mie pentru prezentarea de astăzi. Mă gândesc la ce vorbeau Dez și Robin, aș dori să vă spun un pic despre traseul pe care Aerospike l-a luat în furnizarea de noi tehnologii de baze de date și tehnologie de baze de date NoSQL pentru o serie de industrii. A fost o cale minunată. Am început Aerospike în 2008, văzând o mulțime de tendințe menționate de Dez și Robin. Mai exact despre bazele de date în memorie, care pot profita de flash, precum și tipul de sisteme cloud-scale, și tipurile de scară necesare pentru personalizare, analize de comportament și felul de experiențe VIP celebritate despre care s-a discutat.
Când am abordat problema unei baze de date care era o bază de date operațională front-end, care era capabilă să ofere suportul pentru aplicațiile care ar putea fi scrise pentru a rezolva acestea, am început cu problema cum am putea construi în esență o tabelă de hash distribuită, de memorie. -tabel de hash distribuit care a fost uimitor de rapid și capabil de lucruri precum milioane de tranzacții pe secundă, dar la un preț rezonabil. Când am terminat prototipul, ne-am dat seama că atunci va trebui să ne dăm seama cine ar putea avea nevoie de acest tip de viteză. Fiind o companie din Silicon Valley, am constatat rapid că era într-adevăr industria de publicitate care era capabilă să consume acest tip de informații și era interesată de aceasta, și aș dori să petrec o secundă vorbind despre licitarea în timp real și despre modul în care aceasta piața funcționează.
Robin a menționat cum funcționează tranzacționarea financiară, care este prima tranzacție este adesea tranzacția câștigătoare și, în esență, există un timp pentru comercializarea latenței și o valoare a latenței. Industria publicității este ușor diferită, într-un mod interesant, deoarece obiectivul în publicitate este particular - ceea ce se numește impresie, capacitatea de a publica un anunț - este o licitație, iar licitația se desfășoară între zece milisecunde până la cincizeci de milisecunde. Numele jocului și există adesea sute de companii care licitează în timp real la fiecare anunț care este plasat pe internet, este să obțină cea mai mare cantitate de date și să aducă cei mai buni algoritmi de suportat în acea zece până la cincizeci de milisecunde peste cea mai mare cantitate de date.
Această schimbare și schimbare s-a petrecut în industria publicitară, în fiecare dintre acele mici milisecunde, au o complicație limitată de timp cu cei mai buni algoritmi pe cea mai mare cantitate de date și trebuie să faceți că reuniți o mulțime de bucăți mici de date. Informații recente despre adresa IP, informații recente despre o anumită categorie de dispozitiv, informații recente despre comportamentul site-ului, termeni de căutare recente, toate ar intra în sosul secret al algoritmilor unei anumite companii pentru a determina un preț și o ofertă.
Aceasta a fost o piață fascinantă din care face parte. Am făcut prima noastră desfășurare la Aerospike în 2010 cu unele dintre primele companii care lucrează serios în cadrul economiei de licitație în timp real și apoi am obținut, practic fiind acel magazin frontal de date comportamentale, pentru majoritatea companiilor din spaţiu. Ceea ce am descoperit de atunci și este o arhitectură particulară pe care o voi detalia pe parcursul prezentei prezentări, este că totul s-a întâmplat în 2010, 2011, 2013 și continuă să evolueze. Publicitatea este o piață foarte dinamică.
Dar acest tip de experiență VIP, vă puteți gândi ca plasând anunțul potrivit, nu plasând un anunț pentru produsele pentru copii, pentru că nu se întâmplă să am copii, așa că nu voi avea un anunț eficient dacă este plasat pe Asta, dar dacă este vorba despre mașini rapide, acesta este genul de reclamă pe care să îl plasezi Brian. Aceasta este într-adevăr genul de experiență VIP în tranzacții, indiferent dacă faceți discount sau nu, dacă sunteți pe un site de vânzare cu amănuntul, chiar și în detectarea fraudelor. Acesta este modelul normal al unei anumite persoane sau al unui anumit card de credit? Toată acea formă de tehnologie de analiză în timp real, de predicție comportamentală, de analiză predictivă, este acum eliminată din industria publicitară, care o face acum pentru câțiva ani pentru distracție și profit, și intră cu adevărat în retail și bancare, și detectarea fraudei, etc., printr-o arhitectură particulară. Așadar, Aerospike a fost privilegiat să facă parte dintr-o serie de cazuri.
Arhitectura pe care o vedem funcționând și practic pentru a face acest lucru este una în care în loc să creăm un set de interogări de la un server de aplicație, în schimb să mutați mai mult din calculul dvs. în serverul de aplicații însuși, apoi să folosiți o bază de date ca esențial ca stocare motor pentru genul de obiecte despre care vorbea Robin. În acest caz, aceste arhitecturi, în primul rând, nu confundă asta cu analitica dvs. reală de aici. În partea dreaptă a acestei diapozitive vedeți că există încă o analiză aici pentru a genera informații. Acestea sunt locuri de muncă care deseori lucrează pe petabytes, zeci de petabytes de date, chiar exabytes în cazurile unora dintre clienții noștri mari, folosind o varietate de tehnologii. Trebuie să aveți o echipă mare de date, o echipă de analiză, o echipă cantitativă în spate, care să dea seama ce contează, să spunem, coordonatele geospatiale, ce modele funcționează în ceea ce privește găsirea relațiilor respective și crearea experienței VIP. Aceasta este o problemă întreagă în sine și nu una la care a participat direct Aerospike și există o grămadă de tehnologii grozave atunci când aveți de-a face cu acest tip de sistem.
Ceea ce ne-a entuziasmat și am lucrat cu industria este, odată ce ai aceste idei, cum te angajezi în tipul de tranzacție între mașină sau mașină rapidă, în care iei aceste informații și faci ele sunt reale pentru fiecare persoană, moment cu moment? Arhitectura pe care am văzut-o folosind aceasta este una în care există un server de aplicații care este scris și face toate aceste aspecte matematice și analizând modelele pe care le-ați creat, analizând comportamentul recent și făcând asta peste o paradigmă esențială sau cel puțin un tip de sistem foarte interogatoriu.
Când aveți de-a face cu tipurile de tipuri de date despre care vorbim, despre tipurile de fluxuri despre care vorbim, cu milioane de scrieri pe secundă, milioane de citiri pe secundă, milioane și sute și mii de decizii pe în al doilea rând, construirea de indexuri complexe, indici multidimensionali, pur și simplu nu funcționează foarte bine, nu este scalabilă. Modul de a realiza această formă de scară este de a angaja mult paralelism. Vom vorbi puțin despre cum facem asta mai târziu. Dar o parte din acesta este un server de aplicații apatride scris în propria limbă.
Ceea ce vedem deseori este un proiect particular care presupune un nou cadru de aplicații bazat pe oamenii care lucrează acolo, tehnologia pe care o folosesc și problema pe care o abordează. Am văzut oameni care folosesc Python, o mulțime de oameni folosesc Java, vedem în continuare programatori C, deoarece multe dintre acestea sunt în continuare performanțe, poate chiar folosesc lucruri precum bibliotecile vechi MATLAB. Și trebuie să atingă mii și mii de puncte de date pe secundă pentru a lua o decizie eficientă.
O întrebare pe care mi-am pus-o uneori este: „Ei bine, Brian, dacă ești capabil de milioane de tranzacții pe secundă, cine are nevoie de asta?” Dacă te uiți, de exemplu, la procesarea plăților din America de Nord și Aerospike este implicată cu soluții care depistează frauda în sistemul respectiv și sprijină scriitorii de aplicații care fac unele lucruri foarte inovatoare în detectarea fraudei, există doar câteva mii de tranzacții de plată pe secundă care curg prin chiar și cel mai mare procesator de plăți. Și totuși, când prima companie a venit la noi și a spus că se uită la utilizarea NoSQL și au vrut să vadă cum va arăta soluția noastră care stă la baza aplicației lor, au spus că vor să atingă 5.000 de date într-o fereastră de 750 de milisecunde. Acum, dintr-o dată, ai câteva sute de tranzacții comerciale și câteva mii de date de luat în considerare în fiecare calcul, iar acum te afli în zona de a avea nevoie de milioane de tranzacții pe secundă.
Cazul - anularea publicității pentru o secundă, cazul fraudei este fascinant, deoarece acolo unde sunt bani, există fraude și prevenirea în timp real a fraudei, spre deosebire de a încerca să rezolve analitic după ce s-a întâmplat o fraudă, este într-adevăr un este important să aduceți online cât mai multe date și puteți gândi la acestea ca o reflectare a acelei experiențe VIP. Această persoană se comportă într-un mod în care nu se comportă de obicei? Și astfel, șansele ca acesta să fie un sistem fraudulos, și nu de fapt această persoană, crește. Această persoană accesează de obicei printr-un anumit dispozitiv sau set de dispozitive, cu un anumit set de rezoluții de ecran? Expun de obicei un anumit tipar de cumpărături comportamentale? Poate că putem înșela frauda în bud în timpul tranzacției în sine. Acest lucru ar trebui să vă reamintească foarte mult felul de lucruri care se întâmplă în cadrul unei tranzacții în sistemul de publicitate.
Tipurile de sisteme pe care le rezolvăm sunt cele în care fiecare procesator de plăți individuale are o echipă mare de date, au o mulțime de date istorice, creează modele noi, nu ne împărtășesc cu noi la Aerospike toate modelele, pentru că sunt într-adevăr un sos secret. Dacă sunteți abonat la Gartner și l-ați auzit pe Gartner vorbind despre economia algoritmilor, acesta este un algoritm și o companie care luptă din cap în cap pentru a reduce frauda și pentru a reduce numărul de tranzacții de succes, pentru că de asemenea nu doriți pentru a bloca tranzacțiile. Acesta este tipul de proiecte pe care le căutăm în Aerospike la aceste niveluri de scară.
Un alt caz la care am lucrat cu companii de servicii financiare este cel numit Sistemul de înregistrare intraday. În acest caz, ceea ce se întâmplă este, genul de experiență mai bogată, chiar și într-un sistem de comerț cu amănuntul, este una în care vreau să pot privi poziția mea particulară și vreau să o fac extrem de exact. Nu vreau să prind în fața sistemului meu DB2. În schimb, vreau să mă uit la datele exacte, și între dispozitivele mobile, dar și lucruri precum recalcularea riscului, recalcularea riscurilor ar trebui să se facă acum minut cu minut, doriți să puteți recalcula riscul everyones, precum și riscul global, riscul sistemic în întreaga companie în câteva minute.
Și din nou, este aceeași problemă. Fiecare cont care este un anume, gândiți-l la o căutare a valorii cheie a unui anumit obiect, apoi acest lucru poate fi realizat în paralel și, cel mai important, această paradigmă vă permite să scrieți codul și algoritmii dvs. într-un limbaj la nivel înalt, ceea ce este mai ușor de depanat și mai rapid timp pentru comercializare. În această economie de algoritmi, trebuie să pot să-mi aduc algoritmii online acum. Aceasta este o problemă foarte diferită pentru modelare și relații de afaceri, la care sistemele relaționale sunt foarte bune. Când aveți un tabel de piese și acele părți sunt asociate cu comenzi, iar acele comenzi sunt asociate cu persoane, veți avea un proces de afaceri care poate fi modelat strict și probabil nu se va schimba pe toată durata vieții. Cu toate acestea, un nou algoritm pentru a găsi un nou model de fraudă trebuie scris cu exactitate și rapiditate și să fie pus online, luând decizii de afaceri în cel puțin câteva zile, dacă nu chiar mai repede. O soluție NoSQL pentru acest tip de sistem de înregistrare este într-adevăr un sistem uimitor pentru acești tipi, deoarece le permite să ingească rapid datele, precum și să construiască noi algoritmi, deci nu doar o nouă experiență a clienților în abordarea mobilului, ci într-adevăr construirea unei mari varietăți de noi aplicații.
Ceea ce vedem pe termen lung la Aerospike este faptul că fiecare tip de bază de date, fiecare dispunere fizică a datelor de pe disc are propriile componente, iar la Aerospike suntem într-adevăr concentrați asupra acestei valori cheie sau a unui sistem orientat spre roluri, după cum a spus Robin , cu consistență tranzacțională ridicată, și permite cu adevărat oamenilor cum ar fi magazinele de coloane și lacurile de date cu volum mare, precum și sistemele tranzacționale hardcore care au avut restricții de raportare și asupra lor. Îi vedem pe toți care trebuie să se alimenteze într-o varietate de motoare de interogare diferite. Vedem unele dintre motoarele de interogare bazate pe JSON. Vedem lucruri precum căutarea elastică, vedem Spark, toate având nevoie de diferite soiuri în momente diferite ale lucrurilor, cum ar fi magazinele de coloane, precum și magazinele de rânduri, de unde Aerospike excelează.
Vedem cu adevărat că aceste tipuri diferite și industria ajunge într-un punct în care alegerea celor mai bune rase din fiecare dintre acestea va fi o necesitate. Din păcate, datorită realității analizelor pe termen lung și a joburilor lotate versus analitice și a constrângerilor operaționale, probabil că nu vom ajunge la punctul de a avea o singură dimensiune, potrivită pentru toate, dar vom ajunge la punctul de a putea pentru a alege clar între unele aspecte principale ale datelor.
Permiteți să vorbim un minut despre inovația flash-ului. Încă îmi primesc întrebarea, chiar dacă am comentat mai devreme, flash-ul este cu noi acum de multă vreme. Când am început Aerospike în 2009 a fost când, cred, 2009, poate, da, 2009 a fost când Intel a ieșit cu X25, care a fost cu adevărat prima unitate de stocare flash SATA de pe piața de masă și existau mai multe sisteme flash înainte de asta , dar într-adevăr aceasta a fost cea care a pătruns într-o mulțime de conștiință a tehnologiei. Fusion-io a adus într-adevăr flash pe piața mai largă a întreprinderilor.
Ceea ce se întâmplă acum este apariția unui sistem numit NVMe. NVMe este un standard similar cu SATA sau SAS sau chiar SCSI care permite diferiților furnizori de carduri să interopere cu driverele din cadrul sistemului de operare la un nivel ridicat de eficiență. Prin urmare, creează un nivel de performanță mai mare, în primul rând pentru că NVMe se bazează pe PCIE ca transport de bază, care este mult mai rapid decât SATA, SAS sau orice altceva, dar permite și șoferii de cea mai bună calitate.
De exemplu, în Linux, există acest tip Jens, iar Jens este ghidul NVMe, Jens Expo, și el face o treabă mai bună decât orice alt individ Intel sau Fusion-io ar fi putut face cu șoferul lor individual, cu toate resursele lor. Când aveți puterea ca sistemul propriu de operare să poată construi cel mai bun driver, vedem niște niveluri de performanță cu adevărat uimitoare. Toate acestea susțin ideea că flash-ul poate oferi într-adevăr multă latență scăzută a memoriei RAM.
Acum, Aerospike este încă o bază de date RAM excelentă datorită modelului său de cluster, cu toate acestea, descoperim că odată ce faceți un hop de rețea, pe care trebuie să îl aveți la dispoziție pentru stocare scalabilă, cheltuiți deja cel puțin cinci până la 50 de microsecunde, 70 de microsecunde suplimentare de NAND nu sunt de obicei un impediment și, la fel de bine, puteți utiliza blițul, având în vedere faptul că blițul NAND, având în vedere că rețeaua este deja implicată în asta. Mulți oameni se întreabă apoi despre cum - totul sună minunat dacă îți cumperi propriul hardware, cum merg norii publici? Cred că veți găsi chiar acum, indiferent de nor public pe care îl utilizați, norii publici au oferte flash foarte puternice. Difera un pic de la furnizor de cloud la furnizor de cloud. Amazon are instanțele sale I2 care s-au stins pentru mine cred că acum un an, doi ani, sunt niște dispozitive flash de calitate destul de înaltă, iar Aerospike are modelul de implementare deasupra.
Aș dori să sun în mod special Google Compute, Google Compute Engine, Google Cloud, deoarece, în experiența noastră, până acum au unele dintre cele mai performante dispozitive și unele dintre cele mai flexibile în ceea ce privește modelele de implementare. Dar, de asemenea, vedeți noi modele de implementare, cum ar fi Pivotal, care este un fel de public / privat, astfel încât să puteți face aplicații Pivotal potrivite atât locuri care acceptă bliț și care acceptă dispozitive de stocare diferite, cât și modele Docker. Deci, într-adevăr, acesta este un punct din istorie în care blițul nu este disponibil doar pentru a vă cumpăra și a-l pune în centrele de date, ci a scufundat într-adevăr pe toți furnizorii de infrastructură, deoarece este într-adevăr cel mai bun mod de a obține sisteme IOPS cu un nivel ridicat de o latență foarte rezonabilă.
Un singur moment despre Aerospike - Aerospike este o bază de date distribuită prin cluster, ceea ce o face foarte aptă pentru implementările în stil cloud, precum și pentru centrele de date. Constatăm că flexibilitatea de a putea adăuga mai multe date și mai multe performanțe este absolut necesară în aceste tipuri de aplicații noi nete, deoarece începeți un proiect, nu știți dacă aveți nevoie de cincizeci de mii de tranzacții pe secundă, o sută de mii, un milion, două milioane, deci doriți să vă oferiți un spațiu capabil de a putea adăuga servere. Și totuși, doriți să faceți o scară mai mare, astfel încât fiecare server să poată fi rapid de unul singur. Nu vrei cu adevărat să termini cu cinci sute sau o mie de servere care sunt servere de bază de date care sunt lente. Scale out nu este singurul joc din oraș, se extinde și se extinde, așa cum spunea Dez mai devreme, există o nouă axă Z.
Sperăm că asta vă oferă câteva idei noi despre modul în care viteza și scara se adresează noilor piețe și poate există proiecte la care lucrați unde veți putea lua în considerare construirea de aplicații mai bogate și utilizarea unui cadru de aplicații cu o cheie mai importantă baza de date valoare sau NoSQL de sub ea. La Aerospike, am văzut cu siguranță că mulți dintre clienții noștri și mulți dintre utilizatorii noștri open source reușesc cu acest model și aștept cu nerăbdare ca industria să o adopte într-o măsură mai mare.
Rebecca Jozwiak: Mulțumesc mult Brian și sunt sigur că Dez și Robin au câteva întrebări bune pentru tine. Robin?
Dez Blanchfield: Mă bucur să sar. Robin, ai o întrebare? În caz contrar, pot să încep unul rapid.
Robin Bloor: Scuze, am fost mut. Am scufundat înăuntru, dar nimeni nu m-a auzit. Mi s-a pus imediat întrebarea, deoarece acesta este un set foarte sofisticat de capacități tehnologice. În ceea ce privește clienții existenți, care este tipul de escaladare sau rata de tranzacție pe care o întâlniți cu privire la unele dintre aceste aplicații publicitare? Rata tranzacției continuă să crească? Și dacă da, la ce fel de tarif?
Brian Bulkowski: Întrebare interesantă, Robin. Fiecare industrie are propria sa curbă în fiecare companie. Să luăm publicitate din America de Nord, în 2012, publicitatea din America de Nord a fost probabil mai aproape de 200.000 de anunțuri pe secundă, într-un fel de intraday standard, nu la timpul meu, iar acum s-a escaladat probabil la aproximativ trei-cinci milioane de anunțuri pe secundă. Dar atunci s-a întâmplat un lucru interesant. Industria publicitară a început să abordeze unele probleme de fraudă, iar părțile din industrie care sunt capabile să blocheze frauda, au văzut că ratele tranzacțiilor au scăzut puțin, aproximativ un factor de doi, în cadrul unor clienți mai sofisticați care au putut determina frauda. Bineînțeles, trebuiau să facă unele căutări în baze de date pentru a bloca frauda, astfel încât în cele din urmă se ajunge la fel ca la fel.
Un caz de utilizare interesant este în telecomunicații, nu am menționat cu adevărat că, telecom a văzut tranzacțiile crescând din cauza facturării pe baza fiecărui pachet care trece prin rețeaua de telefonie mobilă. Pe vremuri, aveam înregistrări detaliate despre apel și, o dată pe minut, un apel, ce știi, un pic de ping ar trece prin rețea și mai rămâne acest tip? Acum trebuie să construim și chiar să realizăm un traseu bazat pe fiecare pachet de pe internet. Este un lucru rău într-o rețea mobilă, care este acum dintr-o dată milioane de pachete pe secundă și ceva care crește de mai multe ori. Deci, un caz este că fiecare aplicație conduce un fel de 2X pe an. În cadrul unor clienți, vedem: „Dar așteaptă, am o aplicație nouă. Vreau să adaug unele fraude riscului meu. Vreau să adaug o experiență mai profundă a clienților la frauda și riscul meu. ”Fiecare dintre ei creează o nouă încărcătură în baza de date de bază.
Robin Bloor: Da, vreau să spun că cred că la asta am sugerat în scurta prezentare pe care am oferit-o, că acestea - ne-am gândit că o tranzacție este, cineva face ceva și poate că există o cascadă de evenimente și totul se înregistrează, iar acum o mulțime de tranzacții au o sumă imensă de căutare și ați dat câteva exemple în prezentare. Prin urmare, nu mai executați de fapt o tranzacție, executați de fapt un fel de aplicație care poate avea multe, multe elemente.
Cealaltă întrebare înainte de a o transmite lui Dez - pentru că, evident, facem echipă pentru acest lucru - cealaltă întrebare la care aș dori să răspundeți dacă aveți un răspuns rezonabil la aceasta, este atât Dez, cât și aștept internetul de Lucrurile sau Internetul a tot ceea ce este numit uneori pentru a crea o cantitate destul de dramatică de trafic tranzacțional. Poți vorbi cu asta? Aceasta este experiența ta, ai clienți care vin la tine cu un fel de problemă specială și care este părerea ta în acest moment?
Brian Bulkowski: Sigur, cred că există o mică confuzie și asta ar trebui să spun mai ușor despre Internet of Things. Clienții pe care îi văd până acum aduc pur și simplu internetul la lucrurile pe care le au. Gândiți-vă la acele butoane Amazon - este tot Amazonul - acele butoane, nu le puteți recondiționa și puteți să le accesați la Walmart online. Nu este ca un browser care poți amesteca și potrivi totul. Pe de altă parte, mașină-mașină se întâmplă, iar atunci când conectați mașina Tesla pentru a o încărca, Tesla are un flux de informații uriaș, fiecare senzor în mașină, dar se varsă în computerul Tesla pentru analiză și calitate îmbunătățită . Ceea ce văd este, toate acelea de la mașină la mașină și toți senzorii din cadrul unei companii individuale, creând noi cerințe.
Acum, mai ales astăzi, se varsă în aceste sisteme analitice și iau în considerare cazul Tesla; În primul rând, Tesla a folosit acest lucru, pentru a înțelege, a fost îmbunătățirea duratei de viață a bateriei, la rubrica „Ce temperaturi operaționale sunt, care sunt sarcinile? Să ne uităm la el, să proiectăm o baterie mai bună. ”Dar apoi încep să se gândească și asta este totul minunat, asta este un fel de problemă profundă de analiză care este fascinantă, următoarea întrebare este:„ Cum îmbunătățesc experiența din moment în timp ?“
Acum să luăm cazul ca Nest, unde încercați să faceți analize predictive pentru a schimba temperatura temperaturii unei locuințe momentan. Acesta este tipul de caz în care începem să vedem în Aerospike, unde există acest imens lac de date și există aceste procese analitice uriașe, dar ce voi face acum? Va trebui să păstrez, gândiți-vă la numerar, o parte din ultima săptămână, ultima lună, poate chiar și în ultimele zile în valoare de informații, probabil la întoarcere, deoarece avem de-a face cu senzori simpli dispozitive și eu voi face un set de analize pe moment pentru a schimba experiențele. Acest tip de experiențe asemănătoare cu Nest, una pentru care văd cazurile de utilizare Aerospike.
Robin Bloor: Bine, lucrul pe care îl așteptam cu Internetul Lucrurilor, a fost acela că veți începe să obțineți praguri și că vor începe să creeze cascade de evenimente. Ați văzut ceva de genul acesta sau nu ați văzut încă nimic?
Brian Bulkowski: Dez și cu mine eram - tocmai ceream părerea lui Dezs despre asta atunci când discutam în prealabil. Ceea ce nu am văzut încă este genul de cascadă a datelor unei companii care se încadrează într-o altă companie, că frigiderul meu Samsung vorbește cu mașina mea de spălat LG pentru că tocmai mi-a dat seama că am vărsat o grămadă de ciocolată pe tot podeaua, deci acel tip de companie de la dispozitiv la companie după dispozitiv, cred că încă aștept asta în ceea ce privește Internet of Things. Cred că există unele probleme în afaceri și securitate, care sunt în mare parte non-tehnice, care trebuie să fie răspuns pentru a vedea acest lucru.
Robin Bloor: Bine, Dez?
Dez Blanchfield: Am câteva opinii foarte puternice asupra acestui ultim punct de fapt, pe care îl voi aduce pe scurt doar în discuție. Cred că de multe ori afacerile și tehnologia cred că de fapt conduc de unde vine cererea, dar când ne uităm la ce s-a întâmplat când iPhone-ul a devenit un lucru, și în mintea mea a fost un fel de primul dispozitiv mobil, dacă veți ierta pun, dar un dispozitiv care ar putea fi transportat, care poate rula de fapt o mulțime de aplicații mici în buzunar și a adus o transformare semnificativă în ceea ce am crezut despre a fi un computer. Mulți oameni se gândesc la iPhone-uri sau smartphone-uri sau telefoane Android ca telefoane, dar nu sunt, sunt de fapt doar un mic computer care rulează aplicații, iar una dintre aplicațiile pe care le rulează face apeluri și nu sunt cele apeluri la care ne mai gândim, nu sunt un apel punct-la-punct analog, după cum a subliniat Brian, sunt mici pachete care se învârt.
Dar de cele mai multe ori, ceea ce am văzut este că această insurgență a smartphone-urilor nu este de fapt folosită pentru a efectua apeluri care de multe ori, probabilitatea de 98% din ceea ce fac pe smartphone-ul meu nu este să fac apeluri. Este totul, în afară de apeluri, este de aplicații. Cred că acest efect în cascadă - și sunt dornic să aduc asta rapid la o întrebare - dar efectul în cascadă este de fapt provocat de consumatori și, de fapt, am această linie pe care o arunc destul de des pentru a obține o grămadă de CXO-uri. stând în cameră și acordând atenție dacă cred că adorm odată cu prezentarea pe care o fac, ceea ce nu se întâmplă prea des, sperăm.
Am spus-o în acea perturbare pe care o vedeți în afacerea dvs., de fapt nu este condusă exclusiv de tehnologie, ci este mai des decât să fie condusă de clienții dvs. Și ei stau să se ridice și se întreabă de fapt, ce înseamnă el acolo? Așadar, când mă gândesc la utilizarea tehnologiei, vreau să spun că am văzut USENET, am văzut toate aceste tipuri de lucruri distractive care se petrec pe internet, dar nu multe persoane au prezis social și impactul acesteia.Toată lumea care dorește să spună tuturor ce a avut la micul dejun și zgomotul creat de asta și tehnologia backend pe care am avut-o, și, desigur, publicitatea încearcă să o completeze cu lucruri.
Cred că vom observa un efect în cascadă până la un punct în care dispozitivele vorbesc cu dispozitivele, consumatorii sunt doar la curent cu ceea ce înseamnă de fapt și ce pot face asta. Ați ridicat un punct interesant în legătură cu motivul pentru care butonul Amazon nu va vorbi cu Walmart. Voi posta această întrebare, ce se întâmplă când Walmart va primi propriul buton, și atunci ce se întâmplă dacă primele douăzeci de amazoane, Walmarts și alte rețele majore de distribuție și retail vor primi propriile butoane? Unde ne duce asta? Mai exact, întrebarea mea cu Brian va fi: „Unde mergem cu această paradigmă cu totul nouă a performanței? Vă aflați la marginea sângerării și lucrați cu companii care o fac atât la nivelul infrastructurii fizice, cât și la nivelul transferului de date. Unde ne duce asta, când vine următorul val mare? Ce fel de cunoștințe puteți împărtăși în legătură cu ceea ce se întâmplă în urma experienței dvs.? "
Brian Bulkowski: Sigur, modul în care mă gândesc la o mulțime de aceste lucruri este să mă concentrez pe experiențele utilizatorului și exact pe ceea ce ai spus, sunt utilizatorii care conduc, chiar dacă, ca tehnologi și ca oameni de afaceri, am putea veni cu o idee inteligentă că credem că le place utilizatorilor și o să revin la exemplul Nest. Când sora mea a instalat Nest în casa ei, ea a spus: „Casa mea este mai liniștită, pot auzi lucruri. Nu e doar că plătesc mai puțin pentru energie ”, este ea, dar acum nu ai putea să-l smulgi pe Nest din mâinile ei, pentru că îi place să fie într-o casă mai liniștită, spre deosebire de una în care încălzirea se aprinde la maximum. apoi se oprește.
Întrebarea ajunge să fie, care sunt experiențele utilizatorului pe care le putem împuternici? Asta se sfârșește, acea experiență de calitate a vieții, că, dacă am avea bani și am fi în prima lume, am plăti foarte mult. Vă voi da un exemplu din propria casă, iubitei îi place laptele rece. Îi place laptele cu adevărat rece și, de cele mai multe ori, trebuie să încercăm să aflăm unde va fi suficient de rece în frigider și să nu avem restul de lucruri supraîncălzite. Ei bine, acest lucru este grozav - și i-am spus prietenei mele: „Ați plăti 10 dolari pe lună pentru a avea lapte rece și a nu avea friguri înghețate?” Era ca „Absolut”. Și primea 10 dolari pe lună de la orice consumator este dur.
Cred că în aceste experiențe trebuie să urmărim cu adevărat ceea ce este acea experiență finală a consumatorilor care ar putea fi condusă cu adevărat. Cred că asta a făcut parte din secretul iPhone-ului. Cred că este o parte din secretul construirii unei mașini mai bune cu toate datele, eliminând ideea unui ciclu de produse și o lansare anuală și fac îmbunătățiri continue din fiecare parte. Va trebui să venim cu câteva idei inteligente despre cum să utilizăm efectiv toate aceste date într-un mod care să convingă momentan în viața oamenilor.
Dez Blanchfield: Da, este o idee bună. Pornind de la asta, celălalt capăt al spectrului, care răsună exact cu felurile de lucruri pe care le vedem acum cu ceea ce cer consumatorii și cu toții avem în casă ceva rece și cald. Celălalt capăt al spectrului este atunci și am văzut acest lucru într-un fel de „lume a datelor” tradiționale, unde alocările de date sunt din ce în ce mai rare decât dinții de găină, iar cele care sunt pe piață sunt oferite mai mult decât câștigă CIO-urile. în unele cazuri, tipurile de companii cu care lucrați și tipurile de dezvoltare pe care le-ați văzut, este cazul în care tipurile de dezvoltator și tipul de arhitect de date și de specialitățile de rețea sunt din ce în ce mai greu de găsit ? Avem nevoie de organizații care să înceapă să se gândească acum la avansarea curbei tipului de abilități de care au nevoie în partea din spate pentru tipul de dezvoltatori și arhitecții de date? Ce vezi la acest nivel în ceea ce privește resursele de abilități pe care le vor înțelege cum ar putea să utilizeze această tehnologie în mod bun acum?
Brian Bulkowski: Da, cred că aceasta este una dintre provocările cu care am vorbit organizațiile. Fie că este vorba - cele mai grave probleme despre care am auzit sunt de fapt un fel de întreprinderi mai mari, pentru că, dacă spuneți: „Sunt din această bancă mare, sunt din Chase și am fost arhitect de date”, atunci Aveți oja din lume și salariul dvs. crește, așa că există această problemă obișnuită de a obține un loc de muncă într-unul din acele locuri, deoarece nu există suficient de mulți oameni și apoi să puteți trece pur și simplu de la job la job. Nu aud altceva decât acest tip de problemă și acesta este de fapt unul dintre motivele pentru care am concentrat Aerospike în jurul utilizării de instrumente adecvate pentru echipa specială de proiect.
În loc să încercați să mergeți într-o echipă de proiect și să spuneți: „Hei, ar trebui să folosiți limbajul nostru de interogare.” Uitați, dacă acești tipi, conduc în autobuz în aceste zile, băieți și gali și dacă folosesc un anumit limbaj de interogare. și instrumente, vor rămâne cu asta și nu le pot vorbi în nimic altceva. Scopul meu este de a putea pune tipul de putere Aerospike ca bază de date în spatele oricărui instrument pe care îl folosesc și care face parte din această idee, diapozitivele pe care le vedeți despre viitorul bazei de date Poliglot. Trebuie să susțin modelele de aplicare și analitice între acești tipi, deoarece este într-adevăr dificil să încerci să găsești oameni care au fondul matematic, precum și capacitățile statistice pentru a naviga în această lume.
Dez Blanchfield: Un alt lucru interesant de care oamenii ar putea să nu fie conștienți, vreau să spun că Aerospike este un jucător foarte puternic în lumea open-source, sunt dornic să obțin o perspectivă foarte rapidă în ceea ce înseamnă asta în ceea ce privește modul în care funcționează și funcționează afacerea. ce face pentru tine. Ați menționat că ați lucrat direct cu oameni care fac lucruri chiar până la nivelul kernel-ului din interior, deci nucleul Linux. Există câțiva jucători mari care se află în acest spațiu și există câteva mărci celebre pe care nu le vom menționa, dar o organizație precum Aerospike, în istoria dvs. recentă, mai modernă, experiența open-source, cum se potrivește asta în imaginea de ansamblu și ce avantaje competitive ați văzut că vă oferă?
Brian Bulkowski: Sigur, când am trecut de la open source în 2014, am făcut-o pentru că ne-am dat seama că o infrastructură de bază, precum o bază de date trebuie să fie disponibilă, trebuie să fie de încredere și să existe un echilibru natural între vechea lume a sursei închise și odată ce investești într-o anumită bază de date, acești tipi te au la îndemână pentru ciclul tehnologic după ciclul tehnologic și trebuie să existe un echilibru. Trebuie să fim capabili să scoatem versiuni care fac lucruri noi, și poate că este într-o versiune de întreprindere, trebuie să avem un model cu licență dublă, care are o versiune open-source pentru persoanele care bat pneurile care lucrează non-profit. , precum și o versiune de întreprindere care este o licență de proprietar și permite lucrul nelimitat.
Și, desigur, vom avea și cele mai mari niveluri de viteză și scară, fiind o versiune de întreprindere. Credem în modelul de licență de duel și acest lucru a fost excelent pentru afacerea noastră. Ne dorim ca oamenii să înceapă cu Aerospike, vrem proiecte mici pentru a lovi pneurile, este foarte ușor să mergi doar la Amazon, să lansezi un script de confirmare și să aibă un cluster Aerospike care funcționează în cinci minute. Pe de altă parte, dorim să oferim mai mult clienților întreprinderii.
Dez Blanchfield: Ne apropiem de vârful orei, așa că o să trec înapoi la Rebecca într-o clipă, dar dacă ar exista doar o linie pe care o veți arunca acolo, un sfat pe care l-ați da. pentru oamenii care caută să intre în spațiul tehnologiei pe care le-ați adus pe piață și cum o vor adopta, ceea ce ați spune că primul pas pentru ei este acela de a sorta cel puțin să-și bată degetul de la picior și să înceapă uitați-vă cum vor obține un avantaj competitiv de pe platforma dvs.?
Brian Bulkowski: Sigur, o parte din aici este că există niveluri de viteză și abilitate care sunt acum ușoare. Nu aveți nevoie de un cluster Cassandra cu o mie de noduri pentru a realiza milioane de tranzacții pe secundă. Puteți face acest lucru chiar și în primele faze ale proiectului. Deci lucrurile sunt mult mai ușoare decât erau înainte. Apoi, cel de-al doilea sfat este că va trebui să veniți, la fel cum spuneți, modelele de implicare a clienților în procesul de matematică care utilizează toate aceste date, astfel încât veștile bune sunt datele disponibile, o veste proastă este că de fapt trebuie să mergi să găsești câteva modele și unele cazuri de utilizare convingătoare.
Dez Blanchfield: Da, sfaturi grozave, așa că acum o să mă întorc la Rebecca. Mulțumesc foarte mult pentru asta, a fost o discuție minunată despre tehnologie, o apreciez.
Rebecca Jozwiak: Mulțumesc, Dez. Am câteva întrebări bune din partea publicului. Lasă-mă să arunc acest diapozitiv. Știu că ați vorbit despre sistemul de înregistrări și lucrurile mainframe, dar cât de des vedeți descărcarea absolută sau replicarea este o reconciliere la sfârșitul zilei, de ce vedeți mai multe?
Brian Bulkowski: Ceea ce vedem în Aerospike este utilizarea unei baze de date NoSQL în fața acelui sistem de reconciliere la sfârșitul zilei. Ai nevoie de intraday, răspunsul corect. Nu puteți avea un răspuns greșit, iar asta a spus Robin despre activ este subapreciat, dar procesele de afaceri din jurul cerințelor legale ale reconcilierii se pot complica și există zeci de ani de tehnologie și zeci de ani de practică legală și legală în jurul efectuării reconcilierii. Prin urmare, ceea ce vedem la Aerospike este, vei face algoritmii tăi pe o bază de date mai fierbinte, cu mai multe tranzacții pe secundă. Dar din motive legale, aveți absolut nevoie de un sistem de reconciliere care a trecut prin acele procese legale. Le vedem pe amândouă și vedem că aceasta este în esență practica IT pe două niveluri, așa cum este expusă de oameni precum Anderson Consulting și Gartner. Vedem multe din asta.
Rebecca Jozwiak: Bun bine. Altcineva s-a arătat interesat de acest slide special, a spus că este într-adevăr interesant și s-a întrebat dacă puteți merge într-un pic mai mult comparativ cu flash în memorie.
Brian Bulkowski: Sigur, lasă-mă să iau o bară laterală rapidă, din nou, știu că suntem aproape de sfârșitul timpului. Ei bine, flash-ul este memorie - este cipuri - tind să mă gândesc la RAM. Deci RAM-ul are caracteristici particulare, necesită multă putere, este foarte bun atât la scrieri aleatorii, cât și la lecturi aleatorii. În cazul în care NAND este capabil să citească rapid la întâmplare și să scadă puterea, dar este foarte rău la scrieri aleatorii. Există unele diferențe subtile în modul în care aceste două cipuri funcționează la nivel de litografie, care creează o serie de diferențe tehnice.
În cazul în care faceți analize și trebuie să săriți peste o mulțime de date sau în cazul Aerospikes, unde ați obținut indexuri, indexurile sunt încă foarte bune de utilizat în memoria RAM din cauza paralelismului și a accesului aleatoriu. Este necesar un nivel mai ridicat de acces aleatoriu. Cu toate acestea, în Aerospike găsim acești indici pentru a găsi un anumit obiect sau o bucată de date, acesta este locul potrivit pentru a ajunge la un NAND, deoarece devine un fel de magazin mai mare sub indici. Aceasta este atunci o tranzacție cu un dispozitiv de stocare, dar încă după ce ați făcut o mulțime de potențiale și filtre în cadrul sistemului dvs. de indexare.
Rebecca Jozwiak: Bun bine. Și atunci, știu că am discutat mult despre IoT deja și un comentariu al participanților a spus că IoT este în mare parte benefic, dar companiile, entitățile guvernamentale și dezvoltatorii crește în siguranță și securizează datele la același ritm, credeți?
Brian Bulkowski: Poate Dez, ai vrea să sari?
Dez Blanchfield: Da, sunt fericit să sar în acel. Cred că răspunsul este nu. De fapt, una dintre liniile mele preferate pentru acest subiect este foarte, foarte pe scurt, că cred că explozia de la mașină la mașină și internetul general al lucrurilor, comunicarea și securitatea, riscul în jurul acesteia, suntem în momentul în care guvernele nu pot ține pasul cu rata schimbării. Și, de fapt, știm că o mulțime de organizații nu pot ține pasul cu rata schimbării. De fapt, dacă l-am parafrazat, ritmul de schimbare astăzi este atât de mare încât organizațiile trebuie doar să țină pasul, dar trebuie să participe la mai multe curse. Nu cred că legea și nu cred că guvernul în general, fie la nivel de stat, fie la nivel federal, este capabil să țină pasul cu rata schimbării.
Acum, sfatul meu general pentru oameni este un fel de act acum și cere iertare mai târziu. Au fost multe exemple în trecut. Vor acoperi ritmul, dar cred că acum este în sarcina furnizorilor de afaceri și tehnologie să inoveze în acest spațiu și să se asigure că suntem familiarizați cu riscurile de securitate sau de confidențialitate și trebuie să ne ocupăm de acestea. Băncile în special, așa cum ați menționat, când vă gândiți la ce a făcut în mod tradițional o organizație bancară cu lucruri precum spălarea anti-spălare de bani și cunoașteți clientul dvs., provocarea AML / KYC, era ca la fiecare trei-cinci ani să încercăm și respectă conformitatea.
Acum cred că asta trebuie încorporat în fiecare tranzacție. Întotdeauna ați reușit să faceți asta la nivel de ofertă cu publicitate și stocuri și comerț cu obligațiuni și capitaluri proprii, cred că suntem în punctul în care performanțele pe care le aduceți cu platforma Aerospike ne permit acum să ne gândim cum aducem confidențialitate, cum aducem securitatea în acel lanț de decizie în timp real? Și deci răspunsul este nu, nu cred că guvernele țin pasul. Cred că companiile trebuie să țină pasul și cred că trebuie să acționăm acum și să cerem iertare mai târziu.
Brian Bulkowski: Permiteți-mi să adaug și câteva puncte. Băieții cu care mă ocup, companiile de tehnologie cu care mă ocup, sunt foarte conștienți de a se asigura că sunt pe partea dreaptă a legii și o bună parte a discuției este, este PII, pot folosi asta, cum sunt? Folosesc această bucată de date specială? Care a fost providența sa și este o decizie sau o experiență protejată? Cum fac toate astea? Deci, aceasta este o veste bună. Mă întreb uneori despre discuția noastră ca societate în jurul căreia ne îndreptăm, și dacă chiar și discuția noastră despre societate este la nivelul potrivit în ceea ce privește utilizarea noilor capabilități de la IoT până la învățarea automată, care este singura cale pentru a sorta volumele de date pe care le avem. Dar veștile bune sunt că tipurile cu care am vorbit sunt cu adevărat pe partea corectă de a încerca să facem corect deciziile legale pe care le-am luat.
Rebecca Jozwiak: Acestea sunt câteva răspunsuri foarte bune de la amândoi și sunt total de acord. Nu cred că securitatea se mișcă la un ritm mai rapid ca dezvoltarea tehnologiei, în special atunci când vine vorba de Internet of Things, dar trebuie să cred că oamenii fac tot posibilul și sper să ajungem acolo. Este întotdeauna puțin greu să stăm cu zece pași înaintea cyber hoirs și cyber criminals, dar vom ajunge acolo.
Ei bine, oameni buni, am trecut opt minute peste ora. Aș dori să le mulțumesc oaspeților noștri Brian Bulkowski de la Aerospike și Dez Blanchfield și Robin Bloor. Mulțumesc foarte mult. Puteți găsi întotdeauna arhivele noastre în interioranalysis.com, SlideShare, YouTube, avem o mulțime de transmisiuni web bune care apar oameni, a fost o lună aglomerată. Va fi o lună aglomerată luna viitoare, așa că rămâi la curent și sperăm să ne vedem data viitoare. Mulțumesc oameni, adio.