Mi az a Hadoop pontosan? A cinikus elmélete

Szerző: Eugene Taylor
A Teremtés Dátuma: 7 Augusztus 2021
Frissítés Dátuma: 10 Lehet 2024
Anonim
Mi az a Hadoop pontosan? A cinikus elmélete - Technológia
Mi az a Hadoop pontosan? A cinikus elmélete - Technológia

Tartalom


Elvitel:

Hadoop-nak ennyire megvan? Néhány embernek kétségei vannak ...

Általában bármi, ami túl jónak tűnik ahhoz, hogy igaz legyen. Ilyen lehet az Apache Hadoop, a sokkal bálványozott nyílt forrású projekt, amelyről mindenki beszél. Tehát pontosan mi ez a dolog? Jó kérdés!

Kérdéses szakértők

Mark Madsen, a Harmadik Természet elemzője egy darabig a falhoz szegezte a falra, az InsideAnalysis.com oldalán: "Mi a Hadoop. Mi a Hadoop?" Mivel valaki tudja, hogyan kell valós megoldásokat tervezni, majd azokat ténylegesen telepíteni, tanácsát nem szabad figyelmen kívül hagyni.

De van itt egy mélyebb áramlás, és már itt az ideje, hogy feltárja ennek a lenyűgöző növénynek a gyökereit, hogy megnézhessük-e valamilyen nézőpontot a mi több, makro szinten zajló eseményről. Végül is az eladók továbbra is nagy ügyet mondnak, és oly sok résztvevő van.

Alkalmazza a kötelezőket! (?)

Jelenleg három vállalat birtokolja a Hadoop kialakuló piacának többségét: a Cloudera, a Hortonworks és a MapR. A Boulder BI Brain Trust (#BBBT) révén egy nemrégiben meglehetősen vitatott eligazításon Jim Walker, a Hortonworks ezt a furcsa megjegyzést tette:

"Nem tudod fejleszteni a technikát, ha nem alkalmazzák az elkövetőket!"

Újra eljön?

Nem úgy hangzik, mint amit Palpatine szenátor mondhatna egy Csillagok háborújában?

Palpatine szenátor: "Alkalmazza az elkövetőket!"
Közeli Minion: "De, de uram! Gondolj csak a gyerekekre!"

Azoknak a laikusoknak, akik csak próbálnak dolgokat tenni, az elkövetők olyan emberek, akik elkötelezettek egy adott nyílt forráskódú projekt mellett. Az Apache Alapítvány szigorú protokollokkal rendelkezik, amelyekkel projektjeik előrehaladnak, ami gyakran jó dolog.

Ugyanakkor a Walkers megjegyzés indokolja a vizsgálatot. Egy hegyes kérdés (a játszótéri napok felidézésének kockázatával) a következő lenne: Ez ígéret vagy fenyegetés? Azt mondja, hogy a Hortonworks elfoghatja a labdát és hazamegy?

Együttműködés vagy verseny?

Az érdekes, ha paradox helyzet ebben az esetben az, hogy állítólag a Hadoop csapat elkövetőinek többsége (összesen körülbelül 30) Hortonworks-ből és Cloudera-ból származik - akik versenytársak. Ez egy nagyon furcsa versenyverseny.

Szóval, mi az üzlet? Itt egy kitalált kitalálás: a Hadoop hírnevét nagyrészt az okos tervnek köszönheti, amelyet egy Szilícium-völgy kockázatitőke-befektetői és mérnökei alkottak meg, akik lényegében megpróbálják fedezni fogadásaikat az Oracle ellen.

Az általános elképzelés az, hogy a piacot olyan kód alapokkal vetik el, amelyet továbbfejleszthetnek és megerősíthetnek egy fejlett fejlesztők flottája, akik ideálisan idővel mindenféle adatkezelő eszközt létrehoznak, ideértve az adatbázis termékeket is. A kockázatitőke-befektetők befektethetnek és készpénzt kereshetnek egy nap. De vannak komoly kihívások a játékban.

Mint minden monolit vállalkozás, az Oracle gyakran sok kisebb játékos kereszteződésében található meg. És ki nem akarna csak egy szelet tudatosító bevételéből? Csak az utolsó negyedévben az Oracle ~ 9 milliárd dollárt könyvelt el. A kihívás és a nagyvörös megverése azonban két nagyon különböző valóság.


Csomagolási problémák

A Hadoop önmagában az a helyzet, hogy az semmilyen módon nem csomagolt megoldás. Inkább egy összetett modulgyűjtemény, amely lehetővé teszi a kiváló minőségű programozók számára, hogy masszív párhuzamos feldolgozási algoritmusokat használhassanak nagyon specifikus dolgok elvégzésére. De nincs képzeletbeli felhasználói felület, és a kézikönyvek brutálisak.

Ehhez a kihíváshoz adjuk hozzá ezt a kritikus akadályt: olyan üzletemberekre is szükségünk van, akiknek legalább általános ismerete van arról, mit tehet. Ezeknek a személyeknek képeseknek kell lenniük arra, hogy felvegyék a felhasználási ötleteket, majd kommunikálhassanak a fejlesztőkkel, akiknek ezt követően alkalmazásokat kell készíteniük, tesztelniük, végrehajtaniuk és támogatniuk kell.

Ezt a táncot irányítva Cloudera és Hortonworks keresnek sok pénzt. Probléma az, hogy az ezzel a módszerrel létrehozott megoldások többsége egyedi, és általában az operációs rendszerekre összpontosít, szemben az analitikus megoldásokkal. Fordítás? Ilyen dolgok valójában nem alkalmasak a csomagolt szoftvertermékek számára.

Csomagolás jövedelmezőség!

Ami visszavezet minket az Oracle-hez. Larry Ellison és a fiúk elkészítik szénakereskedelmi adatbázis-technológiájukat, hardverüket, szolgáltatásaikat és (várjatok meg ...) csomagolt szoftvereiket. Cloudera ezt nyilvánvalóan kitalálta, következésképpen Impala-ra összpontosítva. De Hortonworks?

Úgy tűnik, hogy modelljük jobban utánozza a RedHat modelljét, akik milliárd dolláros üzletet építettek a Linux operációs rendszer tetejére. Nary, a vállalati szoftverek egyik legfontosabb szállítója nem ír Linux-ot, az operációs rendszert, mellyel az IBM a Microsoft irányába haladt. De a Hadoop nem Linux, nem távolról sem.

Dr. Geoffrey Malafsky, az Egyesült Államok Haditengerészetének korábbi nanotechnológusa, most a Phasic Systems és a PSIKORS Intézet adattudósa, így disztillálja a Hadoop értékre vonatkozó javaslatát:

    "A Hadoop nagyszerű kutatásokhoz, nagyon nagy trend-elemzéshez sztochasztikus eredményekhez, és valószínűleg nagyon olcsó, okos párhuzamos feldolgozása olyan dolgokhoz, mint az ex-feleségem: a kvantummechanikai hullámfüggvény kiszámítása a szilárdtest és a kémiai reakciók során. Ez a valódi tudomány támaszkodik szuperszámítógépeken, és kissé párhuzamos feldolgozásba került, de ez keményen változtatja meg a programozási megközelítést. Fiatal, okos, energikus végzős hallgatók fogják ezt megtenni. Gyanítom, hogy a kutatási ösztöndíjak ebben az irányban kezdenek haladni nagy teljesítményű számítástechnika számára. alkalmazások.”

Észre fogja venni, hogy nem hangzik semmi olyan, mint az adattárolás, az üzleti intelligencia, az adatok integrálása vagy akár a nagy adatok. Úgy hangzik, mint a szuperszámítás. És valamilyen érdekes ok miatt a nagy teljesítményű számítástechnika és az üzleti intelligencia világai soha nem ütköztek össze vagy összekapcsolódtak jelentősebb módon.

Hosszú út előre Hortonworks és Cloudera felé

És itt vannak az igazán rossz hír a Hortonworksnek és esetleg Clouderanak. Azok a nagy gyártók, mint az IBM, az SAP, az Oracle és a Teradata - enyhén szólva, és idézve a Dire Straits-t: "A srácok nem hülye!" Három és több évvel ezelőtt mindannyian komoly Hadoop stratégiákat vezettek be.

E tervek középpontjában azok a dolgok állnak, amelyeket az üzleti felhasználók várnak: grafikus felhasználói felületek, drag-and-drop funkciók, modellező és felfedező eszközök, munkafolyamat, irányítás, biztonság; Röviden: az összes olyan bit és darab, amely felhasználhatóvá teszi a vállalati szoftvert. És természetesen ezeknek a nagy gyártóknak hatalmas telepítési alapjai vannak.

Biztos vagyok abban, hogy Cloudera és Hortonworks jó üzlet, de csak egy apró része annak, amit ezek a főbb szereplők kapnak évente. Matematikailag végezze el, hogy a kihívók mennyit számítanak fel ügyfeleiknek, összehasonlítva azzal, hogy valószínűleg mekkora a költségeik, és a kép nem annyira rózsás. Nyilvánvaló, hogy ez megegyezik a tanfolyamgal a korai szakaszban levő szoftverrel kapcsolatos aggodalmakkal, de még mindig ...

A Hadoop jövője?

Tehát láthatnánk a klasszikus akvizíciós hullámot, mint amilyeneket még a szomorúságban elõttünk láttak, amikor az IBM megvásárolta a Cognos-t, az Oracle megkapta a Hyperion-ot és az SAP elõjelû BusinessObjects-et? Talán, de az új gyerekek ebben a blokkban nem a Hadoop tulajdonosa; csak kölcsön vesznek. És olyan ígéretes, mint a YARN és a Tez, úgy tűnik, hogy a kiadási ciklusok elmaradnak attól, amit a nehéz ütőerők termelnek.

Másnap egy iparági bennfentes kommentálta, hogy az Apache politikája komoly szűk keresztmetszet lehet. Ez nem meglepően meglepő, főleg, ha figyelembe vesszük a részt vevő dollárokat - az innovátorok nagy motivációt mutatnak arra, hogy gazdagok legyenek. És észrevette-e valaki, hogy a Chrome miként látszik a közelmúltban a Firefox felett a funkcionalitás és a működőképesség szempontjából? Zárt forrású, bárki?

Egy dolog biztos: ez a játék érdekes módon játszik majd szerepet. Igen, az emlősök (lásd: kiskereskedők) gyakran túllépik a dinoszauruszokat; de még mindig vannak aligátorok és krokodilok az egész világon; és ha váratlanul rábotlik, akkor felfedezheti, milyen élesek lehetnek ezek a fogak. Néhány krokk együtt elvehet egy vagy két elefántot.