Tartalom
- Nincsenek hibák, nincs stressz - Az Ön életét megváltoztató szoftverek készítésének lépésről lépésre történő leírása az élet megsemmisítése nélkül
- A vállalkozásig
- Hogyan változtatja meg a Kafka az adatkezelést?
Elvitel:
A Kafka az információs rendszerekkel foglalkozik majd azzal, amit a LinkedIn tesz az üzletemberek számára: tartsa őket széles körben összekapcsolva.
Szenvedélyesen hiszve valami olyanban, amely még mindig nem létezik, és létrehozzuk. A nem létező bármi, amit nem kívántunk kellőképpen.~ Kafka Franz
A szükséglet továbbra is a találmány alapja. Mint egy ügyes tanácsadó egyszer azt mondta nekem: "Ha van valami, aminek meg kell történnie egy szervezetben, akkor történik." Kettős álláspontja volt: 1) egyesek mindig megtalálják a módját a dolgok végrehajtására; és 2) a felső vezetés, vagy akár a középvezetés valószínűleg nem is ismeri azt, hogy a dolgok hogyan alakulnak a saját létesítményükön belül.
Ha kiterjesztjük ezt a metaforát az adatkezelés egész világegyetemére, láthatjuk, hogy egy átalakulás jelenleg zajlik. A nagy adatok nyers nyomása és az adatfolyam tengelye együttesen annyira nagy nyomást gyakorol, hogy a régi rendszerek széleken csapódnak, ha nem is összeomlanak. Ennek ellenére számtalan szakember jelen pillanatban folytatja munkáját, akik nagyrészt nem tudják ezt a valóságot.
Az adatközvetítő, adatközpontú vállalkozások első sorban ülnek, és sok szempontból vezetik ezt a változást. Gondolj arra, hogy az olyan erőművek, mint a Yahoo! És a LinkedIn, a vállalati szoftveripart oldalirányban fordították nagyszerű adományaikkal nyílt forrású forrásokra: Hadoop, Cassandra és most Kafka, mindegyiket az Apache Alapítvány pásztorolta, amely maga a központi szereplő ebben a metamorfózisban. .
Mi a változás eredménye? A mai tanúja az adatkezelés kategorikus átsorolása és átszervezése volt. Ez nem azt jelenti, hogy a régi rendszereket áttörjük és kicseréljük. Bármely iparági veterán azt fogja mondani, hogy a régi rendszerek nagykereskedelmi feloldása ugyanolyan gyakran történik, amikor a Chicago Cubs megnyeri a Világcsaládot. Legalábbis ritka esemény.
Ami igazán történik, az az, hogy egy szuper-struktúrát építenek a régi világrendszerek körül. Fontolja meg az államközi autópályák analógiáját, amelyek gyakran az általuk kiszolgált városok fölé emelkednek, és amelyeket arra terveztek, hogy embereket és rakományokat szállítsanak ezekbe a lakossági központokba, és kijáratot biztosítson bárki számára és bármi máshoz. Nem cserélik meg a meglévő utakat annyira, hogy nagysebességű alternatívákkal egészítsék ki őket.
Pontosan az, amit az Apache Kafka csinál: nagy sebességű útvonalakat biztosít az adatmozgatáshoz az információs rendszerek között és között. Az autópálya-analógia követése érdekében még mindig sok vállalat használ lineáris sorokat, vagy a régi ETL szabványt (extrahálás-transzformáció-terhelés); de ezeknek az utaknak alacsony sebességkorlátozások vannak, és sok lyuk van; emellett a karbantartási költségek gyakran túlsúlyosak; a jelzések gyenge.
A Kafka alternatív módszert kínál az adatok továbbítására, amely határozottan valós idejű, méretezhető és tartós. Ez azt jelenti, hogy a Kafka nem csupán adatmozgató eszköz, hanem adatreplikátor is; és bizonyos mértékig elosztott adatbázis-technológiát. Vigyáznunk kell az analógia túl messzire történő eljuttatásakor, mivel vannak olyan ACID-kompatibilis adatbázisok olyan jellemzői, amelyeket Kafka még nem sportol. Ennek ellenére a változás valódi.
Ez nagyszerű hír az információs táj számára, mivel az adatok most már szabadon mozoghatnak az ország - és a világ körül is. A valaha fájdalmas kényszer, nevezetesen az ETL-folyamatokra tört ablakok becsapódása, most már szétszóródik, mivel a köd megengedi, hogy a meleg nap tükrözi az égboltot. Amikor az adatok egyik rendszerből a másikba történő mozgatása zökkenőmentesvé válik, az új lehetőségek korszaka hajlik.
Nincsenek hibák, nincs stressz - Az Ön életét megváltoztató szoftverek készítésének lépésről lépésre történő leírása az élet megsemmisítése nélkül
Nem javíthatja a programozási készségét, ha senki sem törődik a szoftver minőségével.
Az emberek valószínűleg a legnagyobb súrlódást jelentenek az új jövő jövőjéhez vezető úton. A régi szokások nehezen tűnnek el. Nary, a CIO nagyon izgatott, amikor nagybani változtatásokat hajt végre a vállalati rendszerekben. Az egyik hozzáértő magas rangú vezető azt mondta: "Készüljön fel magányosra." A kommentálástól számított egy éven belül tanácsadó volt. Nem könnyű út, mivel megpróbálja kezelni a vállalati adatok rendkívül nehézkes világát.
A jó hír az, hogy Kafka rámpát kínál a jövőre. Mivel nagy teljesítményű, sokoldalú buszként szolgál, hidakat hoz létre a régi rendszerek és előretekintő társaik között. Így azok a szervezetek, amelyek nyitott gondolkodással és elegendő költségvetéssel élnek ezzel az új lehetőséggel, képesek lesznek belépni az új világba, anélkül, hogy a régit hátrahagynák. Ez egy komolyan nagy ügy.
A vállalkozásig
Míg az Apache Kafka egy nyílt forráskódú technológia, amely bárki számára ingyenesen letölthető és használható, addig az emberek, akik ezt a szoftvert készítették a LinkedIn-hez, elkülönített egy entitás, a Confluent nevű elemet, amely a vállalati használatra szánt ajánlat megszilárdítására összpontosít. A Cloudera, a Hortonworks és a MapR hasonlóan az Apache Hadoop nyílt forrású projektje körül építették üzleti vállalkozásukat, így a Confluent a Kafka bevételszerzésére törekszik.
A közelmúltbeli InsideAnalysis interjúban Jay Kreps, a Confluent vezérigazgatója és társalapítója elmagyarázta annak eredetét a LinkedIn-ben:
"Néhány különféle problémát próbáltunk megoldani ott. Az egyik az volt, hogy mindezen különféle adatrendszerek különféle típusú adatokkal rendelkeztek. Adatbázisunk és naplófájljaink voltak, valamint a kiszolgálókkal kapcsolatos mutatók voltak, és a felhasználók rákattintottak a dolgokra. Az összes ilyen adat megismerése - mivel nagy lett - nagyon nehéz volt. Az adatok csak akkor voltak hatalmasak, ha be tudták juttatni az alkalmazásokhoz, a feldolgozáshoz, vagy azokhoz a rendszerekhez, amelyekre szükségük volt. Ez egy nagy probléma.
"A másik probléma az volt, hogy elfogadtuk a Hadoopot, és ebben részt vettem. Volt egy fantasztikus offline feldolgozási platform, amelyet méretezhetünk, és minden adatot be tudtunk helyezni. A LinkedIn számára minden adatunk valóban történt. Folyamatos volt az adatgyűjtés. Mindig volt ez az eltérés, amikor megpróbáltuk az üzleti vállalkozás kulcsfontosságú részeit adatainktól elkülöníteni: valami között, amely naponta egyszer futott, esetleg éjszaka, és a következő nap eredményeket hozott, és ez a folyamatos adat - rövid interakciós idők -, amelyekbe be kellett jönnie. Akattunk volna, hogy meg tudjunk csinálni valamit, ami egy ideje zajlott az akadémia környékén, de valójában nem volt mainstream dolog, azaz képes érintse meg és dolgozza fel az adatfolyamokat, amint azok keletkeztek, nem pedig ülőként. "
Jól. Pontosan ez az, amit a Confluent most a forma és méretű vállalati adatokkal kíván elérni. Lehetőség a játékban? Greenfield. Őszintén szólva, a vállalati szoftverek teljes története során azt lehet állítani, hogy ennek a technológiának a címezhető piaca feltétlenül veszi a süteményt. Nincs egyetlen nagy szervezet, sőt még nagy adatsúlyú kisvállalkozás sem, amely e technológia hatalmas előnyeit nem élvezheti.
Ez különösen igaz ennek a technológiának a neurológiai vonatkozásai miatt; nem csak az érintett elmék, hanem a természet, amit Kafka tesz az információs rendszerek számára. Mivel a Kafka felhasználható az adatmozgás kezelésére egy szervezeten belül, ezért nem csupán forgalmi rendőrnek tekinthető, hanem maga a művelet agyának. A látomás még a korai szakaszában volt, de biztos lehetsz benne, hogy valódi.
Hogyan változtatja meg a Kafka az adatkezelést?
Annak megértése érdekében, hogyan változtatja meg a Kafka az adatkezelés természetét, gondoljon csak arra, hogy a LinkedIn hogyan változtatta meg a hálózatépítést. Sokkal könnyebb megtalálni a kollégákat; az emberekkel való kapcsolattartás most pillanat alatt áll. A Kafka az információs rendszerekkel foglalkozik majd azzal, amit a LinkedIn tesz az üzletemberek számára: tartsa őket kapcsolatban a föld legszélesebb tartományán.
A Confluent elindulása emblematikusnak tekinthető, amit új innovációnak nevezhetünk, amely a szoftverfejlesztés és a zárt forrású mentalitás szétválasztásának vezetett mozgalma, amelyet a nyílt forrású technológia alkotói vezetnek, és amelyet nagy mennyiségű kockázati tőke táplál, és amelyet nonprofit társaságok, amelyek forradalmasítani akarják a szervezetek és az emberek adatainak létrehozását, összegyűjtését, elemzését és kiaknázását.
Kafka Franz idézéséhez: "Egy bizonyos ponttól kezdve már nincs visszaút. Ezt a pontot kell elérni."
Meghaladtuk a Rubicont. Most már nem tér vissza.