Tartalom
- Mi az a következő generációs adat-architektúra?
- A Hadoop várakozásai a következő generációs építészet kapcsán
- Milyen értékeket adhat a Hadoop a következő generációs adat-architektúrához?
- Javított teljesítmény mint vállalati adat-architektúra
- Különbség a Hadoop és a többi technológia között
- Következtetés
Forrás: Romeo1232 / Dreamstime.com
Elvitel:
A Hadoop kulcsszerepet játszik a következő generációs adat-architektúrában, mivel nagy mennyiségű adatot képes kezelni.
A Hadoop segédprogramja meghaladja a nagy adatfeldolgozást és az elemzést, mivel az ipar többet igényel tőle. A Hadoop folyamatosan alkalmazkodik a vállalati adat-architektúrával kapcsolatos különféle követelményekhez, megőrizve eredeti erősségeit. A Hadoop által csinálható és jelenleg csinálható lista elég hosszú. A Hadoop most már hatalmas mennyiségű tranzakciós munkaterhelést képes feldolgozni, ezt a feladatot a korábbiakban a hagyományos technológiák elvárták. A jövőben nagyon sok lehetőség nyílik a Hadoop számára. Például az SQL-alapú tranzakciós rendszerek felhasználhatják a Hadoop SQL motort, és a Hadoop sok RDBMS képességet is hozzáad. Azt mondhatjuk, hogy a Hadoop az adatfeldolgozási és elemzési képességek hibridjévé válik a vállalati architektúra képességeivel.
Mi az a következő generációs adat-architektúra?
Egyszerűen fogalmazva: a következő generációs adat-architektúra az adat-architektúra továbbfejlesztett formája. Minden, beleértve az adatmodelleket, az adatpolitikákat, a szabályokat és a szabványokat, amelyek szabályozzák az adatok gyűjtésének, tárolásának, elrendezésének, elemzésének vagy feldolgozásának, integrálásának, felhasználásának és kiszállításának módját, a következő generációs adat architektúrában fejlődött ki.
A korábbi adat-architektúra és a következő generációs adat-architektúra közötti fő különbség az utóbbi azon képessége, hogy valós időben óriási mennyiségű adatot, más néven nagy adatot gyűjtsön, tároljon és dolgozzon fel. Az architektúra mindezeket az összetett feladatokat végzi anélkül, hogy veszélybe sodorná a magánélet, a biztonság és az adatkezelési szabványokat.
A következő generációs adat architektúrának számos kihívással kell szembenéznie. Nem könnyű kezelni a nagy adatok mennyiségét, sebességét és sokféleségét. Ehhez egészítse ki a rendszer munkaterhelésének optimalizálására, a teljesítmény, a sebesség és a pontosság javítására, valamint a költségcsökkentésre vonatkozó követelményeket. Mondanom sem kell, hogy a korábbi adat-architektúrának nem kellett kezelnie ezeket az igényeket.
Tehát a CIO-k és az információs építészek olyan megoldást akarnak találni, amely segít elérni céljaikat. Az operatív Hadoop egy ideje középpontjában van ebben a folyamatban. A következő szakaszok azt tárgyalják, hogy a működő Hadoop hogyan oldhatja meg a problémákat.
A Hadoop várakozásai a következő generációs építészet kapcsán
A vállalatok egyre nagyobb nyomást gyakorolnak a jobb eredmények elérésére, és a hatások csúsznak a technológiákkal szemben támasztott elvárásokkal. Tehát a Hadoop-tól már nem várható el, hogy csak adatokat dolgozzon fel. A CIO-k és CTO-k többet akarnak a Hadoop-tól. Az alábbiakban felsoroljuk a Hadoop elvárásainak listáját. Valójában a Hadoop már eleget tett ezeknek az elvárásoknak.
A Hadoop várhatóan az SQL-alapú tranzakciós rendszerekkel fog működni, amelyek létrehozási, olvasási, frissítési és törlési képességekkel rendelkeznek. A tranzakciós rendszerek kihasználják az SQL motort. A rendszerek teljes mértékben megfelelnek a POSIX hordozható operációs rendszer interfésznek, és képesek lesznek a nagy tranzakciós mennyiségek feldolgozására.
A Hadoop várhatóan olyan funkciókat támogat, mint a biztonsági mentés, a hibatűrés, a helyreállítás és a katasztrófa utáni helyreállítás. Ahhoz, hogy a Hadoop RDBMS képességekkel rendelkező rendszerré fejlődjön, kompatibilisnek kell lennie a meglévő informatikai eszközökkel.
A Hadoop már elvégzi az elvárások teljesítését, amint az bizonyos fejleményekből kitűnik. A Hadoop valós idejű elemzéseket és gyors válaszokat nyújthat a YARN által biztosított erőforrás-kezelési támogatás alapján. A YARN egy nagyszabású és elosztott operációs rendszer nagy adat alkalmazásokhoz, amellett, hogy erőforrás-kezelő. Más olyan fejlesztések, mint például az Apache Storm, a memóriában elosztott architektúrák, például az Apache Spark, Apache Hive, Drill és MapR-FS (nagy teljesítményű HDFS csere) működnek, hogy különféle teljes adatbázis-képességeket kínálhassanak, mint például a biztonsági mentés, a katasztrófa utáni helyreállítás, a hibatűrés stb. (A YARN-ról bővebben: Milyen előnyei vannak a Hadoop 2.0 (YARN) keretrendszernek?)
Milyen értékeket adhat a Hadoop a következő generációs adat-architektúrához?
A Hadoop által a következő generációs adat architektúrához hozzáadható értékeket két szempontból lehet megtekinteni: az egyik, hogy megfelel-e a fent leírt elvárásoknak, és a másik, hogy valami újabbat csinál-e. Az alábbiakban bemutatjuk azokat a legfontosabb értékeket, amelyeket a Hadoop működőképes hozhat.
A Hadoop a HDFS-en keresztül több skálázhatóságot és kezelhetőséget tud biztosítani platformján. És az adat operációs rendszer engedélyezve lett a Hadoop YARN alkalmazásaival. Ez a stratégia az adatok architektúrájának alapvető szintű változását képviseli. Most a Hadoop különféle típusú adatokat tárolhat, például tranzakció-orientált adatbázisokat, grafikon-adatbázisokat és dokumentum-adatbázisokat, és ezek az adatok a YARN alkalmazásokon keresztül érhetők el. Nem szükséges az adatokat másolni vagy áthelyezni más helyekre.
Javított teljesítmény mint vállalati adat-architektúra
Az operatív Hadoop úton van a vállalati adat-architektúra központi rendszerévé. Ahogy a Hadoop jobban bekerül a vállalati adat-architektúrába, az adat silók megszűnnek, mivel megszűnnek a közöttük lévő vonalak. Szinte minden szempontból gyors fejlődés várható. A fejlesztésekre hatékonyabb fájlformátumok, jobb SQL-motor teljesítmény, jobb fájlrendszerek és robusztusság formájában kerül sor, amelyek kielégítik a vállalati alkalmazások igényeit.
Különbség a Hadoop és a többi technológia között
A múltban a Hadoop és az adatkezelési technológiák közötti fő különbség a Hadoop nagy adatfeldolgozási, jelentési és elemzési képessége volt. Most, amikor a működőképes Hadoop egyre inkább a vállalati adat-architektúra részévé válik, az entitások közötti különbség egyre inkább elmosódik. Tehát az operatív Hadoop kiemelkedő alternatívájaként jelenik meg a meglévő vállalati adat-architektúra mellett.
Következtetés
Tekintettel az elvárásokra és az előrehaladásra, a Hadoop jó ideje az ipar középpontjában áll. De van értelme, ha nem koncentrálunk túl sokat a Hadoopra, és egyszerűen figyelmen kívül hagyjuk a többi technológiát. Ennek oka az, hogy más technológiák ugyanazokkal a paraméterekkel fognak haladást elérni, és esetleg felül is haladhatják a Hadoopot. Soha nem jó, ha monopólium van a piacon. Jó, hogy a Hadoop-tól eltérő technológiák készítői motiváltak lehetnek jobb termékek és még plug-inek szállítására, amelyek elősegítik a Hadoop teljesítményének javítását.