Elvitel: Rebecca Jozwiak házigazda az adatkatalógusok előnyeit tárgyalja Dez Blanchfield, Robin Bloor és David Crawford társaságokkal.
A videó megtekintéséhez regisztrálnia kell erre az eseményre. Regisztráljon a videó megtekintéséhez.
Rebecca Jozwiak: Hölgyeim és uraim, üdvözlet és üdvözlet a 2016-os Hot Technologies-nál. Ma megkaptuk: „A javaslat hatalma: Hogyan adhatjuk meg az adatkatalógust az elemzők.” Rebecca Jozwiak, a házigazda vagyok, ma a szokásos házigazdánk, Eric Kavanagh-nak kitöltve, míg ő utazik a világon, tehát köszönöm, hogy csatlakozott hozzánk. Ez az év forró, nem csak meleg Texasban, ahol vagyok, hanem meleg is mindenhol. Mindenféle új technológia robbant fel. Megvan az internet, adatfolyamok, felhő bevezetés, a Hadoop továbbra is érett és elfogadott. Van automatizálás, gépi tanulás, és mindezt természetesen az adatok aláhúzzák. És a vállalkozások egyre több adatot vezetnek a nap folyamán. És természetesen ennek lényege, hogy tudáshoz és felfedezéshez vezessen, és, tudod, jobb döntéseket hozzon. De ahhoz, hogy az adatok valóban a lehető legtöbb értéket nyújtsák, könnyen elérhetővé kell válni. Ha bezárva tartják, eltemetik, vagy néhány ember agyába kerülnek a vállalkozáson belül, az nem fog sok jót tenni az egész vállalkozás számára.
És gondoltam az adatkatalógusra és a könyvtárak természetesen gondolkodására, ahol régen oda mentél, ha valamit meg kellett találnod, ha témát kellett kutatniuk, vagy valamilyen információt meg kellett keresniük, a könyvtárba mentek , és természetesen meglátogatta a kártyakatalógust, vagy azt a ravasz hölgyet, aki ott dolgozott. Nagyon szórakoztató volt a kóborolás is, ha csak meg akarta nézni, és biztos, hogy talán csak valami ügyeset fedez fel, érdekes tényeket találhat meg, amelyeket még nem tudott, de ha valóban szüksége volt valami kiderítésére, és tudta, mit keres, szüksége van a kártyakatalógusra, és természetesen a vállalati egyenértékű adatkatalógus is, amely segíthet megvilágítani az összes adatot felhasználóink számára, hogy gazdagítsák, felfedezzék, megosszák, fogyasztják, és valóban segítsenek az embereknek hogy gyorsabban és könnyebben tudjon adatokat szolgáltatni.
Tehát ma megkaptuk Dez Blanchfield-et, a saját adattudósunkat, és van egy doktor Robin Bloor, a saját főanalitikusunk, David Crawford az Alation-től, aki a cég adatkatalógus-történetét fogja beszélni, de először vezet Dez-vel Dez, átadom a labdát neked, és a padló a tied.
Dez Blanchfield: Köszönöm, köszönöm, hogy ma megkaptam. Ez a kérdés rendkívül érdekel, mivel szinte minden szervezetben, amellyel napi munkám során találkozom, pontosan ugyanazt a problémát találom, amelyről nagyon röviden beszéltünk a show előtti rendezvényen, és ez az, hogy a legtöbb olyan szervezetnél, amely több mint éve üzleti tevékenységet folytat, rengeteg adat van eltemetve a szervezet körül, különböző formátumok, és valójában olyan ügyfelek vannak, akiknek adatkészletei visszatérnek a Lotus Notes-hez, adatbázisokhoz, amelyek egyes országokban még mindig futnak pszeudointernetként, és ők mind szembesülnek ezzel a kihívással, hogy ténylegesen megtalálják, hol vannak adataik, és hogyan lehet hozzájutni hozzájuk, ki biztosítja az adatokhoz való hozzáférést, mikor biztosítják az adatokhoz való hozzáférést, és hogyan kell katalógust, és hogyan juthat el olyan helyre, ahol mindenki tudja: A) tisztában van azzal, mi van és mi van benne, és B), hogyan lehet hozzáférni ehhez és használni. És az egyik legnagyobb kihívás természetesen a megtalálása, a másik nagy kihívás pedig az, hogy tudjuk, mi van benne, és hogyan lehet elérni.
Tudom, hogy tucatnyi adatbázisom van, de valójában nem tudom, mi van ott, vagy hogyan tudom megtudni, mi van benne, és mindig, ahogy a bemutató előtti adatokban találjuk meg, hajlamos vagy sétálni az irodában, és kérdéseket tehet fel, és áthaladhat a kockás falakon, kipróbálhatja és kitalálhatja. Gyakran tapasztalatom szerint előfordulhat, hogy még a recepcióra, a recepcióra sétálsz, és azt kérdezi, vajon tudja valaki beszélni fogok vele. Gyakran nem mindig az informatikusok, mert nem tudják az adatkészletet, mert valakit éppen létrehoztak, és ez valami egyszerű is lehet - gyakran találunk valamilyen projektet, amely feláll az informatikai környezetben, és a projektmenedzser mindent felhasznált egy táblázatról, és rengeteg értékes információt kapott az eszközök, név és név körül, és ha nem ismeri a projektet, és nem ismeri azt a személyt, akkor csak nem találja meg ezt az információt. Egyszerűen nem érhető el, és meg kell kapnia az eredeti fájlt.
Van egy olyan kifejezés, amelyet az adatok vonatkozásában áttörtek, és nem feltétlenül értek egyet azzal, de azt hiszem, hogy ez egy aranyos kis dobásmód, vagyis bizonyos mennyiségű ember azt gondolja, hogy az adatok az új olaj, és biztos vagyok benne, hogy mi Néhány szempontból is később, ma később foglalkozom velük. De amit észrevettem, természetesen részesei ennek az átalakulásnak, az, hogy az üzleti vállalkozások szervezetei, amelyek megtanultak értékelni adataikat, jelentős előnyt szereztek versenytársaikkal szemben.
Körülbelül öt vagy hat évvel ezelőtt volt egy érdekes cikk az IBM-nél, és körülbelül 4000 céget vizsgáltak meg itt Ausztráliában, és összegyűjtötték az összes információt, teljesítményadatokat, pénzügyi információkat, összegyűjtötték egy forró edénybe, majd elküldték az ausztrál közgazdaságtudományi iskolának, és ténylegesen itt kezdtek közös tendenciát kialakítani, és az volt az, hogy a technológiát kihasználó vállalkozások mindig olyan versenyelőnyt szereztek társaikkal és versenytársaikkal szemben, hogy a versenytársak szinte soha nem tudnak felzárkózni, és azt hiszem ez nagyon igaz a helyzet az adatokkal kapcsolatban, amelyeket látunk, amikor az emberek digitális átalakulásnak hívják azokat a szervezeteket, amelyek egyértelműen kitalálták, hogyan keressék meg a megszerzett adatokat, hogy ezeket az adatokat elérhetővé tegyék, és nagyon könnyű fogyóeszközként elérhetővé tegyék. a szervezet számára, anélkül, hogy mindig tudnánk, miért lehet szüksége a szervezetnek, és jelentős előnyt szerezzünk a versenytársakkal szemben.
Van néhány példa erre a diára, amelyeket láthat. Az egyik vonalom az, hogy véleményem szerint szinte minden iparágban zajló nagymértékű zavarokat adatok támasztják alá, és ha a jelenlegi tendenciáknak valami köze van, akkor véleményem szerint csak tényleg Azért indult, mert amikor a régóta fennálló márkák végre felébrednek, hogy mit jelent ez, és belépnek a játékba, akkor nagykereskedelemben lépnek be a játékba. Amikor az olyan nagykereskedők, akiknek adatai vannak hegyekben, elkezdenek valamilyen történelmi elemzést alkalmazni az adatokra, ha még tudják, hogy létezik, akkor az online játékosok közül néhány egy kis ébresztési hívást fog kapni.
De a legtöbb ilyen márkanév alatt azt értem, hogy megvan az Uber, aki a világ legnagyobb taxitársasága. Nincsenek taxik, tehát mi teszi őket varázslatossá, mi az adatuk? Az Airbnb, a legnagyobb szállásadó, megvan a WeChat, a világ legnagyobb telefonszolgáltatója, ám nincs tényleges infrastruktúrájuk, kézibeszélõk és telefonvonalak. Alibaba, a bolygó legnagyobb kiskereskedője, ám nem tartozik a készletbe. , a szó legnagyobb médiavállalata. Úgy gondolom, hogy az utóbbi számban most 1,4 milliárd aktív adatfelhasználójuk volt, ami gondolkodást okoz. Nem található sehol a közelben - azt hiszem, valaki azt állította, hogy a bolygó egynegyede valójában ott van minden nap, és mégis itt van egy tartalomszolgáltató, amely valójában nem hozza létre a tartalmat, az általuk szolgáltatott összes adatot nem saját készítette, hanem az ő előfizetők, és mindannyian tudjuk ezt a modellt.
A SocietyOne, amelyről esetleg nem is hallottál, ez egy helyi márka, azt hiszem, néhány országban ez egy bank, amely valójában peer-to-peer hiteleket nyújt, tehát más szavakkal nincs pénze. Csak annyit jelent, hogy kezeli a tranzakciókat, és az adatok alatt vannak. Netflix, mindannyian nagyon, nagyon ismerjük ezt. Van egy érdekes vonalhajózó itt. Amikor a Netflix-et jogszerűen lehetett használni Ausztráliában, amikor hivatalosan is bejelentették, akkor nem kellett VPN-t használnia ahhoz, hogy elérje, sok ember szerte a világon hajlamos - ha nem tudod megszerezni a helyi térségben -, amikor A Netfix Ausztráliában indult, és 40% -kal növeli az internetes kapcsolatok nemzetközi sávszélességét, tehát csaknem megduplázta az internethasználatot Ausztráliában egy éjszakán keresztül, csupán egy alkalmazás, egy felhő által üzemeltetett alkalmazás, amely csak adatokkal játszik. Ez csak egy elgondolkodtató statisztika.
És természetesen mindannyian ismerjük az Apple-t és a Google-t, de ezek a legnagyobb szoftvervállalatok a bolygón, ám valójában nem írják le az alkalmazásokat. Mi a következetes dolog ezekkel a szervezetekkel? Nos, adatok vannak, és nem jutottak oda, mert nem tudták, hol vannak az adatuk, és nem tudták, hogyan kell katalogizálni.
Most azt tapasztaljuk, hogy létezik ez az egész új eszközosztály, amelyet adatnak neveznek, és a vállalatok felébresztik azt. De nem mindig rendelkeznek eszközökkel, know-how-val és miért, hogy ezeket az adatokat feltérképezzék, ezeket az adatokat katalogizálják és elérhetővé tegyék, de azt tapasztaltuk, hogy szinte nem fizikai eszközökkel rendelkező vállalatok rekordidő alatt szerzett magas piaci értéket. ezen az új adat eszközosztályon keresztül. Mint mondtam, néhány régi játékos most felébred erre, és minden bizonnyal kihozza azt.
Nagy rajongóm vagyok a népi utazás egy kis részén, tehát a tizennyolcszáz, a tizennyolcszázadik században, és többet fogsz tudni erről az amerikai piacon, kiderült, hogy a népszámláláshoz Úgy gondolom, hogy évente tízévente futtatta őket, de ha évente népszámlálást fog készíteni, akkor akár nyolc vagy kilenc évbe is telhet, amíg ténylegesen elvégzi az adatok elemzését. Kiderült, hogy ez az adatkészlet papíronként dobozokban maradt, és szinte senki sem találta meg. Csak tovább pumpálta ezeket a jelentéseket, de a tényleges adatokat nagyon nehéz beszerezni, hasonló helyzet van egy másik világ szempontjából jelentős pillanattal, az 1940-es évek körül, a második világháborúval, és ez a Bletchley Park Bombe Bombát írta. , és egy hatalmas, számot ropogó elemző eszköz volt, amely kis adatkészleteken halad keresztül, jeleket találhat benne, és arra szolgál, hogy segítsen feltörni a kódokat az Enigmán keresztül.
Ez a lényeg ismét lényegében egy olyan eszköz volt, amelyet nemcsak katalogizáltak, hanem az adatok címkézésére és leképezésére, és lehetővé tették a minták felvételét és az adatkészletekben történő megtalálását, ebben az esetben a kódok törését, a kulcsok és kifejezések megtalálását és a rendszeresen az adatkészletekben, és így ezen az úton haladtunk az adatokban található dolgok megtalálása és az adatok katalogizálása felé vezető úton.
És akkor jöttek ezek a dolgok, ezek a hatalmas, olcsó gépek állványok, csak a polcokon. És csináltunk néhány nagyon érdekes dolgot, és az egyik dolog, amit velük tettünk, nagyon olcsó klaszterek építése, amelyek elkezdhetik a bolygó indexálását, és nagyon híresen ezek a nagy márkák, amelyek jöttek és mentek, de valószínűleg a Google a leggyakoribb otthona márka, amiről mind hallottunk - valódi igevé válik, és tudod, hogy sikeres vagy, amikor márkád ige lesz. Amit a Google megtanított nekünk, anélkül, hogy észrevennénk, valószínűleg az üzleti világban, az volt, hogy képesek voltak az egész bolygót egy bizonyos szintre indexelni, és katalógusba állítani az egész világon található adatokat, és nagyon könnyen elérhetővé tették őket, Kényelmes forma egy kicsit apró, egysoros képletben, egy olyan weboldal, amelyben szinte semmi nincs rajta, és beírja a lekérdezést, megy és megtalálja, mert már bejárták a bolygót, indexelték és könnyen elérhetővé tették.
És amit észrevettünk: „Hát tedd fel, ezt nem csináljuk a szervezetekben - miért van ez? Miért van olyan szervezetünk, amely képes az egész bolygót feltérképezni, indexelni, feltérképezni és indexelni, és elérhetővé tenni, megkereshetjük, majd rákattinthatunk az elindulásra és megtalálhatjuk, hogy jön Nem tették ezt meg belsőleg? ”Tehát a világon sok ilyen apró gépsor található, amelyek intranetekre szolgálnak és dolgokat találnak, ám valójában csak megragadják azt a gondolatot, hogy túljutnak a hagyományos weboldalon, vagy egy fájlszerver.
Ahelyett, hogy sokféle módon belépnénk az új generációs adatkatalógusba, az adatokhoz való hozzáférés felfedezése post-it jegyzetek és vízhűtéses beszélgetések útján valójában már nem megfelelő módszer az adatok felfedezésére és katalogizálására, és valójában nem hiszem, hogy valóban valaha is volt-e. . Többé nem vezethetjük ezt a teljes kihívást az embereknek, akik csak jegyzeteket továbbítanak, jegyzeteket feladnak és beszélgethetnek róla. Jól és valóban túl vagyunk azon a területen, ahol az adatkatalógus következő és legfontosabb megközelítése jött és ment. Körbe kell vennünk a karjainkat. Ha ez egy egyszerű kérdés, akkor már korábban sok szempontból megoldottuk azt, de szerintem ez nem könnyű kérdés, csak az adatok indexálása és meghívása csak egy része, tudva, mi van az adatokban, és metaadatokat készít körül, amit felfedezzünk, majd könnyű, fogyasztható formában elérhetővé tesszük, különösen az önkiszolgálás és az elemzés számára. Ez továbbra is megoldódó probléma, de a puzzle öt éven belül sok része jól megoldható és elérhető.
Mint tudjuk, az emberek az adatok katalogizálása a kudarc receptje, mivel az emberi hibák az egyik legnagyobb rémálom, amellyel az adatfeldolgozásban foglalkozunk, és rendszeresen beszélek erről a témáról, ahol véleményem szerint az emberek valószínűleg a legnagyobb rémálom a papírlapok kitöltése. nagy adatokkal és elemzéssel foglalkozunk, hogy folyamatosan javítsuk az általuk elvégzett dolgokat, még az egyszerű dolgokig is, például a dátumokhoz és a mezőkhöz, az emberek rossz formátumba állítva.
De amint mondtam, láttuk, hogy az internetes keresőmotorok minden nap indexelik a világot, tehát arra gondolunk, hogy az üzleti adatkészleteknél a felderítési folyamatban meg lehet csinálni, és az eszközök és rendszerek könnyen elérhető, mivel ma készül tanulni. Tehát a trükk, véleményem szerint, a megfelelő eszközök kiválasztása, a legjobb eszközök a munkához. És még inkább, ráadásul megtaláljuk annak megfelelő részét, amely segít megkezdeni ezt az utat. És azt hiszem, hogy erről ma hallani fogunk, de mielőtt megtennénk, átmegyek a kollégiumomba, Robin Bloorba, és hallom, hogy ő foglalkozik a témával. Robin, átadhatom neked?
Robin Bloor: Igen, természetesen megteheti. Lássuk, működik-e ez, igen, igen. Oké, én más irányból jöttem, mint a Dez valójában, de végül ugyanabban a helyen vagyok. Ez az adatokhoz való kapcsolódásról szól, tehát csak azt hittem, hogy valóban pontról pontra megyek át az adatokhoz való kapcsolódás valóságában.
Való tény, hogy az adatok szélesebb körűen fragmentáltak, mint valaha. Az adatmennyiség fenomenálisan növekszik, de valójában a különféle adatforrások hihetetlen ütemben növekednek, ezért az adatok folyamatosan egyre széttöredezettebbé válnak. De különösen az analitikai alkalmazások miatt - de nem csak ezek az alkalmazások - valóban jó oka van arra, hogy csatlakozzunk ezekhez az adatokhoz, tehát nehéz helyzetben vagyunk, egy szétaprózott adatok világában vagyunk, és van lehetőség az adatokban, amikor Dez az új olajnak hívta.
Az adatokról nos, hogy forgó lemezen éltek, akár fájlrendszerekben, akár adatbázisokban. Most sokkal változatosabb környezetben él, fájlrendszerekben, de manapság Hadoop példányokban, vagy akár Spark példányokban is. Több adatbázisban él. Nem olyan régen szabványosítottunk néhány relációs adatbázist, és tudod, hogy az elmúlt öt évben kinyílt az ablakon, mert szükség van dokumentum-adatbázisokra és grafikon-adatbázisokra, tehát tudod, a játéknak van megváltozott. Tehát forgó lemezen élt, de most SSD-n él. A legfrissebb SSD mennyiség - minden bizonnyal a legújabb SSD egység a Samsungtól jön ki - húsz gigabájtot, ami hatalmas. Most a memóriában él, abban az értelemben, hogy az adatok elsődleges példánya lehet a memóriában, nem pedig a lemezen. Ilyen rendszereket nem építettünk fel; most csináljuk. És a felhőben él. Ami azt jelenti, hogy ezekben a dolgokban élhet, felhőben, nem feltétlenül tudja, hol van egy felhőben, csak a címe lesz.
Csak annak érdekében, hogy a hazafelé haladjon, Hadoop eddig nem volt bővíthető adattároló. Reméljük, hogy ez kibővíthető méretű adattárolóvá válik, és csakis egyetlen fájlrendszerré válik mindenre, és így is lesz - alapvetően szivárványok jelennek meg az égen, és az egyszarvúak körül táncolnak, és erre sem került sor. Ami azt jelenti, hogy az adatátvitel problémájával állunk szemben, és időnként nincs szükség az adatátvitelre, de ez szintén nehézség. Manapság az adatoknak tényleg gravitációja van, miután bekerült a multi-terabájtos adatokba, felvette és körülvette őket, oka lehet, hogy a késések megjelennek a hálózatán, vagy hogy különböző helyeken jelennek meg. Ha adatot szeretne továbbítani, az időzítés fontos tényező. Manapság szinte mindig van bizonyos korlátozás arra vonatkozóan, hogy mennyi időt kell elérnie egy dolog, egy adat egyik helyről a másikra történő átvételéhez. Korábban úgy gondoltuk, mint kötegelt ablakok, amikor a gép ilyen tétlen volt, és függetlenül attól, hogy mennyi adatot birtokol, egyszerűen csak eldobhatja, és mindez működni fog. Nos, ez eltűnt, sokkal valós idejű világban élünk. Ezért az időzítés tényező. Amint meg akarja mozgatni az adatokat, tehát ha az adatok gravitációban vannak, valószínűleg nem tudja áthelyezni azokat.
Az adatkezelés tényező abban az értelemben, hogy ténylegesen meg kellett kezdenie ezeket az adatokat, ezt nem kapja meg ingyen, és szükség lehet a replikációra annak érdekében, hogy az adatok valóban megszerezzék a szükséges munkát, mert előfordulhat, hogy ne légy bárhova is. Lehet, hogy nincs elegendő erőforrása az adatok normál feldolgozásához. Így az adatok megismétlődnek, és az adatok többször is megismétlődnek, mint amennyit képzelne. Úgy gondolom, hogy valaki régen azt mondta nekem, hogy az átlagos adat legalább két és fél alkalommal ismétlődik. Az ESB-k vagy a Kafka lehetőséget kínál az adatáramlásra, de manapság ehhez architektúrát igényel. Manapság tényleg úgy kell gondolkodnia úgy vagy úgy, hogy mit jelent valójában az adatátvitel. Ezért általában előnyösebb az adatokhoz való hozzáférés, ahol van, mindaddig, amíg természetesen megkapja a szükséges teljesítményt, amikor ténylegesen megkeresi az adatokat, és ez függ a körülményektől. Tehát ez nehéz helyzet mindenesetre. Az adatkérdezések vonatkozásában régen az SQL szempontjából is gondolkodhattunk, valójában most felmerült a kérdés különböző formája, SQL igen, de a szomszédos, gráf lekérdezések mellett is, a Spark csak egy példa a gráf elvégzésére. , mivel a kereséshez sokkal inkább, mint valaha, a regex típusú keresésekre is sor került, ami valóban bonyolult minták keresése, és valódi mintázati illesztés, ezek a dolgok valójában buborékosak. És mindegyik hasznos, mert megkapja azt, amit keres, vagy megkaphatja azt, amit keres.
A napokban végzett lekérdezések több adatot fednek le, tehát nem mindig tette ezt, és a teljesítmény gyakran megdöbbentő, ha ezt teszed. Tehát ez a körülményektől függ, de az emberek elvárják, hogy több adatforrásból is lekérdezzék az adatokat, így az egyik vagy másik fajta adatföderáció egyre aktuálisabbá válik. Az adat virtualizáció, amely a teljesítménytől függően más módon is megtehető, szintén nagyon gyakori. Az adatkérdezések valójában egy folyamat részét képezik, nem pedig az egész folyamatot. Érdemes hangsúlyozni, hogy ha ténylegesen az elemzési teljesítményre vonatkozik, a tényleges elemzés szörnyen sokkal tovább tarthat, mint az adatgyűjtés, mert ez a körülményektől függ, de az adatkérdezések feltétlenül szükségesek, ha bármilyen egyfajta elemzés több adatforráson, és valójában tényleg olyan képességekkel kell rendelkeznie, amelyek átfogóak.
Tehát a katalógusokról.A katalógusok okból léteznek, legalább azt mondjuk, hogy tudod, vannak, könyvtáraink vannak, sémáink vannak adatbázisokban, és mindegyik katalógusunk van, és bárhol is van, egy helyet fog találni, és akkor valójában úgy találja, hogy van valamilyen katalógus, és az egységes globális katalógus egy nyilvánvalóan jó ötlet. De nagyon kevés vállalat rendelkezik ilyennel. Emlékszem, vissza a kétezer - a kétezer pánik évben - emlékszem arra, hogy a kommunisták még azt sem tudták meghatározni, hogy hány végrehajtható programja van, nem gondolom, hány különböző adattároló van, és valószínűleg ez a helyzet most tudják, hogy a legtöbb vállalat nem ismeri aktívan globális értelemben, hogy milyen adatokkal rendelkeznek. De nyilvánvalóan egyre inkább szükségessé válik egy globális katalógus létrehozása, vagy legalább egy átfogó kép megismerése arról, hogy mi történik az adatforrások növekedése és az alkalmazások folyamatos növekedése miatt, és ez különösen az elemzéshez szükséges, mert ön is egyfajta, és vannak más kérdések itt is, mint a vonal és az adatokkal kapcsolatos problémák, és a biztonsághoz az adatkezelés sok szempontjára van szükség, ha valójában nem tudja, milyen adatokkal rendelkezik, az az ötlet, hogy irányítani fogja, ez csak abszurd. Tehát az összes adat valamilyen módon katalogizálva csak tény. A kérdés az, hogy a katalógus koherens-e, és valójában mit lehet ezzel csinálni. Tehát visszamegyek Rebecca-ba.
Rebecca Jozwiak: Oké, köszönöm Robinnak. Következőként megkapjuk David Crawford-ot az Alation-től. David megyek előre, és átadom a labdát neked, és elveheted.
David Crawford: Nagyon szépen köszönöm. Nagyon nagyra értékelem, hogy srácok, akik velem vannak ezen a show-n. Úgy gondolom, hogy elkezdem ezt kezdeni, ezért úgy gondolom, hogy itt az a szerep, hogy átvegyem ezt az elméletet és megnézem, hogyan valósul meg annak alkalmazása, és milyen eredményeket tudunk elérni a valódi ügyfeleknél, és így láthatjuk néhányan a dián, szeretnék beszélni arról, hogy milyen eredményeket fogunk látni az analitikai fejlesztésekben. Tehát a vita motiválása érdekében arról fogunk beszélni, hogy hogyan jutottak oda. Tehát szerencsés vagyok, hogy nagyon szorosan együttműködtem sok igazán okos emberrel, ezekkel az ügyfelekkel, és csak néhányat szeretnék rámutatni, akik képesek voltak ténylegesen mérni, és beszélni arról, hogy az adatkatalógus milyen hatással volt elemzőjükre. munkafolyamatot. És csak azért, hogy rövidesen az élen maradjunk, azt hiszem, az egyik dolog, amelyet látunk megváltoztatni, az adatkatalógusokkal szemben a korábbi közvetített megoldásokkal, és az egyik módja annak, hogy a kapcsolatok valóban gondolkozzanak az általunk összeállított megoldásokra, az elemzőktől kezdve. és dolgozzon hátra. Mondjuk, tegyük ezt az elemzők termelékenységének lehetővé tételére. A pusztán a megfelelés ellen vagy a pusztán leltár elkészítésével szemben olyan eszközt készítünk, amely az elemzőket termelékenyebbé teszi.
Tehát, amikor egy pénzügyi szolgáltatóval, a Square Square szolgáltatással foglalkozom egy tudóssal, van egy srác, Nick, aki elmondta nekünk, hogy az ő több órát vett igénybe, hogy megtalálja a megfelelő adatkészletet a jelentés elindításához, és most másodpercek alatt elvégezze a piaci részesedés szerinti keresést, beszélgettünk a CTO-val, aki az Square elemét használó elemzőinek, bocsánat, az Alation-ot használta, hogy megtudja, mi az, milyen előnyöket láttak, és 50 a termelékenység százalékos növekedése, és hogy a világ egyik legnagyobb kiskereskedőjének, az eBay-nek több, mint ezer embere van, akik rendszeresen végeznek SQL elemzést, és nagyon szorosan együtt dolgozom ott a Deb Says-szal, aki a projekt Az adatkezelő csapat vezetője, és úgy találta, hogy amikor a lekérdezők elfogadják az Alation-t, elfogadnak egy katalógust, akkor kétszer olyan gyors sebességgel látják az új lekérdezések írását az adatbázishoz képest.
Tehát ezek valódi eredmények, ezek az emberek ténylegesen alkalmazzák a katalógust a szervezetükben, és szeretném átnézni, mi szükséges ahhoz, hogy felálljon. A katalógus kialakulása egy vállalatban, és talán a legfontosabb dolog az, hogy nagy része automatikusan történik, tehát Dez beszélt a rendszerekről, a rendszerek megismeréséről, és pontosan ezt teszi a modern adatkatalógus. Tehát telepítik az Alation-t az adatközpontjukba, majd összekapcsolják az adatkörnyezetük különböző metaadat-forrásaival. Egy kicsit az adatbázisokra és a BI eszközökre koncentrálok - ezek közül mindkettőből ki fogjuk vonni a műszaki metaadatokat, alapvetően arról, hogy mi létezik. Rendben, mi az asztalok? Milyen jelentések? Mik a jelentésdefiníciók? Tehát kibontják a műszaki metaadatokat, és automatikusan létrejön egy katalógus lapot a rendszerben lévő minden objektumra, majd kibontják és rétegelik a műszaki metaadatok tetejére, és rétegetik a felhasználási adatokat. Ez elsősorban az adatbázisból származó lekérdezési naplók olvasásával történik, és ez egy igazán érdekes információforrás. Tehát minden alkalommal, amikor egy elemző lekérdezést ír, amikor egy jelentéstételi eszköz - függetlenül attól, hogy otthont termesztett-e vagy nem - a polcon, akkor a jelentéskészítő eszköz lekérdezést futtat-e az irányítópult frissítése érdekében, amikor egy alkalmazás lekérdezést futtat az adatok beszúrására, hogy működjön adatkészlet - ezeket a dolgokat az adatbázis-lekérdezési naplók rögzítik. Függetlenül attól, hogy van-e katalógusa, vagy nem, rögzíti őket az adatbázis lekérdezési naplójában. Az adatkatalógus, és különösen az Alations katalógus képes ezeket olvasni, beolvasni ezeket a naplókat, megkérdezni a benne levő kérdéseket, és létrehozni egy igazán érdekes felhasználási grafikont ezek alapján a naplók alapján, és ezt a játékba vesszük a jövőbeli felhasználók tájékoztatása érdekében az adatok arról, hogy az adatok korábbi felhasználói hogyan használták fel.
Tehát összegyűjtjük ezeket az ismereteket egy katalógusba, és csak annak érdekében, hogy ezt valóban megvalósítsuk, ezeket az integrációkat már telepítettük az ügyfelekre, tehát láttuk az Oracle, a Teradata, a Redshift, a Vertica és egy csomó más relációs adatbázisok. A Hadoop világában számos SQL található a Hadoop-on, valamilyen relációs, meta-tároló a Hadoop fájlrendszer tetején, az Impala, a Tez, a Presto és a Hive, a felhő Hadoop magánszolgáltatókkal, mint például az Altiscale, sikerrel jártunk, és mi képesek voltak csatlakozni a Tableau szerverekhez, a MicroStrategy szerverekhez és indexelni az ott található műszerfalonkat, valamint integrációkat végeztek az olyan tudományos térképészeti eszközökkel, mint a Plotly.
Tehát csatlakozunk ezekhez a rendszerekhez, összekapcsoltuk ezeket a rendszereket az ügyfelekkel, behúztuk a műszaki metaadatokat, bevontuk a használati adatokat, és automatikusan elkészítettük az adatkatalógust, de ily módon központosítja a tudást, de csak a dolgok adatkatalógusba történő központosítása önmagában nem biztosítja azokat a valóban csodálatos termelékenységnövelő tényezőket, amelyekről az eBay-vel, a Square-rel és a piaci részesedéssel beszéltünk. Ennek érdekében valójában meg kell változtatnunk azt a módszert, amellyel gondolkodunk az elemzők számára az ismeretek átadásáról. Az egyik kérdés, amelyet felkérnek felkészíteni erre: „Hogyan befolyásolja a katalógus valójában az elemző munkafolyamatait?”
Ez az, amit egész nap gondolkodunk, és annak érdekében, hogy beszéljünk a gondolkodás változásáról, a push versekről a pull modellről, gyors analógiát akartam készíteni azzal, hogy milyen volt a világ a Kindle elõtt és után. Tehát ez csak egy olyan élmény, amelyet néhányan kaphatnak, amikor egy fizikai könyvet olvasnak, amikor találkoznak egy szóval, nem biztosak abban, hogy nagyon jól tudják a szó meghatározását, talán meggondolhatják ezt a következtetést, nem valószínű, hogy felszállnak a kanapéra, sétálnak a könyvespolchoz, megtalálják a szótárat, lerontják, és a megfelelő helyre fordulnak a szavak ábécé sorrendjében, hogy megbizonyosodjanak arról, hogy igen, pontosan voltad ezt a meghatározást, és tudod az árnyalatait. Tehát nem igazán történik meg. Tehát vásárol egy Kindle alkalmazást, és elkezdi ott olvasni könyveket, és olyan szót lát, amelyben nem vagy teljesen biztos, és megérinti a szót. Hirtelen, ugyanazon a képernyőn, a szó szótár-meghatározása minden árnyalattal, különböző példákkal, és egy kicsit elcsúsztat, és kap egy Wikipedia cikket erről a témáról, újra ellop, kapsz egy olyan fordítóeszközt, amely képes lefordítani más nyelvekre vagy más nyelvekre, és hirtelen a nyelvtudásod sokkal gazdagabb, és ez hihetetlenül sokszor fordul elő, összehasonlítva azzal, amikor kellett menni és húzza magának ezt az erőforrást.
És ezért azt fogom vitatni, hogy az elemző munkafolyamata és az, hogy az elemző hogyan kezeli az adatdokumentációt, valójában nagyon hasonló ahhoz, ahogyan az olvasó interakcióba lép a szótárral, akár fizikai, akár pedig a Kindle, és így mi, ahogyan valóban láttuk ezt a termelékenységnövelést, nem a katalógus kiömlése, hanem az elemző munkafolyamatához történő csatlakoztatása, és ezért felkértek, hogy tegyek itt egy demonstrációt, és szeretnék hogy ennek a bemutatónak a középpontjában álljon. De csak be akarom állítani a bemutató résztvevőit. Amikor arra gondolunk, hogy az adattudást a felhasználóknak továbbadjuk, amikor szükségük van rá, azt gondoljuk, hogy a megfelelő hely erre, az a hely, ahol időt töltenek és ahol elemzést végeznek, SQL lekérdező eszköz. Egy olyan hely, ahol SQL lekérdezéseket írhat és futtathat. Így készítettünk egyet, és építettük, és a dolog, ami valóban különbözik más lekérdező eszközöktől, az, hogy mélyen integrálódik az adatkatalógusba.
Tehát a lekérdező eszközünk neve Alation Compose. Ez egy web alapú lekérdező eszköz, és másodpercenként megmutatom neked. Webes alapú lekérdező eszköz, amely az összes előző diaban látott adatbázis-logón keresztül működik. Különösen azt próbálom demonstrálni, hogy a katalógus információk a felhasználók felé kerüljenek. És ezt a különféle háromféle módon hajtja végre. Beavatkozások útján, és amikor valaki adatkezelőnek vagy adatkezelőnek, vagy valamilyen módon adminisztrátornak, vagy kezelőnek mondja, mondhatja: „Szeretnék közbeiktatni egy jegyzetet vagy figyelmeztetést a a munkafolyamatot, és győződjön meg arról, hogy a felhasználónak megfelelő időben eljuttatta-e. ”Ez egy beavatkozás, és ezt jól megmutatja.
Az intelligens javaslatok olyan módszer, amikor az eszköz a katalógus összesített ismeretét felhasználja a lekérdezés objektumainak és részeinek javasolására, miközben írja. A legfontosabb dolog tudni, hogy valóban kihasználja a lekérdezési napló előnyeit, hogy felhasználáson alapuló dolgokat javasoljon, és a korábban írt lekérdezések páros részeit is megtalálja. És jól mutasd meg.
És akkor előnézetek. Az előnézetek az, amikor gépelnek egy objektum nevét, mindent megmutatunk, amit a katalógus tud, vagy legalábbis a legrelevánsabb dolgokat, amelyeket a katalógus tud az adott objektumról. Tehát az adatok mintái, akik már korábban felhasználták, az objektum logikai neve és leírása, mind jönnek hozzád, miközben írja, anélkül, hogy meg kellene kérnie.
Tehát további beszélgetés nélkül eljutok a bemutatóra, és csak arra várok, hogy megjelenjen. A lekérdezés eszköz, amit itt megmutatok. Ez egy dedikált SQL írási felület. Bizonyos értelemben önálló felület a katalógustól. Dez és Robin beszélt a katalógusról, és Im egy kicsit ugrott át a katalógus felületén egyenesen arra, hogy az hogyan hozta be közvetlenül a munkafolyamatot.
Csak azt a helyet mutatom meg, ahol beírhatom az SQL-t, és alul látni fogod, hogy van valamilyen információnk a hivatkozott objektumokról. Szóval csak elkezdek gépelni egy lekérdezést, és megállok, amikor az egyik ilyen beavatkozáshoz eljutok. Szóval beírom a „Kiválaszt” lehetőséget, és szeretném az évet. Akarom a nevet. És keresni fogok néhány fizetési adatot. Tehát ez egy oktatási adatkészlet. Információval rendelkezik a felsőoktatási intézményekről, és a táblák egyikében a karok átlagos fizetését vizsgálom.
Így valójában Ive beírta a „fizetés” szót. Nem pontosan az oszlop nevében. Mind a logikai metaadatokat, mind a fizikai metaadatokat felhasználjuk javaslatok megfogalmazására. És amit itt szeretnék rámutatni, az itt megjelenő sárga doboz. Azt mondja, hogy figyelmeztetés van erre az oszlopra. Nem kerestem ezt, és nem vettem egy órát az adatok megfelelő felhasználására. Nekem jött, és ez valószínűleg figyelmeztetés az adatokkal kapcsolatos titoktartási megállapodásra. Tehát vannak néhány közzétételi szabályok. Ha lekérdezem ezeket az adatokat, ki szeretném venni az adatokat ebből a táblázatból, akkor vigyáznom kell az adatok közzétételére. Tehát itt van kormányzási politikája. Van néhány olyan megfelelési kihívás, amely sokkal könnyebbé teszi ennek a politikának a betartását, amikor erről akkor tudom, hogy az adatokat vizsgálom.
Így hát nekem ez jött, és aztán a tandíjat is megnézem. És itt látjuk, hogy az előnézetek játszanak. Ezen a tandíj oszlopban látom - ott egy tandíjat tartalmazó oszlop az intézménytáblán, és ennek profilját látom. Alation megy, és kihúzza a mintát az asztalokból, és ebben az esetben valami nagyon érdekesnek mutat nekem. Megmutatja az értékek eloszlását és azt, hogy a nulla érték 45-szerese volt a mintában, és több, mint bármely más érték. Tehát némi értelmet kapott, hogy esetleg hiányoznak bizonyos adatok.
Ha haladó elemző vagyok, akkor ez már része lehet a munkafolyamatomnak. Különösen akkor, ha egy különösen aprólékos vagyok, ahol idő előtt elvégzek egy csomó profilozási kérdést. Amikor új adatokhoz közelítek, mindig arra gondolok, hogy mi az adatlefedettségünk. De ha új vagyok az adatelemzésben, ha nem vagyok új az adatkészletben, akkor azt feltételezem, hogy ha oszlopról van szó, akkor az mindig kitöltve van. Vagy azt feltételezem, hogy ha nincs kitöltve, akkor nem nulla, nulla vagy valami hasonló. De ebben az esetben nagyon sok nulla van, és ha átlagot csinálnék, akkor valószínűleg tévesek lennének, ha csak azt feltételezem, hogy ezek a nullák valójában nulla nincsenek hiányzó adatok helyett.
De Alation, azáltal, hogy beilleszti ezt az előnézetet a munkafolyamatba, egyfajta kéri, hogy vessen egy pillantást erre az információra, és lehetőséget ad még a kezdő elemzőknek is, hogy láthassanak valamit, amit itt észrevehetnek az adatokkal kapcsolatban. Tehát megvan az előnézet.
A következő dolog, amit megteszek, az lesz, hogy megpróbálom megtudni, hogy mely táblázatokból szerezhető be ez az információ. Tehát itt látjuk az okos javaslatokat. Ez folyamatosan megy, de különösen itt még csak nem is írtam semmit, csak azt javasolnám, hogy mely táblákat szeretném használni ehhez a lekérdezéshez. És a legfontosabb dolog erről tudni, hogy kihasználja a használati statisztikák előnyeit. Tehát egy olyan környezetben, mint például az eBay, ahol százezrek táblái vannak egyetlen adatbázisban, amelynek olyan eszköze van, amely valamilyen módon eltalálja a búzát a pelyvákból, és ezeknek a felhasználási statisztikáknak a felhasználása nagyon fontos a javaslatokat érdemel valami.
Tehát javasolni fogja ezt a táblázatot. Az előnézetet megnézve valójában három oszlopot kiemelünk, amelyeket a lekérdezésemben már említettem. Szóval tudom, hogy van három, de ennek még nincs neve. Meg kell szereznem a nevet, szóval csatlakozom. Amikor csatlakozom, most megint vannak ezek az előnézetek, amelyek segítenek megtalálni, hol van a névvel ellátott táblázat. Tehát látom, hogy ennek szépen formázott, megfelelő módon nagybetűs névvel rendelkezik. Úgy tűnik, hogy mindegyik intézménynek van egy sor neve, tehát megragadom ezt, és most szükségem van egy csatlakozási feltételre.
Tehát itt, amit Alation csinál, ismét visszatekint a lekérdezési naplókra, látja, hogy e két tábla korábban csatlakozott-e, és különféle javaslatokat javasol a csatlakozásukhoz. Még egyszer, itt van néhány beavatkozás. Ha az egyiket megnézem, akkor az figyelmeztetést kapott, amely megmutatja, hogy ezt csak összesített elemzésre szabad felhasználni. Valószínűleg rosszul jár, ha intézményenként próbál tenni valamit az intézményen keresztül. Míg ezt az OPE ID azonosítóval jóváhagyják a két táblázat összekapcsolásának megfelelő módjaként, ha egyetemi szintű adatokra van szükség. Tehát megteszem, és ez egy rövid lekérdezés, de a Ive leírtam anélkül, hogy valóban szükségszerűen kellett volna bármiféle betekintést szerezni az adatokba. Soha nem néztem az adatkészlet ER diagramját, de már nagyon sokat tudok ezekről az adatokról, mert a releváns információk hozzám érkeznek.
Tehát ez a fajta háromféle módszer, amelyekkel a katalógus egy integrált lekérdező eszköz révén közvetlenül befolyásolhatja a munkafolyamatot, amikor lekérdezéseket ír. A lekérdező eszköz katalógusba történő integrációjának egyik további előnye az, hogy amikor befejezem a lekérdezést és elmentem, el tudom helyezni egy olyan címet, mint „Intézmény tandíja és kari fizetés”, és itt van egy gombom, amely lehetővé teszi, hogy csak közzéterem a katalógusban. Nagyon könnyű számomra ezt visszaadni. Még ha nem is teszem közzé, akkor a lekérdezési napló részeként rögzítik, de amikor közzéteszem, valójában annak a központi helyének a részévé válik, ahol az összes adattudás él.
Tehát, ha rákattintom az összes lekérdezés keresése Alation-ben elemre, megteszem - és itt látni fogja még néhányat a katalógus felületéről -, egy dedikált lekérdezés-keresésbe kerül, amely megmutatja nekem, hogy miként lehet lekérdezéseket találni az egész szervezetben. És látja, hogy az újonnan közzétett lekérdezésem tetején van. És néhányan itt észrevehetik, amikor a lekérdezéseket rögzítjük, a szerzőket is elfogjuk, és valamilyen módon megteremtjük ezt a kapcsolatot, mint szerzőm és ezen adatobjektumok között, amelyekről most már tudok valamit. És én ezt a lekérdezést és ezen adatobjektumokat illetően szakértőként alapítom. Ez nagyon hasznos, ha az embereknek meg kell tanulniuk az adatokat, majd megkereshetik a megfelelő embert, akivel megismerkedhetnek. És ha valóban új vagyok az adatokban, akár fejlett elemzőként - fejlett elemzőként, akkor ezt megnézhetem, és egy csomó példát láthatok, amelyekkel új adatkészlettel indíthatnék. Mint valaki, aki nem érzi magát az SQL szuper hozzáértéseként, előre elkészített lekérdezéseket találok, amelyek jelentések lehetnek, amelyeket ki tudok használni.
Phil Mazanett eretneksége az átlagos SAT-eredményekről. Kattintson erre, és kapok egyfajta katalógus oldalt a lekérdezéshez. Ez egy olyan cikkről szól, amely azért íródott, hogy utal erre a lekérdezésre, tehát itt van néhány dokumentáció, amelyet el kell olvasnom, ha meg akarom tanulni, hogyan kell használni. És megnyithatom a lekérdező eszközben a Összeállítás gombra kattintva, és itt magam is futtathatom anélkül, hogy szerkesztenék. Valójában megismerheti egy kicsit a könnyű jelentéstételi képességeinket, ahol egy lekérdezés írásakor beilleszthet egy ilyen sablonváltozót, és ez egyszerű módon létrehoz egy űrlapot egy lekérdezés végrehajtásához egy pár paraméter.
Szóval ennyi van a bemutatómhoz. Visszamegyek a diákra.Csak egyfajta áttekintésként megmutattuk, hogy az adminisztrátor, az adatkezelő hogyan tud beavatkozni, ha figyelmeztetéseket tesz az objektumokra, amelyek megjelennek a lekérdező eszközben, hogy az Alation hogyan használja az adatobjektumok használatával kapcsolatos tudását intelligens javaslatok megfogalmazására, hogyan hozza a profilozásban és más tippekben, amelyek az elemzők munkafolyamatainak javítását célozzák meg, amikor bizonyos tárgyak érintik őket, és hogy az ilyen típusú adatok miként kerülnek vissza a katalógusba, amikor új lekérdezéseket írnak.
Nyilvánvalóan szóvivő vagyok a cég nevében. Szeretnék szép dolgokat mondani az adatkatalógusokról. Ha közvetlenül az egyik ügyfelünktől szeretne hallani, akkor a Safeway-nél működő Kristie Allen elemzői csoportot vezet és igazán hűvös története van arról, amikor egy marketing kísérlet végrehajtásához igazán meg kellett vernie az órát, és hogy az egész a csapat az Alation segítségével együttműködött és nagyon gyorsan megfordult a projektnél. Ezért követheti ezt a bit.ly linket, hogy ellenőrizze ezt a történetet, vagy ha kicsit szeretne hallani arról, hogy az Alation hogyan hozhat létre adatkatalógust a szervezetébe, örömmel állíthatunk fel egy személyre szabott bemutatót. Nagyon köszönöm.
Rebecca Jozwiak: Nagyon köszönöm, David. Biztos vagyok benne, hogy Deznek és Robinnak van néhány kérdése, mielőtt átadnám a közönség kérdéseit és kérdéseit. Dez, előbb akarsz menni?
Dez Blanchfield: Teljesen. Szeretem a közzétett lekérdezések ezen koncepciójának gondolatát, és újra összekapcsolom a szerző forrásával. Régóta bajnok voltam a házon belüli alkalmazásbolt ötletének, és azt hiszem, hogy ez egy igazán nagyszerű alap arra, hogy erre építjünk.
Hogy valamiféle betekintést kapjak néhány olyan szervezetbe, amelyben látják ezt csinálni, és néhány sikertörténetből, amelyek valószínűleg megvolták ezt az egész utat, amelyben nemcsak az eszközödet és a platformot használták fel az adatok felfedezéséhez, hanem aztán átalakítják belső kulturális és viselkedési vonásaikat. Most már van ilyen fajta házon belüli alkalmazásboltja, ahol egyszerűen letöltheti, az a koncepció, ahol nem csak megtalálják, hanem ténylegesen elkezdhetik a kis közösségek fejlesztését az ismeretek megtartóival.
David Crawford: Igen, azt hiszem, meglepődtünk. Hisszük a megosztott kérdések érdeklődését, mind az Adtech termékmenedzserétől, mind az összes ügyféltől, akivel beszélgettünk, ám még mindig meglepődtem, hogy gyakran az egyik legelső dolog, amiről az ügyfelek beszélnek, az az érték, hogy kiszabadulnak az állattól.
Néhány felhasználói tesztelést végeztem a lekérdező eszköz egyik Invoice2go nevű ügyfelünknél, és volt egy viszonylag új termékmenedzser, akik azt mondták - valójában azt mondta nekem, hogy a felhasználói teszt során nem volt megpróbálva -, valójában nem írnék. Az SQL egyáltalán, kivéve azt, hogy az Alation által megkönnyítette. ”És természetesen a miniszterelnökként én is megragadom:„ Mit értitek, hogyan csináltuk? ”, És azt mondta:„ Nos, valójában csak azért, mert én be tudok jelentkezni, és látom az összes létező lekérdezést. ”Az SQL-lemezzel való kezdés hihetetlenül nehéz dolog, de módosítani kell egy meglévő lekérdezést, ahol láthatjuk az eredményt, amit kioltunk, és azt mondhatjuk:„ Ó , Csak erre az extra oszlopra van szükségem ”vagy„ Szűrje le egy adott dátumtartományra ”, ez sokkal könnyebb.
Láttuk ezeket a kiegészítő szerepeket, mint például a termékmenedzserek, esetleg az értékesítésben dolgozók, akik elkezdenek felvenni, és akik mindig is akarták megtanulni az SQL-t, és ezt a katalógust használva elkezdenek felvenni. Azt is láttuk, hogy sok vállalat megpróbált valamiféle nyílt forráskódot készíteni. Ive igyekezett ilyen jellegű dolgokat belsőleg felépíteni, ahol nyomon követi a kérdéseket, és elérhetővé teszi azokat, és valóban olyan trükkös tervezési kihívásokkal jár, amelyek hasznossá teszik azokat. volt egy olyan belső eszköz, amelyet HiPal-nak hívtak, amely elfoglalták a Hive-en írt összes kérdést, de amit rájössz, az az, hogy ha nem a felhasználókat a megfelelő módon mozgatja el, akkor csak egy nagyon hosszú lista jön létre. kiválasztott állítások száma. És mivel egy felhasználó, aki megpróbálja kitalálni, hogy a lekérdezés hasznos-e nekem, vagy ha valami jó, ha csak átnézem a kiválasztott állítások hosszú listáját, sokkal hosszabb időbe telik, hogy valami értéket kihozjak ott, mint kezdve a semmiből. Nagyon körültekintően gondolkodtunk azon, hogyan lehet elkészíteni egy olyan lekérdezési katalógust, amely előadja a megfelelő dolgokat és előadja azokat hasznos módon.
Dez Blanchfield: Úgy gondolom, hogy mindannyian sokféle módon átjárjuk ezt az utazást nagyon fiatalon át a felnőttkorig. Egy csomó technológia. Én személy szerint magam átéltem ugyanazt a valódi dolgot, mint például a kódvágás megtanulása. Átmentem magazinokon, majd könyveken, tanulmányoztam egy bizonyos szintet, aztán el kellett mennem, és valójában további képzést és képzést kaptam róla.
De véletlenül azt tapasztaltam, hogy még akkor is, amikor magam oktattam, magazinokat olvastam, könyveket olvastam, és más népek programjait vágtam, és rámentem a kurzusokra, mégis annyira megtanultam a kurzusok elvégzését, hogy csak beszéltem másokkal. emberek, akiknek volt tapasztalata. És azt hiszem, hogy ez egy érdekes felfedezés, amelyet most, amikor elhozod az adatok elemzéséhez, alapvetően ugyanazt a párhuzamot látta, hogy az emberek mindig meglehetősen okosak.
A másik dolog, amit igazán szívesen megértek, nagyon magas szinten sok szervezet felteszi a kérdést: „Mennyi ideig tart elérni ezt a pontot?” A csúcspont időkeretenként, amikor az emberek megkapják az Ön platformját telepítve vannak, és elkezdték felfedezni az eszközök típusát? Milyen gyorsan az emberek csak úgy látják, hogy ez a dolog valóban azonnali „a-ha” pillanattá alakul, amikor rájönnek, hogy már nem is aggódnak a megtérülés miatt, mert ott vannak, de most már ténylegesen megváltoztatják üzleti tevékenységüket? És felfedezték az elveszett művészetet, és arra számítanak, hogy meg tudnak csinálni valami igazán, nagyon szórakoztató dolgot.
David Crawford: Igen, meg tudom érni egy kicsit. Úgy gondolom, hogy amikor telepítjük, az egyik szép dolog, az egyik olyan dolog, ami az embereknek kedvelik egy közvetlenül az adatrendszerekhez csatlakoztatott katalógust, hogy nem szabad üresen állnia, ahol meg kell töltenie az oldalt oldalt. Ez pontosan igaz a korábbi adatmegoldásokra, amelyekben egy üres szerszámmal kell kezdeni, és el kell kezdenie egy oldal létrehozását mindazért, amelyet dokumentálni szeretne.
Mivel oly sok dolgot automatikusan dokumentálunk a metaadatok kibontásával, lényegében a szoftver telepítésétől számított néhány napon belül, az eszközön legalább 80% -ban képet kaphat az adatkörnyezetről. És akkor azt hiszem, amint az emberek elkezdenek kérdéseket írni az eszközzel, automatikusan mentésre kerülnek a katalógusba, és így is megjelennek.
Nem akarom túl lelkesen kijelenteni. Szerintem két hét nagyon jó konzervatív becslés, egy hónapra. Két hét vagy egy hónap, konzervatív becslés arról, hogy valóban megfordult-e, és úgy érzi, hogy értéket szerz belőle, mintha elkezdené megosztani tudását és képes lenne odamenni, és megismerni az adatait.
Dez Blanchfield: Nagyon meglepő, valóban, ha erre gondolsz. Az a tény, hogy a ténylegesen indexelő és katalogizáló nagy adatplatformok néha akár egy évig is eltarthatják a megfelelő telepítést, telepítést és állást.
Az utolsó kérdés, amit feltettem neked, mielőtt átadtam volna Robin Bloornak, a csatlakozók. Az egyik dolog, ami azonnal felugrik rám, nyilvánvalóan rendezte az egész kihívást. Tehát néhány kérdés nagyon gyorsan felmerül. Az egyik, hogy milyen gyorsan épülnek be a csatlakozók? Nyilvánvalóan a legnagyobb platformon indul, mint például az Oracles és a Teradatas, és így tovább, és a DB2. De milyen rendszeresen látja, hogy új csatlakozók jönnek létre, és mekkora átfutási időt vesznek igénybe ezek? El tudom képzelni, hogy van-e számukra egy általános keret. És milyen mélyen mész bele ezekbe? Például a világ oraklusai és IBM-i, sőt még a Tereadata, majd a későbbi nyílt forráskódú platformok népszerűségei. Közvetlenül veled dolgoznak? Felfedezed magad? Szüksége van belső ismeretekre ezen a platformon?
Hogyan néz ki egy csatlakozó kifejlesztése, és mennyire mélységesen vesz részt ezekben a partnerségekben annak biztosítása érdekében, hogy ezek a csatlakozók mindent felfedezzenek, amit csak tudsz?
David Crawford: Igen, persze, ez egy nagy kérdés. Úgy gondolom, hogy nagyrészt ki tudjuk fejleszteni a csatlakozókat. Természetesen akkor tettünk, amikor fiatalabb startup voltunk, és nem volt ügyfeleink. A kapcsolatokat természetesen belső hozzáférés nélkül is fejleszthetjük. Soha nem kapunk különleges hozzáférést azokhoz az adatrendszerekhez, amelyek nyilvánosan nem elérhetőek, és gyakran anélkül, hogy bennfentes információra lenne szükségünk. Kihasználjuk azokat a metaadat-szolgáltatásokat, amelyeket maguk az adatrendszerek kínálnak. Ezek gyakran nagyon bonyolultak és nehezen kezelhetők. Különösen ismerem az SQL Server kiszolgálót, a lekérdezési napló kezelésének módját, számos különféle konfigurációt és annak valamelyikét, amelyen tényleg dolgoznia kell. Meg kell értenie az árnyalatokat, a gombokat és a tárcsákat, hogy megfelelően beállíthassa, és ez olyan dolog, amelyen az ügyfelekkel dolgozunk, mivel ezt már korábban többször megtettük.
De bizonyos mértékig a rendelkezésre álló nyilvános API-k vagy a rendelkezésre álló nyilvános interfészek, amelyeket kihasználunk. Partnereinkkel is együttműködünk ezekkel a vállalatokkal, ez főleg a tanúsítás alapja, így kényelmeseknek érzik magukat azt mondani, hogy dolgozunk, és ők is tudnak forrásokat nyújtani a teszteléshez, néha korai hozzáférést biztosítunk egy olyan platformon, amely kijön, hogy megbizonyosodjon arról, hogy az új verziókon dolgozunk.
Egy új kapcsolat megfordításához azt mondanám, hogy megpróbálom konzervatív lenni, mondjuk hat hét-két hónap. Attól függ, hogy milyen hasonló. Tehát a Postgre némelyikének nagyon hasonló a Redshift művei. A Redshift és a Vertica sok részlettel osztozik. Tehát kihasználhatjuk ezeket a dolgokat. De igen, hat hét-két hónap tisztességes lenne.
Van API-k is, tehát - az Alation-t metaadat-platformon is gondoljuk, tehát ha nem áll rendelkezésre olyan információ, amely elérheti és automatikusan megragadja, akkor van mód arra, hogy a csatlakozást magának is megírhatja, és beillesztheti a rendszerünkbe, hogy minden továbbra is központosul egyetlen keresőmotorban.
Dez Blanchfield: Fantasztikus. Nagyra értékelem, hogy. Tehát átadom Robinnak, mert biztos vagyok benne, hogy rengeteg kérdése van. Vörösbegy?
Rebecca Jozwiak: Robin lehet, hogy néma.
Dez Blanchfield: Elnémította magát.
Robin Bloor: Ja, igaz. Sajnálom, elnémítottam magam. Amikor végrehajtja ezt, mi a folyamat? Kíváncsi vagyok, mert sok helyen sok adat lehet. Szóval hogyan működik ez?
David Crawford: Igen, persze. Először egy olyan informatikai folyamatba megyünk be, amely biztosítja kiszolgálóink kiszolgálását, ellenőrizve, hogy rendelkezésre állnak-e hálózati kapcsolatok, hogy a portok nyitva vannak-e, hogy valóban hozzáférhessünk a rendszerekhez. Mindannyian gyakran tudják, hogy mely rendszerekkel akarják kezdeni. Ismerve egy adatrendszer belsejét, amely - és néha valójában segítünk nekik. Segítsen nekik, hogy először áttekintsék a lekérdezési naplót, hogy megértsék, ki használja fel és hány felhasználója van egy rendszerben. Tehát segítsen kideríteni, hol - gyakran, ha több száz vagy több ezer emberrel találkoztak, akik esetleg bejelentkeznek adatbázisokba, valójában nem is tudják, merre vannak bejelentkezve, így a lekérdezési naplókból megtudhatjuk, hogy hány egyedi felhasználói fiókot csinálnak körülbelül egy hónapon belül itt jelentkezik be és hajt végre lekérdezéseket.
Tehát kihasználhatjuk ezt, de gyakran csak a legfontosabbat. Felkészítjük őket, és aztán azt mondják: "Lehetővé teszi a prioritást." Olyan tevékenységek széles skálája, amelyek párhuzamosan megtörténhetnek. A lekérdező eszköz használatának képzésére összpontosítanék. Amint az emberek elkezdenek használni a lekérdező eszközt, mindenekelőtt sokan szeretik azt a tényt, hogy az csak egy interfész az összes különféle rendszerükhöz. Szeretik azt is, hogy a web-alapú nem tartalmaz telepítést, ha nem akarják. Biztonsági szempontból szeretik, ha egyetlen belépési pontjuk van, hálózati szempontból a corp IT hálózat fajtája és az adatközpont között, ahol a termelési adatforrások élnek. Így beállítják az Alation-t lekérdező eszközként, és elkezdenek használni a Compose-t, mint hozzáférési pontot ezekre a rendszerekre.
Tehát, amint ez megtörténik, arra koncentrálunk, ahol a képzésre koncentrálunk, megértjük, hogy mi van a különbség az asztalon egy webes vagy szerver-alapú lekérdező eszköz és az egyed között, és ennek használatának néhány árnyalata. Ugyanakkor azt is megpróbálhatja meghatározni a legértékesebb adatokat, ismét kihasználva a lekérdezési napló adatait, és mondván: „Hé, érdemes bemenni, hogy segítsen az embereknek megérteni ezeket. Lehetővé teszi a reprezentatív lekérdezések közzétételét ezeken a táblákon. ”Ez néha a leghatékonyabb módja annak, hogy az emberek nagyon gyorsan felpörögjenek. Nézzük meg a saját lekérdezés előzményeit, tegyük közzé ezeket a dolgokat, hogy azok az első lekérdezésekként jelenjenek meg. Amikor az emberek egy asztallapot néznek, láthatják az összes olyan kérdést, amely az adott asztalhoz érkezett, és onnan kezdhetik. Ezután elkezdi hozzáadni a címeket és leírásokat ezekhez az objektumokhoz, hogy könnyebben megtalálhassák és keressék őket, hogy megismerjék néhány használatának árnyalatait.
Gondoskodunk arról, hogy alaposan megvizsgáljuk a lekérdezési naplót, hogy származékot tudjunk generálni. Az egyik dolgunk, amikor áttekinti a lekérdezési naplót olyan esetekben, amikor az adatok egyik táblából a másikba mozognak, és ez lehetővé teszi számunkra, hogy az adattáblázattal kapcsolatban feltesszük az egyik leggyakrabban feltett kérdést: honnan származik ez? Hogyan bízhatok benne? Tehát nem csak azt mutatjuk meg, hogy mely más táblákból származik, hanem azt is, hogyan alakult át az út mentén. Ezt ismét a lekérdezési napló táplálja.
Ezért gondoskodunk arról, hogy ezek a dolgok fel legyenek állítva, és amelyek vonalba kerüljenek a rendszerbe, és azokat a legértékesebb és legjobban kihasznált metaadatok darabjait célozzuk meg, amelyeket az asztali oldalakon megtalálhatunk, így amikor keresünk, találsz valami hasznosat.
Robin Bloor: Oké. A másik kérdés - sok kérdés merül fel a közönség részéről, ezért nem akarok túl sokat foglalkozni az idejével - a másik kérdés, amire gondolok, csak a fájdalompontok. Sok szoftvert vásárolt, mert az embereknek valamilyen módon vannak nehézségeik valami miatt. Tehát mi a közös fájdalompont, amely az embereket Államozáshoz vezet?
David Crawford: Igen. Úgy gondolom, hogy van néhány, de azt hiszem, hogy az egyik elem, amelyet gyakran hallunk, az elemző fedélzetén történik. „Szükségem lesz 10, 20, 30 embert bérelni a közeljövőben, akiknek új betekintést kell készíteniük ezekből az adatokból, hogy fognak gyorsulni?” Tehát a fedélzeten lévő elemzők minden bizonnyal foglalkoznak. Ezenkívül megszabadítják a vezető elemzőket attól, hogy minden idejüket arra töltsék, hogy más emberek kérdéseire válaszoljanak az adatokkal kapcsolatban. Ez nagyon gyakori is. És ezek mind alapvetően oktatási problémák.
Aztán azt mondanám, hogy egy másik hely, ahol látjuk, hogy az emberek átveszik az Alation-t, amikor egy vadonatúj adatkörnyezetet akarnak létrehozni valaki számára, akivel dolgozhatnak. Ezt belsőleg hirdetni és piacra dobni akarják, hogy az emberek kihasználhassák. Ezután az Alation előtérbe helyezése az új elemző környezet számára nagyon vonzó. Megvan a dokumentáció, egy bevezetési pontot kapott a rendszerekhez - egy hozzáférési ponthoz a rendszerekhez, és ez egy másik hely, ahol az emberek hozzánk jönnek.
Robin Bloor: Oké, továbbadlak téged Rebecca-nak, mert a közönség megpróbál eljutni hozzád.
Rebecca Jozwiak: Igen, nagyon sok nagyon jó közönség kérdés merül fel itt. És David, ezt kifejezetten neked jelentették. Valakitől, akinek nyilvánvalóan van tapasztalata az emberekkel való visszaélésekkel kapcsolatban, és azt mondja, hogy minél felhatalmazzuk a felhasználókat, annál nehezebb irányítani a számítási erőforrások felelősségteljes felhasználását. Tehát meg tudod védeni a tévesen irányított, de általános lekérdező kifejezések terjedésétől?
David Crawford: Igen, látom ezt a kérdést. Nagyszerű kérdés - nagyon gyakran fordulunk elő. Már magam is láttam a fájdalmat a korábbi vállalatoknál, ahol a felhasználókat kell kiképezni. Például: „Ez egy naplótábla, a naplók évekig visszatérnek. Ha a lekérdezést fogja írni erre a táblára, akkor tényleg korlátoznia kell a dátumot. ”Tehát például ez egy olyan képzés, amelyet egy korábbi társaságon keresztülmentem, mielőtt hozzáférést kaptam az adatbázishoz.
Van néhány módja annak, hogy megpróbáljuk ezt kezelni. Azt mondanám, hogy szerintem a lekérdezési naplóadatok valóban egyedülállóan értékesek annak kezelésére. További betekintést nyújt azzal szemben, amit az adatbázis belsőleg tesz a lekérdezéstervezővel. És mit csinálunk, az egyik ilyen beavatkozás - megvannak a kézi beavatkozások, amelyeket mutattam, és ami hasznos, ugye? Tehát egy adott csatlakozásnál például azt mondhatja: "Lehetővé teszi az elavulást". Nagyon nagy piros zászló van, amikor az intelligens javaslatban megjelenik. Ez tehát az egyik módja annak, hogy megpróbáljunk eljutni az emberekhez.
Egy másik dolog, amit teszünk, az automatizálás végrehajtási időbeni beavatkozások során. Ez ténylegesen akkor használja a lekérdezés elemző fáját, mielőtt futtatnánk, hogy megnézze, tartalmaz-e egy bizonyos szűrőt, vagy néhány más dolgot is, amelyeket ott is csinálunk. De az egyik legértékesebb és a legegyszerűbben magyarázható, hogy tartalmaz-e egy szűrőt? Tehát, mint ahogy az imént adott példában, ennek a naplótáblának, ha lekérdezi, dátumtartománynak is kell lennie, az ott található táblázatoldalon megadhatja, hogy megbízza-e az alkalmazandó dátumtartomány-szűrőt. Ha valaki megkísérel futtatni egy olyan lekérdezést, amely nem tartalmazza ezt a szűrőt, akkor valójában nagy figyelmeztetéssel állítja le őket, és azt mondja: “Valószínűleg hozzá kell adnia néhány ilyen SQL-t a lekérdezéshez.” Folytathatja, ha akar . Valójában nem tiltanák meg teljesen őket a használatát - egy lekérdezés is, a nap végén meg kellett futtatnia a lekérdezéseket. De egy nagyon nagy akadályt állítunk előttük, és javaslatot adunk nekik, egy konkrét alkalmazható javaslatot a lekérdezés módosítására teljesítményük javítása érdekében.
Bizonyos esetekben ezt automatikusan megtesszük, ismét a lekérdezési napló megfigyelésével. Ha azt látjuk, hogy az asztalon levő lekérdezések nagyon nagy százaléka kihasználja egy adott szűrő vagy egy adott csatlakozási záradék előnyeit, akkor valóban kiugrik. Nos, tegye ezt elő egy intervencióvá. Valójában velem egy belső adatkészlettel történt. Van vásárlói adataink és felhasználói azonosítók, de a felhasználói azonosító meg van adva, a fajtája óta - minden vásárlónál van felhasználói azonosító. Nem egyedi, ezért párosítania kell egy ügyfélazonosítóval, hogy egyedi csatlakozási kulcsot kapjon.Írtam egy lekérdezést, megpróbáltam elemezni valamit, és felbukkant, és azt mondta: “Hé, úgy tűnik, hogy mindenki más csatlakozik ezekhez a táblákhoz, mind az ügyfélazonosítóval, mind a felhasználói azonosítóval. Biztos benne, hogy nem akarja ezt megtenni? ”És ez valójában megakadályozta téves elemzést. Tehát működik mind az elemzés pontossága, mind a teljesítmény szempontjából. Szóval ez az, hogy hogyan vesszük ezt a problémát.
Rebecca Jozwiak: Számomra hatékonynak tűnik. Azt mondta, nem fogja feltétlenül megakadályozni az embereket az erőforrások felszedésében, ám megtanítja nekik, hogy az, amit csinálnak, nem a legjobb, igaz?
David Crawford: Mindig azt feltételezzük, hogy a felhasználók nem rosszindulatúak - a legjobb szándékot adják nekik -, és igyekszünk elég nyitottnak lenni.
Rebecca Jozwiak: Oké. Itt egy másik kérdés: “Mi a különbség a katalóguskezelő, mint például a megoldás, és az MDM eszköz között? Vagy támaszkodik-e egy másik elvre, ha kibővíti a lekérdezési táblázatok választékát, míg az MDM ezt automatikusan megtenné, de ugyanazzal a mögöttes alapelvével a metaadatok gyűjtésekor. "
David Crawford: Igen, azt hiszem, hogy amikor a hagyományos MDM megoldásokat vizsgálom, az elsődleges különbség filozófiai. Az egész arról szól, hogy ki a felhasználó. Olyan, mint amilyent az előadás elején mondtam, Alation, azt hiszem, amikor megalapítottak, akkor azzal a céllal alakultunk, hogy az elemzők több betekintést nyerjenek, gyorsabban készítsenek, pontosabbak legyenek azokban a betekintésekben, amelyek termelnek. Nem hiszem, hogy ez valaha is a hagyományos MDM-megoldás célja volt. Ezeket a megoldásokat általában azokra az emberekre irányítják, akiknek jelentést kell készíteniük arról, hogy milyen adatokat gyűjtöttek az SCC-hez vagy belsőleg valamilyen más ellenőrzési célból. Időnként engedélyezheti az elemzőket, de gyakrabban, ha lehetővé teszi egy gyakorló szakember munkáját, valószínűbb, hogy lehetővé teszi egy adatépítést, mint egy DBA.
Amikor egy elemző szempontjából gondolkodik a dolgokon, akkor az az, amikor elkezdi olyan lekérdező eszköz készítését, amelyet az MDM eszköz soha nem fog megtenni. Akkor, amikor elkezdi gondolkodni a teljesítményről, a pontosságról, valamint megérteni, hogy mely adatok kapcsolódnak az üzleti igényemhez. Ezek a dolgok olyan dolgok, amelyek némileg felbukkannak a fejünkben, amikor az eszközt tervezzük. Bekerül a keresési algoritmusainkba, a katalógusoldalak elrendezésébe és a szervezet egészének ismereteihez való képességbe. Bekapcsolódik a tény, hogy a lekérdező eszközt és a katalógust közvetlenül beleépítettük, tehát azt hiszem, valóban ebből származik. Milyen felhasználót gondolsz először?
Rebecca Jozwiak: Oké, jó. Ez tényleg segített megmagyarázni. aki azt akarja, hogy megkapja az archívumot, mert el kellett mennie, de nagyon szerette volna, ha a kérdése megválaszolódik. Azt mondta, az elején megemlítették, hogy több nyelv létezik, de az SQL az egyetlen nyelv, amelyet kihasználnak a Compose komponensben?
David Crawford: Igen, ez igaz. És az egyik dolog, amelyet észrevettem, amikor szemtanúja voltam a különféle típusú adatbázisok, a dokumentum-adatbázisok, a gráf-adatbázisok, a kulcsfontosságú értéktárak robbanásának, az az, hogy valóban nagy teljesítményűek az alkalmazások fejlesztésében. Különösen jól tudják kiszolgálni az egyedi igényeket ott, jobban, mint a relációs adatbázisok.
De amikor visszaviszi az adatok elemzéséhez, amikor visszahozza - amikor azt az információt szeretné megkapni azoknak az embereknek, akik eseti jelentést készítenek vagy esetileg az adatokat ásnak, akkor mindig visszatérnek egy relációs legalább az interfész az emberek számára. Ennek része csak azért, mert az SQL az adatok elemzésének nyelve (lingua franca), tehát az emberek számára ez azt is jelenti, hogy az integráló eszközökkel is rendelkezik. Azt hiszem, ez az oka annak, hogy az SQL a Hadoop-on annyira népszerű, és oly sok próbálkozás van annak megoldására, mert az a nap végén az, amit az emberek tudnak. Valószínűleg több millió ember tudja, hogyan kell írni az SQL-t, és én nem vállalkoznék olyan milliókkal, akik tudnák, hogyan kell Mongo összesítő csővezeték-lekérdezést írni. És ez egy szabványos nyelv, amelyet valóban sokféle platformon való integrációhoz használnak. Tehát mindazokat, amelyeket mondanak, nagyon ritkán kérték, hogy menjenek kívül, mert ezt a felületet használják a legtöbb elemző, és egy olyan helyre koncentráltunk, főleg a Compose-ban, amely az SQL írására összpontosított.
Azt mondanám, hogy az adattudomány az a hely, ahol leginkább a vállalkozáson vállalkoznak, és ezért alkalmanként kérdéseket kapunk a Pig vagy a SAS használatáról. Ezek olyan dolgok, amelyeket határozottan nem foglalkozunk a Compose-ban, és amelyeket szeretnénk rögzíteni a katalógusban. És látom az R-t és a Python-ot is. Van néhány módszer arra, hogy interfészeket készítettünk az Alation-ban írt lekérdezések felhasználására az R és a Python parancsfájlokban, így mivel gyakran adattudósként dolgozunk, és szkriptnyelven dolgozunk, a forrásadatok relációs adatbázisban. SQL lekérdezéssel kezdi, majd tovább dolgozza fel, és grafikonokat hoz létre az R és a Python belsejében. Készítettünk olyan csomagokat is, amelyeket importálhatunk azokba a szkriptekbe, amelyek lekérdezéseket vagy lekérdezési eredményeket vonnak be az Alation-ból, így ott összekevert munkafolyamatot kaphatunk.
Rebecca Jozwiak: Rendben nagyszerű. Tudom, hogy kissé futunk az óra tetején, csak egy vagy két kérdést teszek fel. Tudom, hogy beszéltél a különféle rendszerekről, amelyekhez csatlakozhat, de amennyire külsőleg tárolt adatok és belső üzemeltetett adatok vonatkoznak, ezek együtt kereshetők az egyetlen nézetben, az egyetlen platformon?
David Crawford: Biztos. Ennek néhány módja van. Úgy értem, azt gondolom, hogy külső házigazda, gondolkodni próbálok azon, hogy pontosan mit gondolhat ez. Ez olyan adatbázist jelenthet, amelyet valaki az AWS-ben tárol az Ön számára. Jelentheti a data.gov nyilvános adatforrását. Csatlakozunk közvetlenül az adatbázisokhoz úgy, hogy ugyanúgy jelentkezzünk be, mint egy másik alkalmazás, adatbázis-fiókkal, és ez a metaadatok kibontásának módja. Tehát ha van fiókunk és nyitott hálózati port van, akkor elérhetjük. És akkor, amikor nem rendelkezünk ezekkel a dolgokkal, van egy úgynevezett virtuális adatforrás, amely lehetővé teszi a dokumentáció automatikus átadását akár automatikusan, akár saját összekötő megírásával, akár kitöltésével, akár CSV feltöltéssel, hogy dokumentálja az adatokat a belső adataival együtt. Ez minden bekerül a keresőmotorba. Hivatkozhatóvá válik a cikkek, egyéb dokumentumok és beszélgetések belsejében a rendszeren belül. Tehát nem az, hogy hogyan kezeljük, ha közvetlenül nem tudunk egy rendszerhez csatlakozni.
Rebecca Jozwiak: Oké, ennek van értelme. Csak ki kell hoznom még egy kérdést. Egy résztvevő van kérdezi: „Hogyan lehet érvényesíteni, ellenőrizni vagy karbantartani az adatkatalógus tartalmát, a forrásadatok frissítésekor, a forrásadatok módosításakor stb.”
David Crawford: Igen, ez a kérdés sokat kap, és azt hiszem, hogy az egyik dolog - egyik filozófiánk, amint mondtam, nem hisszük el, hogy a felhasználók rosszindulatúak. Feltételezzük, hogy megpróbálják hozzájárulni a legjobb tudáshoz. Nem fognak bejelentkezni, és szándékosan félrevezetik az embereket az adatokkal kapcsolatban. Ha ez problémát jelent a szervezeténél, akkor az Alations talán nem a megfelelő eszköz az Ön számára. De ha feltételezzük, hogy a felhasználók jó szándékokat mutatnak, akkor erre gondolunk, amikor a frissítések bekerülnek, és általában az, amit csinálunk, az az, hogy minden adatobjektumért vagy adatrészért felelősséget vállalunk. És értesíthetjük ezeket a gazdákat, ha a metaadatok megváltoznak, és így tudják kezelni azokat. Látják, hogy a frissítések bekerülnek, validálják őket. Ha nem igazák, visszavonulhatnak és módosíthatják őket, és tájékozódhatnak, és remélhetőleg elérhetik a felhasználót, aki hozzájárult az információkhoz, és segítenek nekik a tanulásban.
Tehát ez az elsődleges módszer, amiben gondolkodunk. A tömeg ilyen típusú javaslata és a tisztviselők menedzsmentje, tehát körül vannak bizonyos képességek.
Rebecca Jozwiak: Oké jó. És ha tudnád csak megtudni az embereknek, hogyan tudják a legjobban elkezdeni az Alation használatát, és merre fordulhatnak, ha további információt szeretnének? Tudom, hogy megosztotta ezt egy bit.ly-vel. Ez a legjobb hely?
David Crawford: Az Alation.com/learnmore véleményem szerint nagyszerű módja annak, hogy továbblépjünk. Ahhoz, hogy regisztráljon egy demora, az Alation.com webhely rengeteg nagyszerű forrással, vevői fehér papírral és híreinkkel rendelkezik a megoldásunkról. Tehát azt hiszem, ez egy remek kezdőpont. Te is .
Rebecca Jozwiak: Rendben nagyszerű. És tudom, résztvevők, sajnálom, hogy ma nem kaptam meg az összes kérdést, de ha nem, akkor továbbítják őket Davidnek vagy az értékesítési csapatának vagy az Alation valakihez, így határozottan segíthetnek a kérdéseik megválaszolásában és megérthetik, mi az Alation. csinál, vagy mit csinálnak a legjobban.
És ezzel, emberek, megyek előre, és aláírunk minket. Az archívumokat mindig megtalálhatja az InsideAnalysis.com webhelyen. A Techopedia.com webhelyen is megtalálhatja. Hajlamosak egy kicsit gyorsabban frissülni, ezért feltétlenül ellenőrizd. Nagyon köszönöm ma David Crawfordnak, Dez Blanchfieldnek és Robin Boornak. Remek internetes közvetítés volt. És ezzel elbúcsúzva búcsút. Köszönöm, emberek. Viszlát.
David Crawford: Köszönöm.