Tartalom
- Az ETL szűk keresztmetszeteket hoz létre az Analytics számára
- Az ETL korszerűsítése gépi tanulással és AI-vel
- Nincsenek hibák, nincs stressz - Az Ön életét megváltoztató szoftverek készítésének lépésről lépésre történő leírása az élet megsemmisítése nélkül
Forrás: Pop Nukoonrat / Dreamstime.com
Elvitel:
Az adatok döntő jelentőségűek az üzleti élet számára, de ahhoz, hogy hasznosak legyenek, nem lehetnek hibák az adatok gyűjtésében, feldolgozásában és bemutatásában. A mesterséges intelligencia figyelemmel kíséri az ETL folyamatokat, hogy megbizonyosodjon arról, hogy hibátlanok-e.
Az ETL (kibontás, átalakítás és betöltése) a nagy adatanalitika egyik legfontosabb folyamata - és ezzel egyidejűleg az egyik legnagyobb szűk keresztmetszete. (A nagy adatokkal kapcsolatos további információkért nézze meg az 5 hasznos nagy adatfolyamot, amelyeket online vehet igénybe.)
Az ETL annyira fontos oka, hogy a vállalkozás által gyűjtött legtöbb adat nem áll készen arra, hogy nyers formájában elemzési megoldást emészthessen. Annak érdekében, hogy egy elemzési megoldás betekintést nyújtson, a nyers adatokat ki kell vonni azon alkalmazásból, ahol jelenleg található, átalakítani olyan formátumba, amelyet egy elemző program olvashat, majd betölteni magába az elemző programba.
Ez a folyamat analóg a főzéshez. A nyers összetevői a nyers adatok. Ki kell extrahálni (boltból vásárolni), átalakítani (főzni), majd betölteni (lemezelni), mielőtt elemezhetnék (megkóstolhatnák). A nehézségek és a költségek kiszámíthatatlanul nagyok lehetnek - könnyű elkészíteni magadnak a sajtot, de sokkal nehezebb egy vacsorapartneren 40 fő számára ínyenc menüt készíteni. Mondanom sem kell, hogy egy hiba bármikor emészthetetlenné teheti az ételt.
Az ETL szűk keresztmetszeteket hoz létre az Analytics számára
Az ETL bizonyos értelemben az elemzési folyamat alapköve, ám van néhány hátránya is. Először is, lassú és számítási szempontból drága. Ez azt jelenti, hogy a vállalkozások gyakran csak a legfontosabb adataikat rangsorolják az elemzés céljából, és a többit egyszerűen csak tárolják. Ez hozzájárul ahhoz, hogy az üzleti adatok akár 99% -át elemzési célokra használják fel.
Ezen felül az ETL folyamata soha nem biztos. Az ETL-folyamat hibái ronthatják az adatokat. Például egy rövid hálózati hiba megakadályozhatja az adatok kibontását. Ha a forrásadatok több fájltípust tartalmaznak, előfordulhat, hogy azok helytelenül kerülnek átalakításra. Szemét be, szemetet ki, mint mondják - az ETL-folyamat során fellépő hibák szinte biztosan kifejezik a pontatlan elemzéseket.
A sérült ETL-folyamat rossz következményekkel járhat. Még a legjobb esetben is valószínűleg újra kell futtatnia az ETL-t, ami órák késését jelent - és közben a döntéshozók türelmetlenek. A legrosszabb esetben nem veszi észre a pontatlan elemzéseket, amíg el nem kezd pénzt és ügyfeleket veszíteni.
Az ETL korszerűsítése gépi tanulással és AI-vel
Meg lehet rendelni - és valószínűleg megteszi -, hogy valakit figyeljen az ETL-re, de őszintén szólva ez nem olyan egyszerű. A rossz adatok olyan hibákat okozhatnak, amelyek olyan gyorsan fordulnak elő, hogy valós időben nem észrevehetők. A sérült ETL-folyamat eredményei nem különböznek egymástól a helyesen betöltött adatoktól. Még akkor is, ha a hibák nyilvánvalóak, a hibát okozó probléma nem könnyű megtalálni. (Az adatok elemzésével kapcsolatos további információkért lásd: Munkakör: Adatelemző.)
A jó hír az, hogy a gépek elkapják azt, amit az emberek nem tudnak. Ez csak néhány módszer, amellyel az AI és a gépi tanulás megszerezheti az ETL hibákat, még mielőtt pontatlan elemzésekké válnának.
Nincsenek hibák, nincs stressz - Az Ön életét megváltoztató szoftverek készítésének lépésről lépésre történő leírása az élet megsemmisítése nélkül
Nem javíthatja a programozási készségét, ha senki sem törődik a szoftver minőségével.
1. Észlelés és riasztás az ETL metrikájában
Annak ellenére, hogy adatai folyamatosan mozgó kép, az ETL folyamatnak továbbra is állandó értékeket kell előállítania, állandó sebességgel. Amikor ezek a dolgok megváltoznak, riasztást okoz. Az emberek nagy változásokat látnak az adatokban és felismerik a hibákat, de a gépi tanulás gyorsabban képes felismerni a finomabb hibákat. Lehetséges, hogy egy gépi tanulási rendszer valós idejű rendellenességeket észlelhet, és közvetlenül riaszthatja az informatikai osztályt, lehetővé téve számukra, hogy szüneteltessék a folyamatot, és orvosolják a problémát anélkül, hogy órákig tartó számítástechnikai erőfeszítéseket kellene elvetnie.
2. Pontos szűk keresztmetszetek
Még ha az eredmények pontosak is, előfordulhat, hogy túl lassan jelennek meg, hogy hasznosak legyenek. Gartner azt mondja A betekintés 80% -a Az elemzésből származó elemzéseket soha nem fogják felhasználni monetáris értékteremtésre, és az lehet azért, mert az üzleti vezető nem lát betekintést időben ahhoz, hogy kihasználhassa azt. A gépi tanulás megmondhatja, hogy a rendszer mikor lassul, és válaszokat adhat Önnek - jobb adatot szerezhet, gyorsabban.
3. Számszerűsítse a változáskezelés hatását
Az adatokat és az elemzéseket előállító rendszerek nem statikusak - folyamatosan kapnak javításokat és frissítéseket. Időnként ezek befolyásolják az adatok előállításának vagy értelmezésének módját - pontatlan eredményekhez vezetnek. A gépi tanulás megjelölheti a megváltozott eredményeket, és felveheti azokat az adott javított gépen vagy alkalmazásban.
4. Csökkentse a műveletek költségeit
Az elavult elemző műveletek elveszített pénzzel egyenlők. Az az idő, amelyet nemcsak a probléma megoldására törekszik, hanem az is ki a felelős a probléma megoldására az az idő, hogy költene építési értéket. A gépi tanulás segít az ügy középpontjában állni, mivel csak azokat a csapatokat figyelmezteti, amelyek felelősek lehetnek az adott típusú eseményekre való reagálásban, lehetővé téve az informatikai osztály többi részének, hogy továbbra is végezze az alapvető feladatok ellátását. Ezenkívül a gépi tanulás segít kiküszöbölni a hamis pozitív eredményeket, csökkenti a riasztások teljes számát, miközben növeli az általuk nyújtható információk részletességét. A riasztási fáradtság nagyon valódi, így ez a változás mérhető hatással lesz az életminőségre.
Amikor az üzleti életben nyerünk, az elemzés kritikus jelentőségű. A Bain Capital egyik mérföldkövi tanulmánya azt mutatja, hogy az elemzést alkalmazó cégek több mint kétszer olyan valószínűsíthetően teljesítenek túl pénzügyi teljesítményeket. Az ETL alapot teremt a sikerre ezen a téren, de a késések és hibák megakadályozhatják egy elemző program sikerét is. Ezért a gépi tanulás felbecsülhetetlen eszközévé válik minden elemző program sikeréhez, segítve a tiszta adatok és a pontos eredmények garantálását.