Big data-Hadoop og dens indvirkning på Business Intelligence-systemer

For nylig mit arbejde nødvendiggjorde mig se ind i de nye funktioner tilføjet i Informatica 9.1, men jeg troede aldrig turen vil tage mig at udforske yderligere på dette og skrive en blog Lad &'; s se, hvordan jeg gennemkøres gennem forskellige nye aspekter, der får meget relateret til datahåndtering og Business Intelligence. Først vil vi se, hvad der er Bigdata og dens position nu.

Folk ville altid tænke på, hvor de organisationer som Yahoo, Google, Facebook lagre store mængder data fra brugerne. Vi bør tage et notat, at Facebook gemmer flere billeder end Googles s Picassa. Eventuelle gæt ??

Hvad er Hadoop

Svaret er Hadoop og det er en måde at gemme store mængder data i petabyte og zettabytes. Dette lagersystem er indkaldt som Hadoop Distributed File System. Hadoop blev udviklet af Doug Cutting baseret på ideer foreslået af Googles s papirer. Overvejende vi får store mængder af maskine genererede data. For eksempel, Large Hadron Collider studere oprindelsen af ​​universet producerer 15 petabyte data hvert år for hvert forsøg udføres.

MapReduce

Den næste ting, der kommer til vores sind er, hvor hurtigt vi kan få adgang til disse store mængder af data. Hadoop bruger MapReduce, som først dukkede op i forskningsartikler af Google. Det følger &'; Divide and Conquer &' ;. Dataene er organiseret som centrale værdipar. Det forarbejder hele data, der er spredt over utallige systemer i parallelle bidder fra en enkelt node. Så vil det sortere og behandle de indsamlede data.

Med en standard PC-server, vil Hadoop forbindelse til alle servere og distribuerer datafilerne på tværs af disse noder. Det plejede alle disse knudepunkter som én stor fil-system til at lagre og behandle data, hvilket gør det en 100% uforfalsket distribueret filsystem. Ekstra noder kan tilføjes, hvis data når den maksimale installerede kapacitet, hvilket gør opsætningen meget skalerbar. Det er meget billigt, da det er open source og gør ikke &'; t kræver særlige processorer som anvendes i traditionelle servere. Hadoop er også en af ​​de NoSQL implementeringer.

Hadoop i Real tid

Tennessee Valley Authority (TVA) anvender smart grid feltenheder at indsamle data om sin magt -transmission linjer og anlæg over hele landet. Disse sensorer sender i data med en hastighed på 30 gange i sekundet – ved denne hastighed, TVA anslår det vil have en halv petabyte data arkiveret inden for få år. TVA bruger Hadoop til at gemme og analysere data. I Indien Power Grid Corporation of India har til hensigt at installere disse intelligente enheder i deres net til indsamling af data for at reducere transmissionstab. Det er bedre de også emulere TVA. For nylig flyttede Facebook til 30 petabyte Hadoop, som lyder utrolig og svært at fordøje det faktum, vi bruger sådan et utal mængde data.

Data Warehouse og Business Intelligence produkter understøtter Hadoop og MapReduce

1 ) Greenplum
2) Informatica
3) Teradata
5) Pentaho
6) Talend

Hvis Hadoop og andre NoSQL implementeringer i vidt omfang anvendes, begrænsningerne af traditionelle SQL-systemer kan være løst ligesom opbevaring ustrukturerede data. Med mængden af ​​data stiger eksponentielt, vil kommercialiseringen af ​​Hadoop ske i stor skala og data integrator værktøjer vil spille en central rolle i minedrift data for erhvervslivet.
Læsere del dine oplevelser, hvis nogen af ​​jer har arbejdet med Hadoop på andet ETL og BI-værktøjer, værktøjer, der er tilgængelige på markedet
.