Dataflow i MapReduce applikationer!

MapReduce er en ramme, der er designet til at behandle store datasæt. Den bruger en stor klynge af computere, der er kaldet som knudepunkter til at udføre beregningerne. Denne beregningsmæssige behandling sker på data lagret enten i et filsystem eller i en database. I MapReduce applikationer, er der grundlæggende to komponenter, nemlig kort og reducere. I Kort trin, masterknuden modtager input, skillevægge det i mindre sub-problemer, og endelig distribuerer dem til arbejdstager noder. Dette er igen gentaget af arbejdstageren node, der fører til en multi-niveau træstruktur. De mindre problemer, der er lavet i arbejdstageren node proces hver enkelt af dem, og passerer svaret tilbage til sin herre node. På den anden side reducerer trin finder svarene og kombinerer dem på en eller anden måde at få det endelige resultat.

Inden for rammerne MapReduce er der en stor distribueret slags som består af hot spots som defineret

• en input-læser
• en Kort-funktion
• en Reducer-funktion
• en partition funktion
• a sammenligne funktion
• et output skribent

Her Input læser dybest set opdeler input til passende størrelse splits. Rammerne MapReduce derefter tildeler en split til hver Kort funktion. Der er et distribueret filsystem fra hvor input læseren læser data og genererer de nødvendige nøgle /værdi par. En anden komponent nemlig Kort funktion tager en serie af nøgle /værdi-par, bearbejder dem og derefter genererer nul eller flere output nøgle /værdi par. Ofte input og output typer af reducere funktionen er forskellig fra hinanden.

Reducer funktion inden for rammerne MapReduce opkald hver reducere funktionen én gang for hver unikke nøgle i sorteret orden. Denne Reducer funktion kan gentage gennem de værdier, der er i sidste ende forbundet med denne nøgle. Output værdi kan være 0 eller nogle flere værdier. En anden vigtig funktion er partition funktion, hvor hvert kort funktionsudgang allokeres til en bestemt reducer. Dette gøres ved hjælp af programmets partition funktion. Derefter kommer en sammenligningsfunktion, som bruges til at køre og sortere Map funktion. Så er der en anden meget vigtig funktion kaldet som output forfatter. Udgangen skribent bruges til at skrive outputtet af Reducer funktion til den distribueret filsystem, ofte kaldet som stabil opbevaring.

Hver komponent i MapReduce applikationer er vigtig, og selv om man mangler eller er ikke korrekt optimeret, resultaterne ville ikke som forventet. Til at definere en MapReduce rammer korrekt skal du forstå hver komponent nøje, som du skal læse online tutorials. Udforsk de online ressourcer og gøre brug af denne ansøgning og tjene dine forskellige vigtige formål
.