Komme i gang med AWS EMR

Amazon Cloud -leverandør tilbyr en EMR -tjeneste som klynger kan lanseres i minutter uten å bekymre seg for klyngestyring og node -levering. Det lar lagrings- og databehandlingstjenestene til Amazon vokse uavhengig som fører til bedre ressursutnyttelse. Det lar brukeren lagre data i en Amazon S3 -bøtte og kjøre den ved hjelp av Compute Services of the Platform.

La oss starte med Amazon EMR -tjenesten.

Komme i gang med AWS EMR

Amazon EMR er en datahåndteringstjeneste som bruker forskjellige rammer for big data -analyse ved å lage klynger ved å bruke Amazon EC2 -forekomster og arbeidsflyten er forklart nedenfor:

Plan og konfigurer: For å lage en EMR -klynge, må brukeren planlegge lagringen som kreves for å administrere big data og deretter velge rammene for å analysere big data.

Få til: Administrere klyngen kan gjøres ved å koble til den og deretter sende inn dataene på klyngen for å sjekke resultatene før du avslutter klyngen:

Rydde opp: Dette trinnet er for å avslutte klyngen og ressursene, og det er viktig ettersom tomgangsklynger kan koste brukeren mye:

Node i EMR

En EMR -klynge er en kombinasjon av EC2 -forekomster, og hver forekomst kalles en node og dens typer blir forklart nedenfor:

Master Node: Det er hovednoden eller ledernoden som er ansvarlig for å administrere alle ressursene i klyngen.

Kjerneknute: Det er vert for Hadoop Distribuerte File System (HDFS) data og kjører oppgavene til den primære noden, og den primære noden administrerer oppgaver for kjerneknuten.

Oppgaveknute: Disse nodene er ikke vertskap for data, men de kjører oppgaver for tidligere noder, og det er en hjelpernode som betyr at det ikke er obligatorisk å lage mens du lanserer EMR -klyngen:

Lag EMR -klynge

For å lage en klynge på EMR -tjenesten til AWS, kan du ta turen inn i EMR -dashbordet ved å søke i tjenesten fra Amazon -konsollen:

Velg "på denne siden"Klynger”Fra venstre panel og klikk på“Lag klynge”Knapp:

På siden Cluster Creation, klikker du på “Gå til forhåndsalternativer”Link:

Programvarekonfigurasjon: På siden Advance Innstillinger kan brukeren velge forskjellige databehandlingsrammer for åpen kildekode, og tjenesten tilbyr også oppretting av flere noder på EC2-forekomst:

Maskinvarekonfigurasjon: På denne siden kan brukeren konfigurere ressursene som kreves for EMR -klyngen som er tilgjengelig på skyen:

Klyngeknuter og forekomster: Denne delen tilbyr brukeren til å konfigurere nodetyper som vil lage EC2 -forekomstene som har konfigurerte ressurser:

Sikkerhet: På den siste siden velger du EC2 Private Key Pair -filen som kan opprettes på nøkkelpar -siden fra EC2 -dashbordet for å koble til nodene:

EMR -klyngen vises på siden:

Du har laget en EMR -klynge på AWS.

Konklusjon

AWS EMR -tjeneste brukes til å lage klynger for å planlegge lagring for big data som skal brukes ved hjelp av distribuert filsystem. Hver klynge er opprettet med flere noder (EC2 -forekomster) festet til den som kan opprette og koble til den blanke virtuelle maskinen på skyen. Disse klyngene kan brukes til å administrere big data på skyen uten at noen ressurser blir brukt fra systemet ditt.