Hvordan bruke AWS -lim

AWS -lim er en fullt administrert dataintegrasjonstjeneste som leverer og integrerer data og lar brukerne kjøre crawlers og opprette og overvåke ETL (Extract, Transform and Load) jobber. AWS -lim fungerer i et serverløst miljø og lar brukerne utføre aktiviteter på en skalerbar infrastruktur. AWS -lim henter data fra andre Amazon -tjenester som S3 eller AWS Kinesis og integrerer de tilgjengelige dataene.

Når brukerne oppretter ETL -jobber og crawlers i AWS -lim, må de spesifisere og erklære målstedet for henholdsvis dataene og datakilden. Dette betyr at AWS -limet ikke kan brukes alene, men brukeren må lagre data i lagringstjenester som S3 -bøtter og deretter gjøre disse dataene tilgjengelige for AWS -limtjenesten. Brukere kan også lage databaser, tabeller, skjemaer, tilkoblinger osv., i AWS -lim.

Denne artikkelen vil forklare prosessen med å bruke AWS -lim i enkle trinn.

Hvordan bruke AWS -lim?

For å forstå bruken av AWS -lim, først, logger du på AWS -konsollen og søk etter AWS -lim i AWS -tjenestene.

På det aller første grensesnittet av AWS -lim vil det være en meny på venstre side som vil inneholde listen over alle mulige oppgaver som kan utføres ved hjelp av AWS -limet, som crawlers, databaser, tabeller, skjemaer osv.

Hvis vi klikker på "Kom i gang" -knappen, vil neste grensesnitt vise tre forskjellige oppgaver, i.e., Se jobber, se overvåking og se kontakter.

For å lage jobber i AWS -lim, må brukeren først konfigurere jobben i henhold til detaljene, som plasseringen av S3 -bøtter, objekter, mapper og AWS -klynger. Så for å bruke AWS -lim. Det kreves å lagre noen filer på S3 -lagringstjenesten til AWS.

Lag en S3 -bøtte

Først, besøk "Amazon S3" -tjenesten til AWS og lag en ny S3 -bøtte der.

Lag mapper i bøtta

Etter å ha opprettet en ny S3 -bøtte i Amazon S3, oppretter du en mappe i den ved å åpne detaljene i bøtta og deretter klikke på "Opprett mappe".

Bare oppgi et navn til mappen:

På denne måten opprettes mappen.

Lag nå en annen mappe i bøtta.

Last opp objekter

Gå nå til "Objekter" og klikk på "Last opp" -knappen. Bla gjennom filene fra systemet som antas å lastes opp til den nyopprettede Amazon S3 -bøtta.

Suksessmeldingen på toppen av grensesnittet verifiserer at objektene som er valgt fra systemet, blir lastet opp til AWS S3 -bøtta med hell.

Åpne AWS -lim

Etter å ha lastet opp objekter og lagt til mapper i S3 -bøtta, kan brukeren utføre oppgaver på AWS -limet. Søk etter og åpne AWS -limtjenesten fra Tjenestene til AWS.

Lag crawler

Det vil være en meny på venstre side som inneholder navnene på alle oppgavene utført på AWS -lim. Velg alternativet "Crawlers" fra den gitte menyen og opprett en crawler.

Skriv inn et navn for crawleren.

Velg den nyopprettede bøtta som S3 -banen til crawleren slik at denne crawleren får tilgang til den bøtta:

Forklar måldatabasen ved å velge noen av databasene som er opprettet i AWS -limet eller opprette en ny database og deretter velge det:

Etter å ha konfigurert alt som kreves for å opprette en crawler, klikker du på "Opprett crawler" -knappen:

Etter at crawleren er opprettet, klikker du på "Kjør Crawler" -knappen for å gjøre Crawler aktiv:

Lag en ETL -jobb

Velg alternativet "Jobber" fra menyen til venstre:

Dette handlet om hvordan du bruker AWS -limet.

Konklusjon

AWS -lim er en serverløs AWS -tjeneste som henter data fra andre AWS -tjenester som S3 -bøtter. Det kan være klynger, databaser, jobber osv., opprettet i AWS -lim. En av de viktigste oppgavene med AWS -lim er å skape ETL -jobber. Etter å ha lagret noen filer på AWS -lagringstjenester, kan ETL -jobber opprettes ved å konfigurere detaljene i jobben på en slik måte at de kan få tilgang til filene.