Hvordan lage S3 Batch Operation Job
AWS lar oss lage batchoperasjoner for S3 -bøttene våre for å behandle data i stor skala. Den administrerer og sporer også batch -operasjonsoppgavene og holder rapportene med detaljer om jobben fullføring. Ting er mye lettere å administrere, da dette er en serverløs tjeneste av AWS. La oss se på hvordan du oppretter en batch -operasjonsjobb for S3 -bøtta.
Opprette S3 Batch -operasjon ved hjelp av konsoll
Nå får vi se hvordan du oppretter en S3 Batch -operasjonsjobb. Så, logg inn på AWS -kontoen din og opprett en S3 -bøtte.
For å lage en batch -operasjonsjobb, krever vi en manifestfil av dataene vi trenger å administrere ved hjelp av den jobben. For å generere manifestet, gå til administrasjonsdelen i S3 -bøtta ved hjelp av toppmenyen.
I administrasjonsdelen kan du dra ned til varekonfigurasjonene og klikk Opprett lagerkonfigurasjoner.
I CREATE -delen må du oppgi et navn på lagerkonfigurasjonen.
Deretter må du velge destinasjonsbanen der du vil lagre lagerrapportene dine. Du må også legge ved policyen for å gi tillatelse til å sette data i S3 -bøtta.
Du kan også endre formatet på manifestfilen hvis du vil. Her går vi med CSV når vi ønsker å bruke dette i en batchoperasjon.
Brukeren kan spesifisere hva slags informasjon han ønsker i sin manifestrapport og om hvilke objekter. AWS gir flere alternativer, for eksempel objekttype, lagringsklasse, dataintegritet og objektlås.
Nå, bare klikk på Opprett -knappen i knappen høyre hjørne, så får du lagerkonfigurasjonen for S3 -bøtta. Manifest -rapporten vil bli generert på 48 timer og lagres i destinasjonsbøtta.
Deretter skal vi lage en S3 -batchjobb. Bare klikk på batchoperasjoner i høyre menypanel på S3 -delen for å åpne batch -driftskonsollen.
Her må vi lage en bestemt jobb for en bestemt oppgave som vi ønsker å utføre på objektene våre i S3 -bøtta. Så klikk på Create Job for å begynne å bygge din første S3 Batch -operasjonsjobb.
For jobbskaping trenger vi først et manifest som gir detaljene om objektene som er lagret i bøtta. Du kan opprette et manifest i JSON eller CSV fra administrasjonsdelen i S3 -bøtta, men det vil ta litt tid å generere rapporten. Så vi klikker på Opprett manifest ved hjelp av S3 replikasjonskonfigurasjon.
Velg kildebøtta du skal lage denne jobben. Bøtta kan også tilhøre en annen AWS -konto.
Du kan også lagre manifestet, som endelig vil bli opprettet for denne batchoperasjonen. Du må gi destinasjonen der det vil bli lagret.
Nå kan vi velge operasjonen som vi ønsker at vår batchoperasjon skal utføre. AWS gir flere operasjoner som kopieringsobjekter, påkaller Lambda -funksjoner, slettekoder og mange andre. Imidlertid tillater en manifest opprettet ved bruk av S3 -replikasjonskonfigurasjonen bare replikasjonsoperasjon.
Deretter kan du oppgi batchoperasjonsbeskrivelsen og definere prioriteringsnivået basert på tall; Høy verdi betyr høyere prioritet.
Hvis du vil få en jobb fullføringsrapport, kan du sjekke alternativet Generer fullføringsrapport og oppgi stedet der det vil bli lagret.
For tillatelser må du ha en IAM -rolle med en S3 Batch -operasjonspolitikk som du enkelt kan opprette for batchoperasjoner i IAM -seksjonen.
Til slutt kan du gjennomgå alle innstillingene og klikk på Create Job for å fullføre prosessen.
Når den er opprettet, vil den vises i jobbseksjonen. Det kan ta litt tid å være klar basert på operasjonene du har valgt for jobben. Etter det kan du kjøre det som du vil.
Så vi har opprettet en S3 Batch -operasjonsjobb ved hjelp av AWS -konsollen.
Opprette S3 Batch -operasjon ved hjelp av CLI
La oss nå se hvordan du konfigurerer en S3 Batch-operasjonsjobb ved å bruke AWS-kommandolinjegrensesnittet. For det, konfigurer AWS CLI -legitimasjon på maskinen din. Besøk følgende blogg for å konfigurere AWS CLI -legitimasjon.
https: // linuxhint.com/configure-aws-cli-credentials/
Etter å ha konfigurert AWS CLI -legitimasjon, oppretter du en S3 -bøtte ved hjelp av følgende kommando i terminalen:
$: AWS S3API Create-Bucket--Bucket--region
Deretter må du opprette batchoperasjonen du vil utføre på objektene dine. Så opprett et JSON -dokument, definere operasjonen du ønsker, og gi de nødvendige attributtene til nevnte operasjon. Følgende er et eksempel på S3 -objekt -tagging -operasjonen:
Deretter, hvis du vil generere fullføringsrapporten for batchjobben din, må du oppgi destinasjonen for å lagre den rapportfilen. Standard JSON -format for dette er som følger:
"Bucket": "",
"Format": "Report_CSV_20180820",
"Aktivert": True | falsk,
"Prefiks": "",
"ReportsCope": "AllTasks | FailedTaskSonly"
Deretter må du oppgi manifestfilen som inneholder metadataene til alle objektene som er lagret i S3 -bøtta som du vil utføre batchoperasjonen. Du må opprette en annen JSON -fil med følgende attributter:
"SPEC":
"Format": "S3Batchoperations_CSV_20180820"
"Felt": ["Bucket", "Key"]
,
"Plassering":
"Objectarn": "",
"ObjectVersionId": "",
"Etag": ""
Til slutt kan vi opprette vår batchoperasjon ved hjelp av følgende kommando:
$: AWS S3Control Create-Job--Konto-id
--bekreftelse påkrevd
--Operasjonsfil:
--Rapporter fil: //
--manifestfil: //
Så vi har opprettet en batch -operasjonsjobb ved hjelp av AWS CLI.
Konklusjon:
S3 Batch -operasjonen er et veldig nyttig verktøy å bruke når du vil administrere et stort antall objekter. Batchjobber kan ofte være vanskelige og sammensatte å sette opp for første gang. Men de kan lett redusere innsatsen, kostnadene og tiden. De brukes til å kjøre komplekse algoritmer, repeterende oppgaver, tabellforbindelser i SQL -databaser, påkalle en lambda -funksjon og ringe en REST API. Du trenger bare å oppgi listen over objekter i S3 -bøtta du vil utføre oppgaven, og prosessen vil bli utført hver gang batchoperasjonen utløses. Vanlige eksempler på batchoperasjoner inkluderer S3 -objekt -tagging, henting av spesifikke data fra S3 Glacier, overføring av data fra en S3 -bøtte til en annen, generere kontoutskrifter, behandling av analytiske rapporter og prognoser, ordreoppfyllelsesvarsler og e -postsynkroniseringssystem. Vi håper du fant denne artikkelen nyttig. Sjekk de andre Linux -hint -artiklene for flere tips og opplæringsprogrammer.