Hvordan lage varelagerkonfigurasjon i S3 -bøtte
Amazon S3 -varelager kan konfigureres til å generere rapporter for spesifikke S3 -objekter ved å spesifisere prefikset. Inventaret kan deretter sendes til destinasjonsbøtta på samme konto eller en annen konto. Flere S3 -varelager kan også konfigureres for samme S3 -bøtte med forskjellige S3 -objektprefikser, destinasjonsbøtter og utgangsfiltyper. Du kan også spesifisere om inventarfilen vil være kryptert eller ikke.
Denne bloggen vil se hvordan varelager kan konfigureres i S3 -bøtta ved hjelp av AWS Management Console.
Opprette varekonfigurasjon
Først må du logge på AWS Management Console og gå til S3 -tjenesten.
Fra S3 -konsollen, gå til bøtta som du vil konfigurere varelager.
Inne i bøtta, gå til ledelse Tab.
Bla nedover og gå til Lagerkonfigurasjon seksjon. Klikk på Lag lagerkonfigurasjon knapp for å opprette varekonfigurasjonen.
Det vil åpne en konfigurasjonsside for å konfigurere varelageret. Legg først til varekonfigurasjonsnavnet som må være unikt inne i S3 -bøtta. Gi deretter S3 -objektprefikset hvis du vil begrense varelageret til spesifikke S3 -objekter. For å dekke alle objektene i S3 -bøtta, la igjen prefiks felt tomt.
For denne demoen vil vi begrense lageromfanget til objektet med prefiks serverlogger.
Varebeholdningskonfigurasjonen kan også begrenses til den nåværende versjonen, eller den forrige kan også dekkes under varelageret. For denne demoen vil vi bare begrense lageromfanget til gjeldende versjon.
Etter å ha spesifisert lageromfanget, vil det nå be om rapportdetaljer. Rapporten kan lagres til destinasjon S3 -bøtta innen eller på tvers av kontoen. Velg først om du vil lagre varelagerrapportene i S3 -bøtta i samme eller forskjellige konto. Skriv deretter navnet på destinasjonsbøtten eller bla gjennom S3 -bøtter fra konsollen.
En bøttepolicy blir automatisk lagt til destinasjonsbøtten, som lar kildebøtten skrive data i destinasjonsbøtta. Følgende bøttepolicy vil bli lagt til destinasjonen S3 -bøtta for denne demoen.
Etter å ha spesifisert destinasjonen S3 -bøtta for lagerrapporten, må du nå gi den tidsperioden hvoretter lagerrapporten vil bli generert. AWS S3 -bøtte kan konfigureres til å generere daglige eller ukentlige lagerrapporter. For denne demoen velger vi alternativet for daglig rapport.
Outputdannelsesalternativet spesifiserer i hvilket format inventarfilen vil bli generert. AWS S3 støtter følgende tre utgangsformater for varelager.
- CSV
- Apache Orc
- Apache Parkett
For denne demoen vil vi velge CSV -utgangsformat. De Status Alternativer angir status for varekonfigurasjonen. Hvis du vil aktivere S3 -varekonfigurasjonen rett etter å ha opprettet den, må du angi dette alternativet til Muliggjøre.
De genererte varelagerrapportene kan krypteres på serversiden ved å aktivere Kryptering på serversiden alternativ. Du må velge enten KMS-tasten eller den kundeadministrerte tasten hvis aktivert. For denne demoen vil vi ikke aktivere kryptering på serversiden.
Du kan også tilpasse den genererte lagerrapporten ved å legge til flere felt i rapporten. AWS S3 Inventory gir konfigurasjonen for å legge til ytterligere metadata i lagerrapportene. Under Ytterligere felt Seksjon, velg feltene du vil legge til i lagerrapporten. For denne demoen vil vi ikke velge noen ekstra felt.
Klikk nå på skape Knapp nederst på konfigurasjonssiden for å opprette varekonfigurasjonen for S3 -bøtta. Det vil opprette varekonfigurasjonen og legge til en bøttepolicy i destinasjonsbøtta. Gå til destinasjonsbøtta ved å klikke på Destination Bucket URL.
I destinasjonen S3 -bøtta, gå til Tillatelser Tab.
Bla ned til Bøttepolitikk Seksjonen, og det vil være en S3 -bøttepolicy som lar kilden S3 -bøtta overføre lagerrapporter til destinasjonen S3 -bøtta.
Gå nå til kilden S3 -bøtta og lag en serverlogger katalog. Last opp en fil til katalogen ved å bruke AWS S3 -konsollen.
Etter å ha lastet opp filen til Source S3 -bøtta, kan det ta opptil 48 timer å generere den første lagerrapporten. Etter den innledende rapporten vil neste rapport bli generert av den tidsperioden som er spesifisert av deg i varekonfigurasjonen.
Lesing av lager fra destinasjon S3 Bucket
Etter 48 timers konfigurering av varelageret for S3 -bøtta, gå til Destination S3 -bøtta, og lagerrapporten vil bli generert for S3 -bøtta.
Rapportene for varelageret genereres i en spesifikk katalogstruktur i S3 -destinasjonsbøtta. For å se katalogstrukturen, last ned rapportkatalogen og kjører tre Kommando inne i rapportkatalogen.
ubuntu@ubuntu: ~ $ cd linuxhint-demo-bucket
ubuntu@ubuntu: ~ $ tre .
De Demo-Inventory-Config katalog (oppkalt etter lagerkonfigurasjonsnavnet) inne i Linuxhint-Demo-Bucket (oppkalt etter kilde S3 bøtte navn) inneholder alle dataene relatert til lagerrapporten.
De data Katalogen inkluderer CSV -filene komprimert i Gzip -format. Pakk ut en fil og katter den i terminalen.
ubuntu@ubuntu: ~ $ gunzip
ubuntu@ubuntu: ~ $ katt
Katalogene i Demo-Inventory-Config-katalogen, oppkalt etter datoen de er opprettet, inkluderer metadataene i lagerrapportene. Bruke katt kommando for å lese manifestet.JSON -fil.
ubuntu@ubuntu: ~ $ cat 2022-02-17t00-00z/manifest.JSON
Tilsvarende Hive Katalogen inneholder filer som peker på lagerrapporten for en bestemt dato. Bruke katt kommando for å lese noen av symlinkene.TXT -filer.
ubuntu@ubuntu: ~ $ cat hive/dt \ = 2022-02-17-00-00/symlink.tekst
Konklusjon
AWS S3 gir varelagerkonfigurasjon for å administrere lagring og generere revisjonsrapporter. S3 -varelager kan konfigureres for spesifikke S3 -objekter spesifisert av S3 -objektprefikset. Også flere varekonfigurasjoner kan opprettes for en enkelt S3 -bøtte. Denne bloggen beskriver den detaljerte prosedyren for å lage S3 varekonfigurasjoner og lese lagerrapportene fra S3 -destinasjonsbøtta.