Pyspark - Sum

I Python er Pyspark en Spark -modul som brukes til å gi en lignende type prosessering som Spark ved hjelp av DataFrame. sum () i Pyspark returnerer den totale (sum) verdien fra en bestemt kolonne i DataFrame. Vi kan få sumverdien på tre måter.

1. Metode 1: Bruke Select () Metode
2. Metode 2: Bruke AGG () -metode
3. Metode 3: Bruke GroupBy () -metode

Før det må vi lage Pyspark DataFrame for demonstrasjon.

Eksempel:

Vi vil lage en DataFrame med 5 rader og 6 kolonner og vise den ved hjelp av Show () -metoden.

#import Pyspark -modulen
Importer pyspark
#import SparkSession for å lage en økt
Fra Pyspark.SQL Import SparkSession
#Create en app som heter Linuxhint
Spark_app = SparkSession.bygger.AppName ('Linuxhint').getorCreate ()
# Lag studentdata med 5 rader og 6 attributter
Studenter = [
'Rollno': '001', 'Navn': 'Sravan', 'Age': 23,
'Høyde': 5.79, 'vekt': 67, 'adresse': 'guntur',
'Rollno': '002', 'Navn': 'Ojaswi', 'Age': 16,
'Høyde': 3.79, 'vekt': 34, 'adresse': 'hyd',
'Rollno': '003', 'Navn': 'Gnanesh Chowdary', 'Age': 7,
'Høyde': 2.79, 'Vekt': 17, 'Adresse': 'Patna',
'Rollno': '004', 'Navn': 'Rohith', 'Age': 9,
'Høyde': 3.69, 'vekt': 28, 'adresse': 'hyd',
'Rollno': '005', 'Navn': 'Sridevi', 'Age': 37,
'Høyde': 5.59, 'vekt': 54, 'adresse': 'hyd']]
# Lag DataFrame
df = spark_app.CreateTataFrame (studenter)
#Display DataFrame
df.forestilling()

Produksjon:

Metode 1: Bruke Select () Metode

Vi kan få den totale verdien fra kolonnen i DataFrame ved hjelp av Select () -metoden. Ved hjelp av sum () -metoden kan vi få den totale verdien fra kolonnen. For å bruke denne metoden, må vi importere den fra Pyspark.SQL.Funksjonsmodul, og til slutt kan vi bruke Collect () -metoden for å få summen fra kolonnen

Syntaks:

df.velg (sum ('kolonne_navn'))

Hvor,

1. DF er inngangen Pyspark DataFrame
2. Kolonne_navn er kolonnen for å få sumverdien

Hvis vi ønsker å returnere den totale verdien fra flere kolonner, må vi bruke summen () -metoden inne i SELECT () -metoden ved å spesifisere kolonnens navn atskilt med et komma.

Syntaks:

df.velg (sum ('kolonne_navn'), sum ('kolonne_name'), .. ., sum ('kolonne_navn'))

Hvor,

1. DF er inngangen Pyspark DataFrame
2. Kolonne_navn er kolonnen for å få sumverdien

Eksempel 1: Enkelt kolonne

Dette eksemplet vil få den totale verdien fra høydekolonnen i Pyspark DataFrame.

#import Pyspark -modulen
Importer pyspark
#import SparkSession for å lage en økt
Fra Pyspark.SQL Import SparkSession
#import sumfunksjonen
Fra Pyspark.SQL.Funksjoner importerer sum
#Create en app som heter Linuxhint
Spark_app = SparkSession.bygger.AppName ('Linuxhint').getorCreate ()
# Lag studentdata med 5 rader og 6 attributter
Studenter = [
'Rollno': '001', 'Navn': 'Sravan', 'Age': 23,
'Høyde': 5.79, 'vekt': 67, 'adresse': 'guntur',
'Rollno': '002', 'Navn': 'Ojaswi', 'Age': 16,
'Høyde': 3.79, 'vekt': 34, 'adresse': 'hyd',
'Rollno': '003', 'Navn': 'Gnanesh Chowdary', 'Age': 7,
'Høyde': 2.79, 'Vekt': 17, 'Adresse': 'Patna',
'Rollno': '004', 'Navn': 'Rohith', 'Age': 9,
'Høyde': 3.69, 'vekt': 28, 'adresse': 'hyd',
'Rollno': '005', 'Navn': 'Sridevi', 'Age': 37,
'Høyde': 5.59, 'vekt': 54, 'adresse': 'hyd']]
# Lag DataFrame
df = spark_app.CreateTataFrame (studenter)
#returner summen fra høydekolonnen
df.Velg (Sum ('Høyde')).samle inn()

Produksjon:

[Rad (sum (høyde) = 21.65)]

Den totale verdien (summen) fra høydekolonnen returneres i eksemplet ovenfor.

Eksempel 2: Flere kolonner

Dette eksemplet vil få den totale verdien fra høyde-, alders- og vektkolonnene i Pyspark DataFrame.

#import Pyspark -modulen
Importer pyspark
#import SparkSession for å lage en økt
Fra Pyspark.SQL Import SparkSession
#import sumfunksjonen
Fra Pyspark.SQL.Funksjoner importerer sum
#Create en app som heter Linuxhint
Spark_app = SparkSession.bygger.AppName ('Linuxhint').getorCreate ()
# Lag studentdata med 5 rader og 6 attributter
Studenter = [
'Rollno': '001', 'Navn': 'Sravan', 'Age': 23,
'Høyde': 5.79, 'vekt': 67, 'adresse': 'guntur',
'Rollno': '002', 'Navn': 'Ojaswi', 'Age': 16,
'Høyde': 3.79, 'vekt': 34, 'adresse': 'hyd',
'Rollno': '003', 'Navn': 'Gnanesh Chowdary', 'Age': 7,
'Høyde': 2.79, 'Vekt': 17, 'Adresse': 'Patna',
'Rollno': '004', 'Navn': 'Rohith', 'Age': 9,
'Høyde': 3.69, 'vekt': 28, 'adresse': 'hyd',
'Rollno': '005', 'Navn': 'Sridevi', 'Age': 37,
'Høyde': 5.59, 'vekt': 54, 'adresse': 'hyd']]
# Lag DataFrame
df = spark_app.CreateTataFrame (studenter)
#Return summen fra høyde-, alders- og vektkolonnene
df.velg (sum ('høyde'), sum ('alder'), sum ('vekt'))).samle inn()

Produksjon:

[Rad (sum (høyde) = 21.65, sum (alder) = 92, sum (vekt) = 200)]

Den totale verdien (summen) fra høyde, alder og vektkolonner returneres i eksemplet ovenfor.

Metode 2: Bruke AGG () -metode

Vi kan få den totale verdien fra kolonnen i DataFrame ved å bruke AGG () -metoden. Denne metoden er kjent som aggregering, som grupper verdiene i en kolonne. Det vil ta ordbok som en parameter i den nøkkelen vil være kolonnens navn og verdi er den samlede funksjonen, i.e., sum. Ved å bruke sum () -metoden, kan vi få den totale verdien fra kolonnen, og til slutt kan vi bruke Collect () -metoden for å få summen fra kolonnen.

Syntaks:

df.AGG ('Column_name': sum)

Hvor,

1. DF er inngangen Pyspark DataFrame
2. Kolonne_navn er kolonnen for å få sumverdien
3. Summen er en aggregeringsfunksjon som brukes til å returnere summen

Hvis vi ønsker å returnere den totale verdien fra flere kolonner, må vi spesifisere kolonnenavnet med sumfunksjonen atskilt med et komma.

Syntaks:

df.AGG ('Column_name': Sum, 'Column_name': Sum,…, 'Column_name': Sum)

Hvor,

1. DF er inngangen Pyspark DataFrame
2. Kolonne_navn er kolonnen for å få sumverdien
3. Summen er en aggregeringsfunksjon som brukes til å returnere summen

Eksempel 1: Enkelt kolonne

Dette eksemplet vil få den totale verdien fra høydekolonnen i Pyspark DataFrame.

#import Pyspark -modulen
Importer pyspark
#import SparkSession for å lage en økt
Fra Pyspark.SQL Import SparkSession
#Create en app som heter Linuxhint
Spark_app = SparkSession.bygger.AppName ('Linuxhint').getorCreate ()
# Lag studentdata med 5 rader og 6 attributter
Studenter = [
'Rollno': '001', 'Navn': 'Sravan', 'Age': 23,
'Høyde': 5.79, 'vekt': 67, 'adresse': 'guntur',
'Rollno': '002', 'Navn': 'Ojaswi', 'Age': 16,
'Høyde': 3.79, 'vekt': 34, 'adresse': 'hyd',
'Rollno': '003', 'Navn': 'Gnanesh Chowdary', 'Age': 7,
'Høyde': 2.79, 'Vekt': 17, 'Adresse': 'Patna',
'Rollno': '004', 'Navn': 'Rohith', 'Age': 9,
'Høyde': 3.69, 'vekt': 28, 'adresse': 'hyd',
'Rollno': '005', 'Navn': 'Sridevi', 'Age': 37,
'Høyde': 5.59, 'vekt': 54, 'adresse': 'hyd']]
# Lag DataFrame
df = spark_app.CreateTataFrame (studenter)
#returner summen fra høydekolonnen
df.AGG ('høyde': 'sum').samle inn()

Produksjon:

[Rad (sum (høyde) = 21.65)]

I eksemplet ovenfor returneres den totale verdien (sum) fra høydekolonnen.

Eksempel 2: Flere kolonner

Dette eksemplet vil få den totale verdien fra høyde-, alders- og vektkolonnene i Pyspark DataFrame.

#import Pyspark -modulen
Importer pyspark
#import SparkSession for å lage en økt
Fra Pyspark.SQL Import SparkSession
#Create en app som heter Linuxhint
Spark_app = SparkSession.bygger.AppName ('Linuxhint').getorCreate ()
# Lag studentdata med 5 rader og 6 attributter
Studenter = [
'Rollno': '001', 'Navn': 'Sravan', 'Age': 23,
'Høyde': 5.79, 'vekt': 67, 'adresse': 'guntur',
'Rollno': '002', 'Navn': 'Ojaswi', 'Age': 16,
'Høyde': 3.79, 'vekt': 34, 'adresse': 'hyd',
'Rollno': '003', 'Navn': 'Gnanesh Chowdary', 'Age': 7,
'Høyde': 2.79, 'Vekt': 17, 'Adresse': 'Patna',
'Rollno': '004', 'Navn': 'Rohith', 'Age': 9,
'Høyde': 3.69, 'vekt': 28, 'adresse': 'hyd',
'Rollno': '005', 'Navn': 'Sridevi', 'Age': 37,
'Høyde': 5.59, 'vekt': 54, 'adresse': 'hyd']]
# Lag DataFrame
df = spark_app.CreateTataFrame (studenter)
#Return summen fra høyde-, alders- og vektkolonnene
df.AGG ('høyde': 'sum', 'alder': 'sum', 'vekt': 'sum').samle inn()

Produksjon:

[Rad (sum (høyde) = 21.65, sum (alder) = 92, sum (vekt) = 200)]

I eksemplet ovenfor returneres den totale verdien (summen) fra høyden, alderen og vektkolonnene.

Metode 3: Bruke GroupBy () -metode

Vi kan få den totale verdien fra kolonnen i DataFrame ved hjelp av GroupBy () -metoden. Denne metoden vil returnere den totale verdien ved å gruppere lignende verdier i en kolonne. Vi må bruke sum () -funksjon etter å ha utført GroupBy () -funksjon

Syntaks:

df.Groupby (Group_Column).sum ('kolonne_navn')

Hvor,

1. DF er inngangen Pyspark DataFrame
2. group_column er kolonnen der verdiene er gruppert basert på denne kolonnen
3. Kolonne_navn er kolonnen for å få sumverdien
4. Summen er en aggregeringsfunksjon som brukes til å returnere summen

Eksempel 1:

I dette eksemplet vil vi gruppere adressekolonnen med høydekolonnen for å returnere den totale (sum) verdien basert på denne adressekolonnen.

#import Pyspark -modulen
Importer pyspark
#import SparkSession for å lage en økt
Fra Pyspark.SQL Import SparkSession
#Create en app som heter Linuxhint
Spark_app = SparkSession.bygger.AppName ('Linuxhint').getorCreate ()
# Lag studentdata med 5 rader og 6 attributter
Studenter = [
'Rollno': '001', 'Navn': 'Sravan', 'Age': 23,
'Høyde': 5.79, 'vekt': 67, 'adresse': 'guntur',
'Rollno': '002', 'Navn': 'Ojaswi', 'Age': 16,
'Høyde': 3.79, 'vekt': 34, 'adresse': 'hyd',
'Rollno': '003', 'Navn': 'Gnanesh Chowdary', 'Age': 7,
'Høyde': 2.79, 'Vekt': 17, 'Adresse': 'Patna',
'Rollno': '004', 'Navn': 'Rohith', 'Age': 9,
'Høyde': 3.69, 'vekt': 28, 'adresse': 'hyd',
'Rollno': '005', 'Navn': 'Sridevi', 'Age': 37,
'Høyde': 5.59, 'vekt': 54, 'adresse': 'hyd']]
# Lag DataFrame
df = spark_app.CreateTataFrame (studenter)
#Return summen fra høydekolonnen med adressekolonnen
df.Groupby ('adresse').sum ('høyde').samle inn()

Produksjon:

Det er tre unike verdier i adressefeltet - Hyd, Guntur og Patna. Så summen vil bli dannet ved å gruppere verdiene på tvers av adresseverdiene.

[Rad (adresse = 'hyd', sum (høyde) = 13.07),
Rad (adresse = 'guntur', sum (høyde) = 5.79),
Rad (adresse = 'patna', sum (høyde) = 2.79)]

Eksempel 2:

I dette eksemplet vil vi gruppere adressekolonnen med vektkolonnen for å returnere den totale (sum) verdien basert på denne adressekolonnen.

#import Pyspark -modulen
Importer pyspark
#import SparkSession for å lage en økt
Fra Pyspark.SQL Import SparkSession
#Create en app som heter Linuxhint
Spark_app = SparkSession.bygger.AppName ('Linuxhint').getorCreate ()
# Lag studentdata med 5 rader og 6 attributter
Studenter = [
'Rollno': '001', 'Navn': 'Sravan', 'Age': 23,
'Høyde': 5.79, 'vekt': 67, 'adresse': 'guntur',
'Rollno': '002', 'Navn': 'Ojaswi', 'Age': 16,
'Høyde': 3.79, 'vekt': 34, 'adresse': 'hyd',
'Rollno': '003', 'Navn': 'Gnanesh Chowdary', 'Age': 7,
'Høyde': 2.79, 'Vekt': 17, 'Adresse': 'Patna',
'Rollno': '004', 'Navn': 'Rohith', 'Age': 9,
'Høyde': 3.69, 'vekt': 28, 'adresse': 'hyd',
'Rollno': '005', 'Navn': 'Sridevi', 'Age': 37,
'Høyde': 5.59, 'vekt': 54, 'adresse': 'hyd']]
# Lag DataFrame
df = spark_app.CreateTataFrame (studenter)
#Return summen fra vektkolonnen med adressekolonnen
df.Groupby ('adresse').sum ('vekt').samle inn()

Produksjon:

Det er tre unike verdier i adressefeltet - Hyd, Guntur og Patna. Så summen vil bli dannet ved å gruppere verdiene på tvers av adresseverdiene.

[Rad (adresse = 'hyd', sum (vekt) = 116),
Rad (adresse = 'guntur', sum (vekt) = 67),
Rad (adresse = 'patna', sum (vekt) = 17)]

Konklusjon:

Vi diskuterte hvordan du får summen (total) fra Pyspark DataFrame ved å bruke Select () og AGG () -metodene. For å få sumverdien ved å gruppere med andre kolonner, brukte vi GroupBy sammen med summen () -funksjonen.