Pyspark - Pandas DataFrame Cumulative Operations

“I Python er Pyspark en Spark -modul som gir en lignende type prosessering for å Spark ved hjelp av DataFrame, som vil lagre de gitte dataene i rad- og kolonneformat.

Pyspark - Pandas DataFrame representerer Pandas DataFrame, men den holder Pyspark DataFrame internt.

Pandas støtter dataframdatastruktur, og Pandas importeres fra Pyspark -modulen.

Før det må du installere Pyspark -modulen.”

Kommando

PIP installer pyspark

Syntaks for å importere

Fra Pyspark Import Pandas

Etter det kan vi opprette eller bruke DataFrame fra Pandas -modulen.

Syntaks for å lage pandas dataaframe

Pyspark.Pandas.Dataramme()

Vi kan passere en ordbok eller liste over lister med verdier.

La oss lage en Pandas dataaframe gjennom Pyspark med tre kolonner og fem rader.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#vise
print (pyspark_pandas)

Produksjon

Nå vil vi gå inn på opplæringen vår.

Kumulative operasjoner brukes til å returnere kumulative resultater på tvers av kolonnene i Pyspark Pandas Dataframe.

La oss se dem en etter en.

Pyspark.Pandas.Dataramme.Cumsum ()

Cumsum () vil returnere den kumulative summen i hver kolonne. Det kan brukes på hele Pyspark Pandas DataFrame eller en enkelt kolonne.

Syntaks

På hele DataFrame

pyspark_pandas.Cumsum ()

På bestemt kolonne

pyspark_pandas.kolonne.Cumsum ()

Hvor pyspark_pandas er pyspark pandas, dataaframe og kolonne, referer til kolonnenavnet.

Eksempel 1
I dette eksemplet vil vi utføre Cumsum () på Mark2 -kolonnen.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform Cumsum på Mark2 -kolonnen
trykk (pyspark_pandas.Mark2.Cumsum ())

Produksjon

Kumulativ sumdrift som fungerer i Mark2 -kolonnen

100 = 100
100+67 = 167
100+67+96 = 263
100+67+96+89 = 352
100+67+96+89+77 = 429

Eksempel 2
I dette eksemplet vil vi utføre Cumsum () på hele Pyspark Pandas DataFrame.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#perform cumsum på hele pyspark pandas dataaframe
trykk (pyspark_pandas.Cumsum ())

Produksjon

Vi kan se at den kumulative summen returneres i hver kolonne.

Pyspark.Pandas.Dataramme.cumprod ()

Cumprod () vil returnere det kumulative produktet i hver kolonne. Det kan brukes på hele Pyspark Pandas DataFrame eller på en enkelt kolonne.

Syntaks

På hele DataFrame

pyspark_pandas.cumprod ()

På bestemt kolonne

pyspark_pandas.kolonne.cumprod ()

Hvor pyspark_pandas er pyspark pandas, dataaframe og kolonne, referer til kolonnenavnet.

Eksempel 1
I dette eksemplet vil vi utføre cumprod () på Mark2 -kolonnen.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#perform cumprod på hele pyspark pandas dataaframe
trykk (pyspark_pandas.cumprod ())

Produksjon

Kumulativ produktdrift som fungerer i Mark2 -kolonnen

100 = 100
100*67 = 6700
100*67*96 = 643200
100*67*96*89 = 57244800
100*67*96*89*77 = 4407849600

Eksempel 2
I dette eksemplet vil vi utføre cumprod () på hele Pyspark Pandas DataFrame.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform Cummin på Mark2 -kolonnen
trykk (pyspark_pandas.Mark2.cummin ())

Produksjon

Vi kan se at det kumulative produktet returneres i hver kolonne.

Pyspark.Pandas.Dataramme.cummin ()

cummin () vil returnere den kumulative minimumsverdien i hver kolonne. Det kan brukes på hele Pyspark Pandas DataFrame eller på en enkelt kolonne.

Syntaks

På hele DataFrame

pyspark_pandas.cummin ()

På bestemt kolonne

pyspark_pandas.kolonne.cummin ()

Hvor pyspark_pandas er pyspark pandas, dataaframe og kolonne, referer til kolonnenavnet.

Eksempel 1
I dette eksemplet vil vi utføre cummin () på Mark2 -kolonnen.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform Cummin på hele Pyspark Pandas DataFrame
trykk (pyspark_pandas.cummin ())

Produksjon

Kumulativ minimumsoperasjon som fungerer i Mark2 -kolonnen

100 = 100
min (100,67) = 67
min (100,67,96) = 67
min (100,67,96,89) = 67
min (100,67,96,89,77) = 67

Eksempel 2
I dette eksemplet vil vi utføre Cummin () på hele Pyspark Pandas DataFrame.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform CUMMAX på Mark2 -kolonnen
trykk (pyspark_pandas.Mark2.CUMMAX ())

Produksjon

Vi kan se at den kumulative minimumsverdien returneres i hver kolonne.

Pyspark.Pandas.Dataramme.CUMMAX ()

CUMMAX () vil returnere den kumulative maksimale verdien i hver kolonne. Det kan brukes på hele Pyspark Pandas DataFrame eller på en enkelt kolonne.

Syntaks

På hele DataFrame

pyspark_pandas.CUMMAX ()

På bestemt kolonne

pyspark_pandas.kolonne.CUMMAX ()

Hvor pyspark_pandas er pyspark pandas, dataaframe og kolonne, referer til kolonnenavnet.

Eksempel 1
I dette eksemplet vil vi utføre CUMMAX () på Mark2 -kolonnen.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform CUMMAX på Mark2 -kolonnen
trykk (pyspark_pandas.Mark2.CUMMAX ())

Produksjon

Kumulativ maksimal drift som fungerer i Mark2 -kolonnen

100 = 100
Maks (100,67) = 100
Maks (100,67,96) = 100
Maks (100,67,96,89) = 100
Maks (100,67,96,89,77) = 100

Eksempel 2
I dette eksemplet vil vi utføre CUMMAX () på hele Pyspark Pandas DataFrame.

#import pandaer fra pyspark -modulen
Fra Pyspark Import Pandas
#Create DataFrame fra Pandas Pyspark
pyspark_pandas = pandas.Dataframe ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform Cummax på hele Pyspark Pandas DataFrame
trykk (pyspark_pandas.CUMMAX ())

Produksjon

Vi kan se at den kumulative maksimale verdien returneres i hver kolonne.

Konklusjon

I denne Pyspark Pandas -opplæringen diskuterte vi kumulative operasjoner utført på Pyspark Pandas DataFrame. cumsum () brukes til å returnere den kumulative summen i hver kolonne, cumprod () brukes til å returnere det kumulative produktet i hver kolonne, cummin () brukes til å returnere den kumulative minimumsverdien i hver kolonne, og CUMMAX () brukes til å returner kumulativ maksimal verdi i hver kolonne.