PySpark Pandas_Udf()

Tema vsebine:

• Pandas_udf() z različnimi vrstami podatkov
• Pandas_udf() z različnimi tipi podatkov z uporabo Groupby() & Agg()

Če želite izvedeti več o PySpark DataFrame in namestitvi modula, preglejte to Članek .

Pyspark.sql.functions.pandas_udf()

Pandas_udf () je na voljo v modulu sql.functions v PySparku, ki ga je mogoče uvoziti s ključno besedo »from«. Uporablja se za izvajanje vektoriziranih operacij na našem PySpark DataFrame. Ta funkcija je implementirana kot dekorater s posredovanjem treh parametrov. Po tem lahko ustvarimo uporabniško definirano funkcijo, ki vrne podatke v vektorskem formatu (kot za to uporabljamo series/NumPy) z uporabo puščice. Znotraj te funkcije lahko vrnemo rezultat.

Struktura in sintaksa:

Najprej si poglejmo strukturo in sintakso te funkcije:

Tu je ime_funkcije ime naše definirane funkcije. Podatkovni tip določa podatkovni tip, ki ga vrne ta funkcija. Rezultat lahko vrnemo s ključno besedo 'return'. Vse operacije se izvajajo znotraj funkcije z dodelitvijo puščice.

Pandas_udf (funkcija in povratna vrsta)

1. Prvi parameter je uporabniško definirana funkcija, ki mu je posredovana.
2. Drugi parameter se uporablja za podajanje vrnjenega tipa podatkov iz funkcije.

podatki:

V tem celotnem vodniku za predstavitev uporabljamo samo en PySpark DataFrame. Vse uporabniško definirane funkcije, ki jih definiramo, so uporabljene na tem PySpark DataFrame. Prepričajte se, da ste ta DataFrame najprej ustvarili v svojem okolju po namestitvi PySpark.

Izhod:

Tukaj ustvarimo ta DataFrame s 4 stolpci in 8 vrsticami. Zdaj uporabljamo pandas_udf() za ustvarjanje uporabniško definiranih funkcij in njihovo uporabo v teh stolpcih.

Pandas_udf() z različnimi vrstami podatkov

V tem scenariju ustvarimo nekaj uporabniško definiranih funkcij s pandas_udf() in jih uporabimo v stolpcih ter prikažemo rezultate z uporabo metode select(). V vsakem primeru uporabljamo pandas.Series, ko izvajamo vektorizirane operacije. To upošteva vrednosti stolpca kot enodimenzionalno matriko in operacija se uporabi za stolpec. V samem dekoratorju določimo vrsto vrnitve funkcije.

Primer 1: Pandas_udf() z vrsto niza

Tukaj ustvarimo dve uporabniško definirani funkciji s tipom vrnitve niza za pretvorbo vrednosti stolpca tipa niza v velike in male črke. Končno te funkcije uporabimo v stolpcih »type« in »locate_country«.

Izhod:

Pojasnilo:

Funkcija StringType() je na voljo v modulu pyspark.sql.types. Ta modul smo že uvozili med ustvarjanjem PySpark DataFrame.

1. Prvič, UDF (uporabniško določena funkcija) vrne nize z velikimi črkami s funkcijo str.upper(). Funkcija str.upper() je na voljo v podatkovni strukturi serije (saj pretvarjamo v serijo s puščico znotraj funkcije), ki dani niz pretvori v velike črke. Končno se ta funkcija uporabi za stolpec »type«, ki je določen znotraj metode select(). Prej so bili vsi nizi v stolpcu vrste napisani z malimi črkami. Zdaj so spremenjene v velike črke.
2. Drugič, UDF vrne nize z velikimi črkami s funkcijo str.lower(). Funkcija str.lower() je na voljo v podatkovni strukturi serije, ki dani niz pretvori v male črke. Končno se ta funkcija uporabi za stolpec »type«, ki je določen znotraj metode select(). Prej so bili vsi nizi v stolpcu vrste napisani z velikimi črkami. Zdaj so spremenjene v male črke.

Primer 2: Pandas_udf() s celoštevilskim tipom

Ustvarimo UDF, ki pretvori celoštevilski stolpec PySpark DataFrame v serijo Pandas in vsaki vrednosti dodamo 100. Tej funkciji znotraj metode select() posredujte stolpec »količina«.

Izhod:

Pojasnilo:

Znotraj UDF ponovimo vse vrednosti in jih pretvorimo v serije. Nato vsaki vrednosti v nizu dodamo 100. Nazadnje tej funkciji posredujemo stolpec »količina« in vidimo, da je 100 dodanih vsem vrednostim.

Pandas_udf() z različnimi tipi podatkov z uporabo Groupby() & Agg()

Oglejmo si primere za posredovanje UDF v združene stolpce. Tukaj se vrednosti stolpcev najprej združijo v skupine s funkcijo groupby(), združevanje pa se izvede s funkcijo agg(). Naš UDF posredujemo znotraj te agregatne funkcije.

Sintaksa:

Tukaj se najprej združijo vrednosti v stolpcu za združevanje. Nato se izvede združevanje vseh združenih podatkov glede na naš UDF.

Primer 1: Pandas_udf() z agregatno srednjo vrednostjo()

Tukaj ustvarimo uporabniško definirano funkcijo s povratnim tipom float. Znotraj funkcije izračunamo povprečje s funkcijo mean(). Ta UDF se posreduje v stolpec »količina«, da se pridobi povprečna količina za vsako vrsto.

Izhod:

Združujemo glede na elemente v stolpcu »type«. Oblikovani sta dve skupini – »sadje« in »zelenjava«. Za vsako skupino se izračuna in vrne povprečje.

Primer 2: Pandas_udf() z Aggregate Max() in Min()

Tukaj ustvarimo dve uporabniško definirani funkciji s povratnim tipom integer (int). Prvi UDF vrne najmanjšo vrednost, drugi UDF pa največjo vrednost.

Izhod:

Za vrnitev najmanjših in največjih vrednosti uporabljamo funkciji min() in max() v vrnjenem tipu UDF-jev. Zdaj združujemo podatke v stolpcu »locate_country«. Oblikovane so štiri skupine (»KITAJSKA«, »INDIJA«, »JAPONSKA«, »ZDA«). Za vsako skupino vrnemo največjo količino. Podobno vrnemo minimalno količino.

Zaključek

V bistvu se pandas_udf () uporablja za izvajanje vektoriziranih operacij na našem PySpark DataFrame. Videli smo, kako ustvariti pandas_udf() in ga uporabiti v PySpark DataFrame. Za boljše razumevanje smo razpravljali o različnih primerih z upoštevanjem vseh podatkovnih tipov (niz, plavajoče in celo število). Prek funkcije agg() je mogoče uporabiti pandas_udf() z groupby().