Pretvarjanje PySpark DataFrame v JSON

Tema vsebine:

• PySpark DataFrame v JSON z uporabo To_json() s ToPandas()
• PySpark DataFrame v JSON z uporabo ToJSON()
• PySpark DataFrame v JSON z uporabo Write.json()

Oglejmo si preprost PySpark DataFrame v vseh primerih in ga pretvorimo v JSON z uporabo omenjenih funkcij.

Potreben modul:

Namestite knjižnico PySpark v svoje okolje, če še ni nameščena. Za namestitev uporabite naslednji ukaz:

PySpark DataFrame v JSON z uporabo To_json() s ToPandas()

Metoda to_json() je na voljo v modulu Pandas, ki pretvori Pandas DataFrame v JSON. To metodo lahko uporabimo, če naš PySpark DataFrame pretvorimo v Pandas DataFrame. Za pretvorbo PySpark DataFrame v Pandas DataFrame se uporablja metoda toPandas(). Oglejmo si sintakso funkcije to_json() skupaj z njenimi parametri.

Sintaksa:

1. Orient se uporablja za prikaz pretvorjenega JSON kot želenega formata. Zajema 'zapise', 'tabelo', 'vrednosti', 'stolpce', 'indeks', 'razdelitev'.
2. Indeks se uporablja za vključitev/odstranitev indeksa iz pretvorjenega niza JSON. Če je nastavljeno na »True«, se prikažejo indeksi. V nasprotnem primeru indeksi ne bodo prikazani, če je orientacija 'split' ali 'table'.

1. primer: Orient kot »Zapisi«

Ustvarite »skills_df« PySpark DataFrame s 3 vrsticami in 4 stolpci. Pretvorite ta DataFrame v JSON tako, da določite parameter orient kot »zapisi«.

Izhod:

Vidimo lahko, da je PySpark DataFrame pretvorjen v matriko JSON s slovarjem vrednosti. Tukaj ključi predstavljajo ime stolpca, vrednost pa vrednost vrstice/celice v PySpark DataFrame.

2. primer: orientacija kot »razcep«

Format JSON, ki ga vrne usmerjenost »split«, vključuje imena stolpcev, ki imajo seznam stolpcev, seznam indeksov in seznam podatkov. Sledi format 'split' orienta.

Izhod:

3. primer: orientacija kot »Index«

Tukaj je vsaka vrstica iz PySpark DataFrame umaknjena v obliki slovarja s ključem kot imenom stolpca. Za vsak slovar je položaj indeksa določen kot ključ.

Izhod:

Primer 4: orientacija kot »Stolpci«

Stolpci so ključni za vsak zapis. Vsak stolpec vsebuje slovar, ki zajema vrednosti stolpcev z indeksnimi številkami.

Izhod:

Primer 5: Orient kot 'Vrednosti'

Če potrebujete samo vrednosti v JSON, se lahko odločite za orientacijo »vrednosti«. Vsako vrstico prikaže na seznamu. Končno so vsi seznami shranjeni na seznamu. Ta JSON je vrste ugnezdenega seznama.

Izhod:

6. primer: orientacija kot »tabela«

Orientacija »table« vrne JSON, ki vključuje shemo z imeni polj skupaj s podatkovnimi vrstami stolpcev, indeksom kot primarnim ključem in različico Pandas. Imena stolpcev z vrednostmi so prikazana kot »podatki«.

Izhod:

Primer 7: Z indeksnim parametrom

Najprej posredujemo parameter indeksa tako, da ga nastavimo na »True«. Za vsako vrednost stolpca boste videli, da je položaj indeksa vrnjen kot ključ v slovarju.

V drugem izhodu so vrnjena samo imena stolpcev (»stolpci«) in zapisi (»podatki«) brez položajev indeksa, ker je indeks nastavljen na »False«.

Izhod:

PySpark DataFrame v JSON z uporabo ToJSON()

Metoda toJSON() se uporablja za pretvorbo PySpark DataFrame v objekt JSON. V bistvu vrne niz JSON, ki je obdan s seznamom. The [‘{stolpec:vrednost,…}’,…. ] je oblika, ki jo vrne ta funkcija. Tukaj je vsaka vrstica iz PySpark DataFrame vrnjena kot slovar z imenom stolpca kot ključem.

Sintaksa:

Mogoče je posredovati parametre, kot so indeks, oznake stolpcev in vrsta podatkov.

primer:

Ustvarite »skills_df« PySpark DataFrame s 5 vrsticami in 4 stolpci. Pretvorite ta DataFrame v JSON z metodo toJSON().

Izhod:

V PySpark DataFrame je 5 vrstic. Vseh teh 5 vrstic je vrnjenih kot slovar nizov, ki so ločeni z vejico.

PySpark DataFrame v JSON z uporabo Write.json()

Metoda write.json() je na voljo v PySparku, ki zapiše/shranjuje PySpark DataFrame v datoteko JSON. Kot parameter vzame ime datoteke/pot. V bistvu vrne JSON v več datotekah (razdeljene datoteke). Za združitev vseh v eno datoteko lahko uporabimo metodo coalesce().

Sintaksa:

1. Način dodajanja – dataframe_object.write.mode('priloži').json('ime_datoteke')
2. Način prepisovanja – dataframe_object.write.mode('overwrite').json('ime_datoteke')

Mogoče je dodati/prepisati obstoječi JSON. Z uporabo write.mode() lahko dodamo podatke s posredovanjem »priloži« ali prepišemo obstoječe podatke JSON s posredovanjem »overwrite« tej funkciji.

Primer 1:

Ustvarite »skills_df« PySpark DataFrame s 3 vrsticami in 4 stolpci. Zapišite ta DataFrame v JSON.

Datoteka JSON:

Vidimo lahko, da mapa Skills_data vključuje particionirane podatke JSON.

Odprimo datoteko JSON. Vidimo lahko, da so vse vrstice iz PySpark DataFrame pretvorjene v JSON.

V PySpark DataFrame je 5 vrstic. Vseh teh 5 vrstic je vrnjenih kot slovar nizov, ki so ločeni z vejico.

Primer 2:

Ustvarite »skills2_df« PySpark DataFrame z eno vrstico. Dodajte eno vrstico prejšnji datoteki JSON tako, da določite način kot »dodaj«.

Datoteka JSON:

Vidimo lahko particionirane datoteke JSON. Prva datoteka vsebuje prve zapise DataFrame, druga datoteka pa drugi zapis DataFrame.

Zaključek

Obstajajo trije različni načini za pretvorbo PySpark DataFrame v JSON. Najprej smo razpravljali o metodi to_json(), ki pretvori v JSON s pretvorbo PySpark DataFrame v Pandas DataFrame z različnimi primeri z upoštevanjem različnih parametrov. Nato smo uporabili metodo toJSON(). Nazadnje smo se naučili, kako uporabiti funkcijo write.json() za pisanje PySpark DataFrame v JSON. S to funkcijo sta možna dodajanje in prepisovanje.