Logistična regresija PySpark

V tem priročniku si bomo najprej ogledali pristop in nato z analizo podatkov korak za korakom predvideli možgansko kap vsake osebe.

Logistična regresija

Logistična regresija, imenovana tudi 'logit model', se uporablja v napovedni analitiki za težave s klasifikacijo. To je model strojnega učenja, ki deluje samo na klasifikaciji za razvrščanje razredov (kategorij). V našem scenariju sta na primer dve kategoriji (oseba, ki jo je prizadela možganska kap, in oseba, ki je ni prizadela možganska kap). Najboljše aplikacije modela so napovedovanje bolezni srca, napovedovanje spola, napovedovanje življenjske dobe pridelka itd.

Koraki:

1. Zbiranje podatkov: Podatki so potrebni za izvedbo kakršnih koli napovedi/analiz. Med drugim je lahko v obliki CSV/XLSX. To lahko naložimo v okolje Spark (DataFrame) z uporabo metode spark.read.csv().

2. Analiza podatkov : Analiza atributov/stolpcev je znana kot 'analiza podatkov'. Stolpci, ki pomagajo napovedati razred, so znani kot 'neodvisni atributi'. Stolpec, ki ima za posledico napoved, je znan kot 'odvisni ali ciljni atribut'. V tem scenariju lahko uporabimo lastnost columns za prikaz vseh stolpcev. Metoda distinct() se uporablja za ogled edinstvenih vrednosti.

3. Predhodna obdelava podatkov: Filtriranje ničelnih/manjkajočih vrednosti je znano kot 'predobdelava'. V tej fazi odstranimo vse manjkajoče vrednosti. Stroj pozna samo binarni jezik. Torej je treba vse kategorije nizov pretvoriti v številske kategorične vrednosti. V PySparku lahko uporabimo »StringIndexer«, ki je razpoložljiv razred v modulu pyspark.ml.feature za pretvorbo kategorij nizov v številske. Samodejno jih notranje pretvori. Ni nam treba zagotoviti vrednosti. Uporabite lahko naslednjo sintakso:

4. Vektorsko sestavljanje: Zdaj imate podatke, ki jih stroj razume. V tej fazi je treba vse neodvisne atribute vektorizirati v en sam stolpec. To lahko storite z uporabo razreda VectorAssembler. Potrebuje dva parametra: prvi parameter je inputCols, ki zajema seznam neodvisnih atributov. Drugi parameter je outputCol, ki vektorizira vse inputCol-e v to spremenljivko.

5. Preoblikovanje: Zdaj pripravite podatke s preoblikovanjem posodobljenih stolpcev (3. korak) s funkcijo transform().

6. Priprava podatkov za usposabljanje in testiranje: V tej fazi podatke razdelimo na »usposabljanje« in »testiranje«. Bolje bo, če razdelimo 70 % podatkov za usposabljanje modela in 30 % podatkov za testiranje modela. To je mogoče doseči z metodo randomSplit(). Potrebuje seznam z dvema plavajočima vrednostima: eno za preskusno delitev in drugo za delitev vlaka.

7. Prilagoditev in vrednotenje modela : Čas je, da prilagodimo model logistične regresije. Logistični regresijski model je na voljo v modulu pyspark.ml.classification. Zavzame oznako razreda/ciljni stolpec. Rezultat tega so stolpci rawPrediction, probability in napovedi. Naši rezultati so shranjeni v stolpcu napovedi.

8. Natančnost in rezultati: To je zadnja faza, kjer testiramo točnost modela z uporabo poljubnih testnih tehnik.

Poglejmo naslednji projekt, kjer z uporabo modela logistične regresije napovemo, ali bo osebo prizadela možganska kap ali ne.

Napoved možganske kapi

9. Namestite modul PySpark v svoje okolje. Sledi ukaz za namestitev:

10. Ustvarimo PySpark DataFrame z 10 zapisi, ki so povezani s podrobnostmi udarca 10 oseb. Za predstavitev ustvarimo DataFrame brez CSV. V tem DataFrame je 7 stolpcev. »Gender«, »Glucose_level«, »married«, »age«, »heart_disease«, »hyper_tension« so neodvisni atributi, »Možganska kap« pa je oznaka razreda ali odvisen atribut. To pomeni, da je možganska kap osebe odvisna od teh neodvisnih lastnosti.

Izhod:

11. Prikažite neodvisne stolpce z uporabo metode select().

Izhod:

12. Prikažite edinstvene vrednosti, ki so prisotne v ciljnem atributu (Stroke).

Izhod:

13. Vrnite podatkovni tip vseh stolpcev s funkcijo printSchema().

Izhod:

Vidimo lahko, da so 4 stolpci vrste niza. Pretvorimo jih v kategorične številske vrednosti.

14. Pretvorimo kategorične vrednosti niza v številske kategorične vrednosti z uporabo StringIndexerja v stolpcih »Gender«, »heart_disease«, »hyper_tension« in »married« in jih zapišimo v stolpce Categotical_Gender, Categotical_heart_disease, Categotical_hyper_tension in Categotical_married. Shranite stolpce v indexed_data DataFrame z uporabo metode fit().

Izhod:

15. Pretvorite neodvisne stolpce v vektor z uporabo vektorskega sestavljalnika. Ime vektorja je 'features'.

16. Pretvorite prejšnje podatke v končni DataFrame s funkcijo transform() in jih prikažite s funkcijo show().

Izhod:

17. Pripravite podatke za usposabljanje in testiranje tako, da jih razdelite na 70-30. »Lastnosti« so shranjene v train_data in »Stroke« je shranjen v test_data.

18. Prilagodite model logistične regresije in ga ovrednotite.

Izhod:

19. Za preverjanje točnosti modela uporabite BinaryClassificationEvaluator. Vidimo lahko, da je naš model 100 % natančen.

Zaključek

Težavo s klasifikacijo dejanskih ploščic lahko predvidite z uporabo modela logistične regresije v PySpark. Odstranitev ničelnih/manjkajočih vrednosti je pomembna, saj zmanjšajo oceno in natančnost modela. Predhodna obdelava je nujen korak pred namestitvijo katerega koli modela strojnega učenja. Poskrbite, da boste ta korak izvedli pravilno in natančno.