V tej dobi so Transformerji najmočnejši modeli, ki so zagotovili najboljše rezultate v več operacijah NLP (Obdelava naravnega jezika). Sprva je bil uporabljen za naloge jezikovnega modeliranja, vključno z ustvarjanjem besedila, pa tudi klasifikacijo, strojnim prevajanjem in številnimi drugimi. Zdaj pa se uporablja tudi za prepoznavanje predmetov, klasifikacijo slik in številne druge naloge računalniškega vida.
V tej vadnici bomo podali postopek za izvedbo klasifikacije besedila s pomočjo Transformers.
Kako izvesti klasifikacijo besedila s pomočjo transformatorjev?
Če želite izvesti klasifikacijo besedila s pomočjo Transformers, najprej namestite » transformatorji ” tako, da izvedete podani ukaz:
! pip namestite transformatorji
Kot lahko vidite, je bila navedena knjižnica uspešno nameščena:
Nato uvozite » cevovod ' Iz ' transformatorji ' knjižnica:
iz uvoznega cevovoda transformatorjev
Tukaj je ' cevovod ” bo vključeval nalogo NLP, ki jo moramo opraviti, in želeni transformatorski model za to operacijo skupaj s tokenizerjem.
Opomba: Tokenizer se uporablja za izvajanje obdelave besedila, ki se zagotovi vnos modela z ločevanjem besedila na žetone.
Po tem uporabite » cevovod() ' funkcijo in ji posredujte ' zero-shot-classification « kot argument. Nato posredujte drug parameter, ki je naš model. Uporabljamo Facebook ' BART ” model transformatorja. Tukaj ne uporabljamo tokenizerja, ker ga je mogoče samodejno sklepati glede na navedeni model:
text_classifier = cevovod ( 'zero-shot-classification' , model = 'facebook/bart-large-mnli' )
Zdaj pa razglasite ' nasl ” spremenljivka, ki vsebuje naše vhodno besedilo, ki ga je treba razvrstiti. Nato podamo kategorije, v katere želimo razvrstiti besedilo, in jih shranimo v » lab «, ki je znan kot oznake:
laboratorij = [ 'nadgradnja' , 'napaka' , 'pomemben' , 'preverjanje' ]
Končno zaženite cevovod skupaj z vnosom:
Kot lahko vidite, je model po izvedbi cevovoda predvidel razvrstitev našega posredovanega zaporedja:
Dodatne informacije: Če želite pospešiti delovanje modela, morate uporabiti GPU. Če je odgovor pritrdilen, potem lahko v ta namen podate argument naprave za cevovod in ga nastavite na ' 0 ” za uporabo GPE-ja.
Če želite razvrstiti besedilo v več kot enem stavku zaporedja/vhodnega besedila, jih lahko dodate na seznam in ga posredujete kot vnos v cevovode. V ta namen si oglejte delček kode:
nasl = [ 'Lektoriranje in urejanje sta nujni komponenti za zagotavljanje jasnosti, skladnosti in vsebine brez napak.' ,'V tej moderni dobi je SEO optimizacija bistvena za dobro uvrstitev člankov in doseganje širšega občinstva.' ]
besedilni_klasifikator ( nasl , lab )
Izhod
To je to! Zbrali smo najlažji način za izvedbo klasifikacije besedil s pomočjo Transformers.
Zaključek
Transformatorji se uporabljajo za izvajanje nalog jezikovnega modeliranja, kot so generiranje besedila, klasifikacija besedila in strojno prevajanje, kot tudi naloge računalniškega vida, vključno s prepoznavanjem objektov in klasifikacijo slik. V tej vadnici smo ponazorili postopek za izvedbo klasifikacije besedila s pomočjo Transformers.