Kako uporabljati Parent Document Retriever v LangChain?

Ta objava bo prikazala postopek uporabe nadrejenega pridobivalnika dokumentov v LangChain.

Kako v LangChainu uporabljati nadrejeni prenosnik dokumentov?

Pridobitelj nadrejenega dokumenta v LangChain se lahko uporablja tako, da se dokumenti razdelijo na manjše dele, tako da ne izgubijo svojega pomena v trenutkih vdelave. Za nadrejeni dokument lahko rečemo, da je celoten dokument ali večji kos, iz katerega so ekstrahirani manjši kosi.

Če želite izvedeti postopek uporabe nadrejenega pridobivalnika dokumentov v LangChain, si preprosto oglejte ta vodnik:

1. korak: Namestite module

Najprej začnite uporabljati nadrejeni pridobivalnik dokumentov z namestitvijo ogrodja LangChain z ukazom pip:

Namestite modul baze podatkov Chroma, da shranite vdelave dokumenta in pridobite podatke iz njega:

Če želite namestiti tiktoken, ki je tokenizer, ki pridobi žetone dokumenta z ustvarjanjem majhnih kosov:

Pridobite modul OpenAI tako, da izvedete naslednji ukaz v prenosnem računalniku Python, da pridobite njegove odvisnosti in knjižnice:

2. korak: Nastavite okolje in naložite podatke

Naslednji korak je nastavite okolje z uporabo ključa API iz računa OpenAI:

Zdaj naložite dokumente iz lokalnega sistema po uvozu knjižnice datotek in nato pokličite metodo upload():

3. korak: Uvozite knjižnice

Naslednji korak vsebuje kodo za uvoz zahtevanih knjižnic za uporabo nadrejenih pridobivalcev dokumentov z uporabo ogrodja LangChain:

Naložite dokument za gradnjo retrieverja z uporabo metod TextLoader() s potjo datotek:

4. korak: Pridobivanje celotnih dokumentov

Ko so dokumenti/datoteke naloženi v model, preprosto zgradite vdelave dokumentov in jih shranite v vektorske shrambe:

Zdaj pokličite metodo add_documents() z uporabo retrieverja, da spravite retriever v dokumente:

Naslednja koda ekstrahira vdelave dokumentov, ki so bili shranjeni v zbirki podatkov za naložene datoteke:

Ko pridobite vdelave dokumentov, pokličite metodo similarity_search() s poizvedbo, da dobite majhne koščke iz dokumenta:

Pokličite metodo print(), da prikažete kose, poklicane v prejšnji kodi na podlagi poizvedbe:

Pokličite popolno funkcijo retriever(), da dobite vse žetone, shranjene v bazi podatkov, z uporabo naslednje kode:

Tiskanje vseh dokumentov bi vzelo ogromno časa in procesorske moči, zato preprosto pridobite dolžino dokumentov, ki ste jih pridobili prej:

5. korak: Pridobivanje večjih kosov

Ta korak ne bo zajel celotnega dokumenta; vendar bi iz dokumenta vzel večjo veverico in iz njega pridobil manjši kos:

Konfigurirajte prinašalnik, da pridobi manjši žeton iz velikega nabora podatkov, shranjenih v ' vectorstore ” spremenljivka:

Pokličite prinašalca, da pridobi večje kose iz vektorskih shramb z uporabo dokumenti spremenljivka v argumentu funkcije:

Poiščite dolžino teh dokumentov pri dokumenti spremenljivko prek spodnjega ukaza:

Preprosto vzemite manjši kos iz večjega, saj prejšnji posnetek zaslona prikazuje, da je v vektorski shrambi shranjenih 23 dokumentov. Poizvedba se uporablja za pridobivanje ustreznih podatkov z uporabo podobnost_iskanje() metoda za pridobivanje podatkov iz vektorske shrambe:

Natisnite manjše kose s poizvedbo, omenjeno v prejšnji kodi, da jih prikažete na zaslonu:

Zdaj uporabite retriever na celotnem naboru podatkov, shranjenem v bazi podatkov, z uporabo poizvedbe kot argumenta funkcije:

Pridobite dolžino celotnih kosov, ustvarjenih in shranjenih v bazi podatkov:

Ne moremo prikazati vseh kosov, vendar je prvi del z indeksno številko 0 prikazan z naslednjo kodo:

To je vse o postopku uporabe nadrejenega pridobivalnika dokumentov v LangChainu.

Zaključek

Za uporabo nadrejenega pridobivalnika dokumentov v LangChain preprosto namestite module in nastavite okolje OpenAI z njegovim ključem API. Nato uvozite zahtevane knjižnice iz LangChaina za uporabo nadrejenega pridobivalnika dokumentov in nato naložite dokumente za model. Uporabnik lahko uporabi nadrejene dokumente kot celoten dokument ali velik del in s poizvedbo pridobi manjši del. Ta objava je podrobneje opisala postopek uporabe nadrejenega pridobivalnika dokumentov v LangChain.