LangChain je ogrodje za izdelavo velikih jezikovnih modelov z uporabo umetne inteligence, tako da lahko ustvarja besedilo in komunicira z ljudmi. Asyncio je knjižnica, ki jo je mogoče uporabiti za večkratni klic modela, kot je LLM, z uporabo istega ukaza ali poizvedbe. Zagotavlja tudi povečanje hitrosti delovanja našega modela LLM za učinkovito ustvarjanje besedila.
Ta članek prikazuje, kako uporabljati knjižnico »asyncio« v LangChainu.
Kako uporabljati/izvajati knjižnico »asyncio« v LangChainu?
Async API se lahko uporablja kot podpora za LLM, zato za uporabo knjižnice asyncio v LangChain preprosto sledite temu vodniku:
Predpogoji za namestitev
Namestite modul LangChain, da začnete uporabljati knjižnico asyncio v LangChain za sočasno klicanje LLM-jev:
pip namestite Langchain
Modul OpenAI je potreben tudi za gradnjo LLM z uporabo OpenAIEmbeddings:
pip namestite openai
Po namestitvah preprosto konfigurirajte ključ OpenAI API z naslednjo kodo:
uvažajte nasuvoz getpass
os.okolje [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'Ključ API OpenAI:' )
Uporaba asyncio za gradnjo LLM
Asyncio knjižnico je mogoče uporabiti za podporo LLM-jev, saj jo naslednja koda uporablja v LangChain:
uvoz časuvoz asyncio
#Uvoz asyncio knjižnic iz LangChaina za njegovo uporabo
iz langchain.llms uvozi OpenAI
#define funkcijo za pridobitev časovnega žiga serijske generacije
def generiraj_serijsko ( ) :
llm = OpenAI ( temperaturo = 0,9 )
za _ v obseg ( 5 ) :
resp = llm.generirati ( [ 'Kaj delaš?' ] )
tiskanje ( oz.generacije [ 0 ] [ 0 ] .besedilo )
#define funkcijo za pridobitev časovnega žiga sinhrone generacije
async def async_generate ( llm ) :
resp = počakajte llm.agenerate ( [ 'Kaj delaš?' ] )
tiskanje ( oz.generacije [ 0 ] [ 0 ] .besedilo )
#define funkcijo za pridobitev časovnega žiga sočasnega ustvarjanja podatkov
async def create_concurrently ( ) :
llm = OpenAI ( temperaturo = 0,9 )
naloge = [ async_generate ( llm ) za _ v obseg ( 10 ) ]
čakati asyncio.gather ( * naloge )
#konfigurirajte končni izhod z uporabo asyncio za pridobitev sočasnega izhoda
s = time.perf_counter ( )
počakaj generiraj_sočasno ( )
pretečeno = time.perf_counter ( ) - s
tiskanje ( '\033[1m' + f 'Sočasno izvedeno v {elapsed:0.2f} sekund.' + '\033[0m' )
#konfigurirajte časovni žig za končni izhod, da dobite serijski izhod
s = time.perf_counter ( )
generiraj_serijsko ( )
pretečeno = time.perf_counter ( ) - s
tiskanje ( '\033[1m' + f 'Serija je bila izvedena v {elapsed:0.2f} sekundah.' + '\033[0m' )
Zgornja koda uporablja knjižnico asyncio za merjenje časa za generiranje besedil z uporabo dveh različnih funkcij, kot sta generiraj_serijsko() in generiraj_sočasno() :
Izhod
Naslednji posnetek zaslona prikazuje, da sta časovna zapletenost za obe funkciji in časovna zapletenost sočasnega generiranja besedila boljši od serijskega generiranja besedila:
To je vse o uporabi knjižnice »asyncio« za gradnjo LLM-jev v LangChainu.
Zaključek
Če želite uporabiti knjižnico asyncio v LangChain, preprosto namestite modula LangChain in OpenAI, da začnete s postopkom. Async API je lahko koristen pri izdelavi modela LLM za ustvarjanje chatbotov za učenje iz prejšnjih pogovorov. V tem priročniku je razložen postopek uporabe knjižnice asyncio za podporo študijem LLM z uporabo ogrodja LangChain.