Pak ditë më parë partneri im Pablinux u tha atyre si të instaloni në nivel lokal modelin modern të Inteligjencës Artificiale. Në këtë postim do të listoj ato që unë i konsideroj si modele më të mira se DeepSeek dhe si t'i instalojmë dhe ekzekutojmë ato në kompjuterin tonë.
Duke lënë mënjanë çdo simpati apo antipati politike, lëvizja e qeverisë kineze ishte një kryevepër e marketingut diplomatik, e denjë për Sun Tzu-në. Ndryshe nga stili i Donald Trump "Elephant in the Chinaware", ata njoftuan një model që ofron të njëjtat veçori si ChatGPT falas dhe konsumon më pak burime. Këtë e dimë vetëm ne që ndjekim temën Ka pasur shumë modele të tjera me burim të hapur (disa nga kompanitë e Amerikës së Veriut si Meta) për një kohë të gjatë, dhe performanca e DeepSeek është e krahasueshme vetëm me ChatGPT në 5% të përdorimeve më të zakonshme.
Modele gjuhësore në shkallë të gjerë
ChatGPT, DeepSeek dhe të tjerët quhen modele gjuhësore në shkallë të gjerë. Në thelb Ato lejojnë një përdorues të ndërveprojë me një kompjuter në një gjuhë të ngjashme me atë që përdoret për të komunikuar me një qenie tjetër njerëzore. Për ta arritur këtë, ata trajnohen me sasi të mëdha teksti dhe rregulla që i lejojnë ata të prodhojnë informacion të ri nga ato që kanë tashmë.
Përdorimi i tij kryesor është t'u përgjigjet pyetjeve, të përmbledhë tekste, të bëjë përkthime dhe të riprodhojë përmbajtje.
Modele më të mira se DeepSeek dhe si t'i instaloni ato në nivel lokal
Ashtu si Pablinux, ne do të përdorim Ollama. Ky është një mjet që na lejon të instalojmë, çinstalojmë dhe përdorim modele të ndryshme me burim të hapur nga terminali Linux. Në disa raste shfletuesi mund të përdoret si një ndërfaqe grafike, por ne nuk do ta mbulojmë këtë në këtë artikull.
Që Ollama të sigurojë një përvojë të duhur të përdoruesit, është më mirë të kesh një GPU të dedikuar.Sidomos në modelet me më shumë parametra. Sidoqoftë, ato më pak të fuqishme mund të përdoren në një Raspberry Pi dhe kur testova edhe modele me 7 miliardë parametra në një kompjuter me 6 gigabajt dhe pa GPU të dedikuar, kompjuteri funksionoi pa asnjë problem. E njëjta gjë nuk ndodhi me një nga 13 miliardë.
Parametrat janë rregullat që modeli përdor për të ndërtuar marrëdhënie dhe për të ndërtuar modele midis të dhënave. Sa më shumë parametra dhe të dhëna, aq më i fuqishëm do të jetë një model ata me më pak parametra që flasin spanjisht si Tarzani.
Mund ta instalojmë Olama me komandat
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Mund ta instalojmë modelin me komandën:
ollama pull nombre_del modelo
Dhe drejtojeni me:
ollama run nombre_del_modelo
Ne e çinstalojmë duke përdorur:
ollama rm nombre_del_modelo
Ne mund të shohim modelet e instaluara duke shtypur:
ollama list
Më poshtë është një listë e vogël e modeleve që më duken më interesante: Lista e plotë e modeleve të disponueshme mund të gjendet këtu këtu:
llama2-pa censurë
Llama është një model i përgjithshëm i krijuar nga Meta. Në këtë version u hoqën të gjitha kufizimet e vendosura nga zhvilluesit e projektit origjinal për arsye ligjore ose politike.. Ka dy versione, një i lehtë që menaxhon me 8 GB dhe ai i plotë që ka nevojë për 64. Mund të përdoret për t'iu përgjigjur pyetjeve, për të shkruar tekste ose për detyra kodimi.
Instalohet me:
ollama pull llama2-uncensored
Dhe funksionon me:
ollama run llama2-uncensored
codegemma
CodeGemma është një përzgjedhje e shablloneve të lehta por të fuqishme që ju lejojnë të kryeni një sërë detyrash programimi si të plotësoni kodin ose ta shkruani atë nga e para. Kupton gjuhën natyrore, mund të ndjekë udhëzimet dhe të bëjë arsyetim matematikor.
Vjen në 3 variante:
- Udhëzoni: Ai e transformon gjuhën natyrore në kod dhe mund të ndjekë udhëzimet:
- Code: Plotësoni dhe gjeneroni kodin nga pjesët e kodit ekzistues.
- 2b: Detyrë e plotësimit më të shpejtë të kodit.
Tynillama
Siç tregon emri i tij, është një version më i vogël i modelit origjinal Meta.. Pra, nuk do të ketë rezultate aq të mira, por nëse doni të shihni se si funksionon një model i Inteligjencës Artificiale në një pajisje modeste, ia vlen ta provoni. Ka vetëm 1100 miliardë parametra.
Përdorimi i modeleve në nivel lokal ka avantazhet e privatësisë dhe aksesit në versione të pacensuruara dhe të paanshme që në disa raste priren të përfundojnë si qesharake. Inteligjenca artificiale e Microsoft-it refuzoi të krijonte një imazh të një dachshund për mua sepse e konsideronte termin "kurvë" fyese. Pengesa më e madhe janë kërkesat e harduerit. Do të jetë një çështje që të provoni modelet dhe të gjeni një që është mjaft i mirë për atë që ju nevojitet dhe që mund të funksionojë me pajisjet që keni.