Inteligența artificială explică cum creierul procesează limbajul

Cea mai recentă generație de modele de limbaj predictiv pare, de asemenea, să învețe ceva despre sensul de bază al limbajului.

Aceste modele pot nu numai să prezică cuvântul care urmează, ci și să realizeze sarcini care par să necesite un anumit grad de înțelegere autentică, cum ar fi răspunsul la întrebări, rezumarea documentelor și finalizarea poveștii.

Astfel de modele au fost concepute pen tru a optimiza performanța pentru funcția specifică de predicție a textului, fără a încerca să imite ceva despre modul în care creierul uman îndeplinește această sarcină sau înțelege limbajul.

Dar un nou studiu realizat de oamenii de știință de la MIT sugerează că funcția de bază a acestor modele seamănă cu funcția centrelor de procesare a limbajului din creierul uman.

Modelele de computer care se descurcă bine la alte tipuri de sarcini lingvistice nu arată această similitudine cu creierul uman, oferind dovezi că creierul uman poate folosi predicția cuvântului următor pentru a conduce procesarea limbajului.

Noile modele performante de predicție pentru cuvântul următor aparțin unei clase de modele numite rețele neuronale profunde.

Aceste rețele conțin „noduri” computaționale care formează conexiuni de putere variabilă și straturi care transmit informații între ele în moduri prescrise.

Una dintre caracteristicile de calcul cheie ale modelelor predictive, cum ar fi GPT-3, este un element cunoscut sub numele de transformator predictiv unidirecțional.

Acest tip de transformator este capabil să facă predicții despre ceea ce va urma, pe baza secvențelor anterioare.

O caracteristică semnificativă a acestui transformator este că poate face predicții bazate pe un context anterior foarte lung (sute de cuvinte), nu doar pe ultimele câteva cuvinte.

Cercetătorii intenționează, de asemenea, să încerce să combine aceste modele de limbaj de înaltă performanță cu unele modele de computer dezvoltate anterior, care pot îndeplini alte tipuri de sarcini, cum ar fi construirea reprezentărilor perceptuale ale lumii fizice.

Material furnizat pentru Science Daily  de Massachusetts Institute of Technology. Original scris de Anne Trafton.

Foto parteneri burst shopify

Cunoaşte Lumea --> Prima pagină