arhitecturii

La Rasa, suntem încântați să facem accesibilă tehnologia de învățare automată de vârf într-un flux de lucru prietenos cu dezvoltatorii. Cu Rasa 1.8, echipa noastră de cercetători lansează o nouă arhitectură de transformare ușoară și multitask de ultimă generație pentru NLU: Transformator de intenție și entitate duală (DIET).

În această postare, vom vorbi despre funcțiile DIET și despre modul în care îl puteți utiliza în Rasa pentru a obține mai multă acuratețe decât orice am avut înainte. Lansăm o lucrare academică care demonstrează că această nouă arhitectură îmbunătățește stadiul actual al tehnicii, depășește reglajul fin al BERT și este de șase ori mai rapid de antrenat.

Ce este DIETA

DIET este o arhitectură de transformare cu mai multe sarcini care gestionează atât clasificarea intenției, cât și recunoașterea entității împreună. Oferă posibilitatea de a conecta și reda diverse încorporări pre-antrenate, cum ar fi BERT, GloVe, ConveRT și așa mai departe. În experimentele noastre, nu există un singur set de încorporări care să fie în mod constant cel mai bun în diferite seturi de date. Prin urmare, o arhitectură modulară este deosebit de importantă.

De ce să folosiți DIETA

Modelele de limbă pre-instruite la scară largă nu sunt ideale pentru dezvoltatorii care dezvoltă aplicații de conversație AI.

DIETA este diferită deoarece:

  • Este o arhitectură modulară care se încadrează într-un flux de lucru tipic de dezvoltare software
  • Paralelează modele de limbă pre-instruite la scară largă în ceea ce privește acuratețea și performanța
  • Îmbunătățește stadiul actual al tehnicii și este de 6 ori mai rapid de antrenat

Modelele de limbă pre-instruite la scară largă au arătat rezultate promițătoare în ceea ce privește criteriile de înțelegere a limbii, cum ar fi GLUE și SuperGLUE, și, în special, au prezentat îmbunătățiri considerabile față de alte metode de pre-formare, cum ar fi GloVe și abordările supravegheate. Deoarece aceste încorporări sunt instruite pe corpuri de text pe scară largă în limbaj natural, sunt bine echipate pentru a generaliza între sarcini.

Anul trecut, am contribuit la construirea unui asistent de asistență care să automatizeze conversațiile și procesele IT repetabile. Am integrat asistentul cu BERT, deoarece la vremea respectivă, BERT și alte modele de limbă mare au obținut performanțe de top pentru o varietate de sarcini NLP. Deși a ajutat la rezolvarea unor probleme, BERT și-a prezentat și propriile provocări; era foarte lent și avea nevoie de un GPU pentru a se antrena.

Modelele la scară largă tind să fie intensive în calcul, să antreneze intensiv timp și să prezinte provocări pragmatice pentru dezvoltatorii de software care doresc să construiască asistenți AI robusti care să poată fi instruiți rapid și iterați. Mai mult, dacă construiți asistenți AI multilingvi, este important să obțineți performanțe la nivel înalt fără o pregătire prealabilă la scară largă, deoarece majoritatea modelelor pre-instruite sunt instruite pe text în limba engleză.

Înainte de DIET, conducta NLU a Rasa folosea un model de sac de cuvinte în care exista un vector de caracteristică pentru fiecare mesaj de utilizator. Deși aceasta este o linie de bază rapidă, greu de depășit, acum o depășim.

DIET folosește un model de secvență care ia în considerare ordinea cuvintelor, oferind astfel o performanță mai bună. Este, de asemenea, un model mai compact, cu o arhitectură modulară plug-and-play. De exemplu, puteți utiliza DIET pentru a face atât clasificarea intenției, cât și extragerea entității; puteți, de asemenea, să efectuați o singură sarcină, de exemplu, să o configurați pentru a dezactiva clasificarea intenției și să o instruiți doar pentru extragerea entității.

ilustrare la nivel înalt a DIETEI

În plus, DIET nu numai că este mult mai rapid de antrenat, dar este și paralel cu modelele de limbă pre-instruite la scară largă în ceea ce privește performanța. Acesta depășește reglarea fină a BERT și îmbunătățește stadiul actual al tehnicii pe un set de date complex NLU. Obținerea unei acuratețe de ultimă generație nu mai poate însemna sacrificarea eficienței.

Cum se utilizează DIET

Pentru a ne pregăti pentru DIET, am trecut la Tensorflow 2.1. TF 2 facilitează construirea și instruirea modelelor și depanarea intuitivă a problemelor.

Pentru a face clasificarea intenției și extragerea entității utilizând noua arhitectură DIET, adăugați componenta DIETClassifier la fișierul de configurare a conductei NLU.

Iată fișierul de configurare creat atunci când invocați rasa init .

Să aruncăm o privire la DietClassifier și dependențele sale. DIETClassifier depinde de două clase de featurizers - featurizer dens și featurizer rare. Caracterizarea este procesul de conversie a mesajelor utilizatorilor în vectori numerici. Diferența esențială între caracteristicile rare și dense este că caracteristicile rare sunt compuse de vectori care conțin în mare parte zero într-o structură eficientă în memorie. Dacă doriți să aflați mai multe despre utilizarea funcțiilor rare, consultați această postare.

ConveRTFeaturizer este un exemplu de featurizer dens care folosește modelul ConveRT. LanguageModelFeaturizer este un alt exemplu de featurizer dens care folosește un model de limbă pre-instruit precum BERT.

CountVectorsFeaturizer este un exemplu de featurizer rar. Poate fi configurat pentru a utiliza cuvinte sau caractere n-grame. LexicalSyntacticFeaturizer este un alt exemplu de featurizer rar. Creează caracteristici pentru extragerea entității utilizând o fereastră glisantă peste fiecare jeton dintr-un mesaj de utilizator dat. Componenta LexicalSyntacticFeaturizer poate fi configurată pentru a specifica tipul de caracteristici lexicale și sintactice de extras.

De asemenea, DIETClassifer poate fi reglat cu ajutorul diferiților hiperparametri. De exemplu, puteți configura arhitectura rețelei neuronale specificând dimensiunea transformatorului, numărul straturilor transformatorului, numărul de capete de atenție de utilizat etc.

Dacă faceți upgrade la Rasa 1.8, consultați ghidul de migrare pentru instrucțiuni. Ca întotdeauna, îi încurajăm pe toți să își definească propria conductă prin enumerarea numelor componentelor pe care doriți să le utilizați.

Pasii urmatori

Suntem cu adevărat entuziasmați de DIET, o nouă arhitectură de transformare cu mai multe sarcini pe care am inventat-o. L-am lansat din două motive: construirea de asistenți AI performanți nu necesită întotdeauna modele de limbă pre-instruite la scară largă și am vrut să oferim dezvoltatorilor o arhitectură flexibilă, plug-and-play. DIET avansează stadiul actual al tehnicii, depășește reglajul fin BERT și este de șase ori mai rapid de antrenat.

În curând vom lansa o lucrare. Până atunci, consultați mai multe informații despre DIET și urmăriți acest videoclip despre cum funcționează. Încercați și vă rugăm să împărtășiți rezultatele pe forum. Țineți pasul cu noile dezvoltări urmând Rasa pe Twitter.