For bedre å forstå hvordan dagens språkmodeller virker er innføringen av nevrale nettverk en viktig brikke i det nye bildet.

De tidligste forsøkene på å utvikle kunstig intelligens var basert på det vi gjerne kaller regelstyrte ekspertsystemer. I disse modellene var svarene styrt av detaljerte instruksjoner for hvordan data skulle behandles, basert på ekspertkunnskap.

For eksempel forsøkte amerikanske myndigheter, under den kalde krigen, å erstatte sine ansatte oversettere med datamaskiner. Målet var å få oversatt viktige dokumenter fra russisk til engelsk raskere. Ved hjelp av ekspertsystemer klarte de å oversette setninger ord for ord, men disse systemene klarte som regel ikke å gjengi en forståelig sammenheng og mening i tekstene. Etter en stund gikk de tilbake til menneskelige oversettere igjen.

I takt med bedre maskinvare utviklet man på 80-tallet maskinlæring, som vil si at man trener modeller til selv å finne riktige svar i et stort datasett. Slik læring kan enten være veiledet, som vil si at datasettet er merket med en fasit av mennesker, eller uveiledet, som altså da vil si at modellene selv må finne mønstrene i datasettet.¹

Det var denne typen teknologi som etterhvert gjorde det mulig å slå selv de beste menneskelige sjakkspillerene på 90-tallet. Utover 2000-tallet fikk denne utviklingen også betydning for blant annet ansiktsgjenkjenning, stemmegjenkjenning og ikke minst bedre oversettelsesprogrammer.

Bildet under illustrerer sammenhengen mellom kunstig intelligens, maskinlæring, dyplæring og utviklingen over tid - fra enkle sjakkprogram til dyplæring i nevrale nettverk.

Illustrasjon: Relasjonen mellom kunstig intelligens, maskinlæring og dyplæring og utviklingen
over tid - fra enkle sjakkprogram til dyplæring i nevrale nettverk.
Fra Kunstig intelligens og personvernLinks to an external site.. (s.5), av Datatilsynet, 2018.

Illustrasjon: Datatilsynet. (2018). Kunstig intelligens og personvern, s. 5. datatilsynet.no

Med introduksjonen de siste ti årene av store nevrale nettverk, har man funnet en måte å forsterke maskinenes evne til å analysere mønstre på gjennom såkalt dyplæring. Ved dyplæring dannes modeller, for eksempel av språk, ved at slike mønstre kodes om til vektorer - en liste med tall - som representerer lag av noder i nettverket. Fordi man i dag har maskinvare til å lage svært komplekse nettverk, kan slike vektormønstre modellere og gjenkjenne rikere kontekster enn tidligere språkmodeller.

I motsetning til ekspertsystemene, hvor maskinenes behandlingen av inndata var rimelig forståelig, er nettverksmodeller så kompliserte vi mennesker i liten grad forstår hva som skjer på veien til svarene som kommer ut i andre enden. Dette kalles derfor gjerne en "black box". Dette gjelder for eksempel de store språkmodellene utviklet av OpenAI (ChatGPT), Anthropic (Claude), Google (Gemini) og Meta (Llama).

Reutter, L., Grolid, S. Å. og Birkeland, R. M. (2020). Kunstig Intelligens, NDLA.

Sosiale medier Nyhetsmedier Faglitteratur Kunstig intelligens