Kontekstvinduer

Min første jobb som vitenskapelig assistent ved Universitetet i Oslo i 1996 for Hilde Sandvik var å sette inn koder i tingbøker som hadde blitt transkribert. Tingbøkene er lange serier med referater fra rettssaker, og for å kunne gjøre dem søkbare og håndterbare på nett måtte de deles opp slik at man kunne se hver enkelt sak og hver enkelt tingmøte saken tilhørte. Innledningen på hvert enkelt tingmøte var også viktig for den enkelte saken, fordi det var i innledningen til hvert tingmøte det sto hvor tinget ble holdt, når de ble holdt, og hvem som satt som lagrettemenn og og sorenskriver, osv.

Dette er noe jeg ble minnet på etter OpenAIs kunngjøringer 6. november, fordi et av de problemer vi har hatt med store språkmodeller slik de foreligger i dag, er at kontekstvinduene er for små for veldig lange dokumenter, nettopp slik som de jeg jobbet med for 27 år siden. Problemet er at særlig de aller beste åpne modellene har ganske små kontekstvinduer, mens de som har større kontekstvinduer, ofte ikke er så smarte, og kanskje spesielt ikke er så flinke til å forstå norsk og dansk, og særlig de tidligere modellene dansk. Situasjonen er noe bedre når det gjelder spanske dokumenter, men ettersom jeg de siste par årene har konsentrert meg om norsk historie igjen, har ikke det hjulpet meg så mye. 

Min tanke frem til i går hadde vært å prøve å bruke en mindre intelligent modell, men som har et relativt stort kontekstvindu for å se om jeg kunne få den til å sette inn den typen koder som jeg satt inn manuelt for 27 år siden. Det lyktes jeg ikke med, enten fordi disse modellene ikke var gode nok, eller fordi deres forståelse av 1600-talls dansk var for dårlig.

Stor var derfor gleden over at OpenAI kommer med en utgave av GPT-4 med 128K kontekstvindu! Riktignok er den relativt kostbar å bruke, men nå blir det mulig å dele en tingbok i noen mindre biter manuelt, og deretter kode opp disse med GPT-4 på samme måte som jeg gjorde manuelt i 1996. Et python-skript kan deretter bruke disse kodene til å dele tingboken opp videre i mindre biter som kan analyseres med enten en billigere modell som GPT-3.5 eller en helt gratis som Llama-2. Dette er strålende nyheter!