GPT-5 komt eraan: wat kunnen we verwachten?

Volgens anonieme bronnen komt GPT-5 rond de zomer uit. Wat kun je verwachten? Wat zijn de verschillen met GPT-4? En wel zo eerlijk: wat zijn de nadelen van het nieuwste model van OpenAI?

Data tot juni 2024

GPT-5 wordt ongetwijfeld getraind op recentere data. Volgens die oom van je achtertante van de vriendin van je moeder wordt GPT-5 getraind op data tot juni 2024. Het huidige model heeft kennis tot april 2023, tenzij je met je Plus-abonnement ‘browsen met Bing’ aan hebt staan. Met deze nieuwe trainingsdata zal GPT-5 veel relevantere antwoorden geven.

Contextvenster dubbel zo groot

In GPT-4 Turbo is het contextvenster 128.000 tokens. In GPT-5 wordt dit naar verwachting dubbel zo groot: 256.000 tokens. Met een contextvenster van dit formaat zal GPT-5 in staat zijn om langere vragen en meer context te verwerken dan de voorganger. Dit betekent concreet dat:

• GPT-5 langere, complexere vragen makkelijker en beter kan beantwoorden door meer context mee te nemen.
• De context van de hele conversatie beter behouden blijft.
• GPT-5 een betere samenhang kan geven bij het genereren van langere stukken tekst, doordat het een groter deel van de voorgaande tekst kan meenemen.
• Het grotere contextvenster van GPT-5 uitgebreidere instructies en meer context voor taken kan verwerken. Dit is noodzakelijk om het te gebruiken voor complexe toepassingen.

Dit verbeterde geheugen en contextbewustzijn gaat GPT-5 een aanzienlijk voordeel geven bij taken die langere input of context vereisen. Denk aan onderzoek, analyse en creatief schrijven. De impact van deze verwachte verdubbeling van het contextvenster is dus echt heel groot

Minder lui en hallucinaties

Ook wordt verwacht dat GPT-5 minder last gaat hebben van ‘luiheid’ en hallucinaties. Wat betekent het als een taalmodel minder lui wordt? Dat betekent dat de nieuwe versie minder geneigd zal zijn om korte of ontwijkende antwoorden te geven bij complexe vragen. En het model zal consistenter zijn best doen om uitgebreide, diepgaande antwoorden te formuleren. Daarnaast wordt door de verbeterde rekenkracht verwacht dat GPT-5 sneller gaat reageren. Dit zorgt voor een nog vloeiender en ‘echter’ gesprek.

Daarbovenop wordt verwacht dat GPT-5 minder gaat hallucineren: minder feitelijke onjuistheden of onzin. Hopelijk worden de antwoorden in GPT-5 dus betrouwbaarder. En GPT-5 is naar verwachting in staat om te schalen naar grotere taken en hoeveelheden data. Deze verbeteringen op het gebied van nauwkeurigheid, snelheid en schaalbaarheid zouden GPT-5 een aanzienlijk voordeel moeten geven bij veel verschillende toepassingen en use cases in vergelijking met GPT-4.

AI-agents

Verder wordt GPT-5 naar verwachting getraind om taken te automatiseren met behulp van AI-agents. Dit zijn autonome softwaresystemen die taken kunnen uitvoeren zonder voortdurende menselijke tussenkomst. Ze worden getraind om specifieke taken te automatiseren met behulp van machine learning, zoals reinforcement learning.

In het geval van GPT-5 zullen deze AI-agents waarschijnlijk worden getraind om allerlei soorten taken uit te voeren. Van onderzoek en schrijven tot data-analyse en codering. De agents zouden in staat moeten zijn om:

• instructies te interpreteren,
• relevante informatie te verzamelen,
• berekeningen uit te voeren, en
• vervolgens de gewenste output te genereren.

En dit allemaal zonder voortdurende menselijke begeleiding.

Waar kun je dan aan denken? Stel, je geeft een AI-agent de opdracht om een blog te schrijven voor Frankwatching. De agent zou dan zelfstandig relevante bronnen kunnen opzoeken, de informatie kunnen verwerken en structureren, en uiteindelijk een goed leesbare blogpost kunnen produceren. Het vermogen van GPT-5 om dergelijke AI-agents te creëren, kan een verschuiving betekenen in de focus van taalmodelontwikkeling. De verwachting is dat ontwikkelaars zich gaan richten op het bouwen van AI-systemen die complexe taken zelfstandig kunnen uitvoeren met behulp van natuurlijke taalinterfaces.

Deze verschuiving kan de weg vrijmaken naar meer algemene AI-systemen die in staat zijn om een breed scala aan taken uit te voeren, in plaats van gespecialiseerde taalmodellen voor specifieke toepassingen. Het kan ook de integratie van taalmodellen met andere AI-technologieën, zoals computer vision en robotica stimuleren. Dit kan dan weer leiden tot AI-systemen die meerdere zintuigen kunnen verwerken. Denk aan creatieve tools voor het genereren van illustraties of storyboards op basis van tekstinput of robotica-toepassingen waarbij robots visuele instructies in natuurlijke taal kunnen interpreteren en uitvoeren.

Dominantie van één model

Als GPT-5 inderdaad zo goed wordt als gedacht, dan is het de verwachting dat GPT-5 de nieuwe standaard wordt voor taalmodellen. Hoe tof dat ook is/lijkt, wat ik schrijf moet tenslotte allemaal nog wel waar worden gemaakt. Het is wel zo eerlijk om ook de nadelige effecten te benoemen. Zo is de kans groot dat andere AI-bedrijven last van tunnelvisie gaan krijgen. Ze zouden zich dan vooral kunnen gaan richten op het evenaren of overtreffen van de capaciteiten van GPT-5, in plaats van te experimenteren met alternatieve modellen.

Daarop aansluitend kan de release van GPT-5  gevolgen hebben voor ‘afwijkende’ nieuwe technieken of architecturen voor andere taalmodellen. Deze kunnen mogelijk ondergewaardeerd of zelfs genegeerd worden, omdat ze niet voldoen aan de GPT-5-standaard. En als GPT-5 een monopoliepositie verwerft, kan dit de concurrentie en diversiteit op de taalmodellenmarkt beperken. Kleinere spelers of start-ups met nieuwe ideeën zouden het dan moeilijker kunnen krijgen.

Vendor lock-in

En een nadeel dat ik echt belangrijk vind om te benoemen, is dat bedrijven die volledig overstappen op GPT-5 en de bijbehorende tools van OpenAI, vastgeroest kunnen raken in die stack. Hierdoor wordt het lastiger om flexibel te blijven en over te stappen als er technologie komt die beter past bij je bedrijfsbehoeften.

Kortom, hoewel de nieuwe versie een grote stap voorwaarts kan zijn, bestaat er ook een risico dat een te dominante positie de diversiteit en innovatie in ontwikkeling van taalmodellen kan belemmeren. Een gezonde mate van concurrentie en ruimte voor alternatieven blijft daarom belangrijk voor vooruitgang op de lange termijn.

Ik ben heel benieuwd: wat hoop jij dat er verandert in GPT-5?