AI laat advocaten beter werk verrichten in minder tijd

“Dit is het eerste empirische bewijs dat AI-tools de kwaliteit van juridisch werk consequent en significant kunnen verbeteren over een breed scala aan realistische juridische opdrachten.”

Dat is de conclusie van een recente studie van de University of Minnesota en de University of Michigan over het effect van twee geavanceerde AI-tools op juridische prestaties. In tegenstelling tot eerdere studies, die vooral focusten op snelheid, laat dit onderzoek zien dat AI inmiddels ook de inhoudelijke kwaliteit van juridisch werk naar een hoger niveau kan tillen.

De studie: realistische opdrachten, echte inzichten

Voor het eerst werd een gerandomiseerde praktijktest opgezet met 127 rechtenstudenten die zes realistische juridische taken uitvoerden, zoals je die normaal bij een advocatenkantoor zou verwachten:

• Opstellen van een e-mail voor een cliënt
• Opstellen van een juridisch memo
• Analyse van een klacht
• Opstellen van een NDA
• Opstellen van een verzoek tot consolidatie voor het samenvoegen van twee zaken in de rechtbank van Minnesota
• Opstellen van een overtuigende brief over een non-concurrentiebeding

De studenten werden vervolgens verdeeld in drie groepen:

• zonder AI
• met Vincent AI (gebaseerd op Retrieval Augmented Generation, ook wel RAG genoemd)
• met o1-preview (OpenAI’s reasoning model)

Het doel: meten wat AI daadwerkelijk toevoegt aan snelheid, nauwkeurigheid, structuur én juridische diepgang.

De resultaten: AI verhoogt productiviteit én kwaliteit

De cijfers liegen er niet om:

• Vincent AI verhoogde de productiviteit met 38% tot 115%
• o1-preview deed daar nog een schepje bovenop met 34% tot 140%

Maar belangrijker nog: in vier van de zes opdrachten werd de kwaliteit van het juridisch werk statistisch significant verbeterd. De o1-preview tool gaf zelfs tot 28% betere scores op onderdelen als helderheid, organisatie en juridische analyse.

Verschillende AI-tools, verschillende sterktes

Beide tools verbeterden juridische output, maar elk op hun eigen manier.

Vincent AI (RAG-technologie)
Vincent AI combineert generatieve AI met actuele juridische bronnen. In plaats van blind te vertrouwen op trainingsdata, haalt Vincent relevante jurisprudentie en wetgeving op uit een zelf ontwikkelde database met juridische content en baseert daarop zijn output.

Dit zorgde voor:

• Meer professionele en leesbaardere teksten
• De laagste hoeveelheid hallucinerende bronnen (slechts 3 gevallen)
• Minder typefouten en een duidelijkere structuur

Toch scoorde Vincent AI minder sterk op juridische diepgang en nauwkeurigheid, vooral bij bredere opdrachten waarbij zelf juridische kernvragen moesten worden geïdentificeerd.

o1-preview (reasoning model van OpenAI)
Deze tool pakt complexe juridische problemen aan via een proces van stapsgewijze redeneringen.

De voordelen:

• De grootste kwaliteitsverbetering in juridische analyse
• Sterke prestaties bij diepgaande opdrachten zoals klachtanalyses en bij schriftelijke processtukken waarin een verzoek wordt onderbouwd of bij de schriftelijke toelichting bij een incidenteel verzoek
• Betere focus op relevante onderdelen van de opdracht

Nadeel: meer hallucinaties dan Vincent AI én zelfs meer dan de groep zonder AI. In totaal werden 11 hallucinerende bronnen geteld bij o1-preview, tegenover 3 bij Vincent en 4 zonder AI.

Waarom dit onderzoek ertoe doet

Tot nu toe leek het erop dat het verrichten van juridisch onderzoek met AI leidt tot snellere output, maar niet altijd tot meer diepgang en kwaliteit.

Deze studie bewijst dat AI-tools substantieel kunnen bijdragen aan ook de juridische kwaliteit, mits:

• Ze goed worden ingezet
• Er voldoende domeinkennis en supervisie is
• De tool past bij de aard van de opdracht

Dat laatste bleek bijvoorbeeld uit het feit dat bij het opstellen van een NDA géén significante winst werd behaald — zowel in snelheid als kwaliteit. Voor deze opdracht kregen deelnemers een standaardtemplate mee. Omdat het invullen van zo’n template een gebruikelijke praktijk is bij contractwerk bood dit weinig ruimte voor AI om waarde toe te voegen.

Het grotere plaatje: AI + advocaat = synergie

Het meest veelbelovende inzicht? De combinatie van reasoning (zoals o1-preview) met RAG (zoals Vincent AI) biedt enorme potentie. De onderzoekers zien deze integratie als dé volgende stap in legal AI.

Dit omdat:

• RAG de kans op hallucinaties vermindert door het betrekken van juridische bronnen uit externe datasets.
• Reasoning de processen verbetert die verband houden met analyse, logica en argumenteren.

Conclusie

Voor het eerst is empirisch aangetoond dat generatieve AI niet alleen sneller, maar ook hoogwaardigere juridische output kan opleveren. Met name bij complexere taken laten de onderzochte modellen aantoonbaar verschil zien.

De volgende stap? Het combineren van beide technieken — reasoning én RAG — om het beste van twee werelden te benutten. De onderzoeksresultaten bevestigen dat generatieve AI het juridisch werk niet alleen sneller maakt, maar ook kwalitatief verbeterd — mits de technologie voldoende verankerd is in juridische bronnen én in staat is tot diepgaande redenering. Waar Vincent AI overtuigt door nauwkeurigheid en bronverwijzing, excelleert o1-preview in argumentatie en analyse. Beide essentieel in de juridische praktijk en daarom ook de drijvende krachten van LegalMike.