Kennisprobleem
ChatGPT op je eigen documenten: wat er dan misgaat
Een taalmodel loslaten op een documentenmap voelt als een snelle winst. Wat er onder de motorkap gebeurt met tegenstrijdigheden en toegang, wordt zelden vooraf doordacht.
01De belofte
Sleep een map erin, stel een vraag
De belofte is eenvoudig: sleep een map met werkinstructies, contracten of rapportages in een chatvenster en stel een vraag in gewone taal. Het antwoord komt vlot en klinkt zelfverzekerd. Die zelfverzekerdheid is precies het probleem, want een taalmodel formuleert net zo stellig over een verouderd document als over een actueel document.
Het model beoordeelt geen inhoud op geldigheid. Het herkent patronen in tekst en genereert een aannemelijk vervolg. Of dat vervolg overeenkomt met wat de organisatie daadwerkelijk als geldig beschouwt, is een vraag die het model niet stelt en ook niet kan beantwoorden zonder dat iemand die vraag vooraf voor hem heeft beantwoord.
02Wat er onder water gebeurt
Vier mechanismen die zelden worden benoemd
- Tegenstrijdige documenten
- Bij twee versies van een procedure kiest het model niet de juiste, maar de tekstueel meest overtuigende of de meest recente qua bestandsdatum.
- Verouderde versies
- Een ingetrokken werkinstructie die nog ergens op een schijf staat, wordt gelijkwaardig meegewogen aan de huidige versie.
- Ontbrekende context
- Een uitzonderingsregel die alleen mondeling bekend is bij een senior medewerker, ontbreekt volledig in het antwoord.
- Vertrouwelijkheid
- Documenten met een beperkte verspreidingskring worden meegenomen zonder dat het model het onderscheid tussen openbaar en vertrouwelijk kent.
03De stille aanname
Alles wat aangeleverd is, telt mee
De stille aanname achter elke chatvenster-oplossing is dat alles wat is aangeleverd, gelijkwaardig en geldig is. Die aanname klopt bijna nooit. Een documentenmap is een archief van momentopnamen: conceptversies naast vastgestelde versies, oude sjablonen naast actuele, afdelingsspecifieke varianten naast de organisatiebrede norm.
Wanneer niemand vooraf heeft vastgesteld welke bron in welke situatie leidend is, verschuift die beslissing ongemerkt naar het model. Het model neemt die beslissing niet bewust, het middelt simpelweg over alle tekst die het heeft gezien. Dat is een heel ander soort beslissing dan een vakinhoudelijk oordeel van een bevoegde medewerker.
04Toegang en vertrouwelijkheid
Wie ziet wat, en waarom maakt dat uit
- Geen onderscheid tussen rollen bij het aanleveren van documenten
- Iedere gebruiker van het model krijgt effectief toegang tot alles wat ooit is ingeladen.
- Geen scheiding tussen concept en vastgesteld
- Conceptteksten worden als organisatiestandpunt gepresenteerd.
- Geen registratie van wie een document mag zien
- Vertrouwelijke afspraken duiken op in antwoorden aan medewerkers zonder recht op inzage.
- Geen bewaartermijn of intrekkingsstatus
- Ingetrokken instructies blijven feitelijk actief in de kennis van het model.
05Vragen die vaak te laat komen
Wat als twee documenten elkaar tegenspreken
- Wat als een medewerker het model gebruikt als kortere weg naar een antwoord dat eigenlijk overleg met een expert vereist?
- Dan verplaatst de feitelijke autoriteit zich van de bevoegde persoon naar een tekstgenerator, zonder dat iemand die verschuiving heeft goedgekeurd.
- Wat gebeurt er als een document buiten de organisatie wordt gedeeld dat oorspronkelijk alleen intern bedoeld was?
- Zonder vooraf vastgelegde classificatie is dat onderscheid niet af te dwingen op het moment dat het antwoord wordt gegenereerd.
- Wie is verantwoordelijk als een verouderd document tot een verkeerd advies leidt?
- Zonder een vastgestelde bronhiërarchie is die vraag achteraf niet meer eenduidig te beantwoorden.
06Besluitvragen vóór uitrol
Wat je vaststelt vóórdat je begint
Voldoende voorbereid
- Per kennisdomein is bekend welk document leidend is bij tegenspraak
- Vertrouwelijke en openbare documenten zijn gescheiden geclassificeerd
- Verouderde en ingetrokken versies zijn verwijderd of gemarkeerd
- Toegangsrechten zijn gekoppeld aan gebruikersrollen, niet aan de hele documentenset
Nog niet verantwoord
- Alle documenten worden ongesorteerd in één omgeving geladen
- Niemand heeft vastgesteld wat bij conflict de geldige bron is
- Vertrouwelijkheid wordt achteraf gecontroleerd in plaats van vooraf ingeregeld
- Vakinhoudelijke validatie ontbreekt vóór het model in gebruik gaat
07Waar dit thuishoort
Vóór het model, niet erin
Dit is precies het gebied waar Prodenda begint: eerder dan de vraag welk model of welke chatinterface je kiest, staat de vraag wat de organisatie werkelijk als geldig beschouwt en wie daarover mag oordelen. Een taalmodel kan die vaststelling niet vervangen, het kan alleen bouwen op wat al is uitgezocht.
Start gratis met KOS.
Bouw uw eerste kennisdomein op en doorloop de volledige kenniscyclus.
Alle onderwerpen in het kennisoverzicht.
Elk thema staat op zichzelf: het probleem, de sector of het moment waarop kennis wordt vastgesteld.