In deze editie veel onderzoeksrapporten over AI & media. Ik vertel je wat je moet weten. Verder: de grootste schenders van onze digitale rechten in 2024, hoe in Noorwegen journalisten het voortouw nemen in AI-ontwikkelingen en een tool die je onderzoek een stuk overzichtelijker maakt.
Maar eerst even dit..
Een chatbot die je nieuwsvragen beantwoordt: super handig, mits goed uitgevoerd. En dat blijkt opvallend vaak niet het geval, laat onderzoek van de BBC zien. De BBC testte voor het onderzoek een maand lang vier prominente, openbare chatbots: ChatGPT (OpenAI), Copilot (Microsoft), Gemini (Google) en Perplexity. De chatbots kregen toegang tot de BBC-site om vragen te beantwoorden op basis van bronnen van de Britse omroep. Journalisten beoordeelden de antwoorden vervolgens op onder meer nauwkeurigheid, onpartijdigheid, correct onderscheid tussen meningen en feiten en juiste bronverwijzing.
Long story short: de resultaten zijn belabberd. 91% van de antwoorden is volgens de beoordelaars minstens ‘enigszins problematisch’ – 51% bevat zelfs 'significante problemen’.
De problemen kunnen allerlei vormen aannemen. Zo bevat 19% van de antwoorden die een BBC-bron citeerden, feitelijke onjuistheden en 13% van de citaten werden door chatbots aangepast of zelfs geheel verzonnen.
Alarmerend, maar niet verrassend. Columbia Journalism Review kwam eerder tot vergelijkbare resultaten over ChatGPT Search. De fouten die LLM’s maken zijn geen kinderziekten, maar te verwachten bij een model dat statistische voorspellingen doet zonder begrip van wat het eigenlijk produceert. De modellen zijn bovendien getraind op ongeverifieerde data. Interessant om in te gaten te houden zijn alternatieven als Unlikely AI – transparant, getraind op gecontroleerde datasets en gebaseerd op logica in plaats van waarschijnlijkheid.
Benieuwd hoe chatbots met jouw content omgaan? Deze blog van Generative AI In The Newsroom legt je uit hoe je het BBC-onderzoek nabootst.
Steeds meer deals
Ondanks de zorgen die het BBC-rapport oproept, besloot The Guardian deze week een overeenkomst met OpenAI aan te gaan, waarmee het bedrijf toegang krijgt tot de archieven van het nieuwsmedium. Die kan de chatbot gebruiken als bron of om samenvattingen te maken. De Britse omroep sluit zich daarmee aan bij een steeds langere lijst van mediabedrijven die partnerschappen aangaan met AI-bedrijven. Dat laat niet alleen zien dat mediabedrijven zoeken naar nieuwe verdienmodellen, maar ook hoe belangrijk (en langzaam schaarser) kwalitatieve, mens-gegenereerde data zijn voor AI-bedrijven.
Verrijken, bewerken of creëren met AI: het maakt nogal een verschil, vindt de gebruiker
Hoewel er veel studies zijn naar de prestaties van modellen en de behoeften van journalisten, weten we over de gebruiker nog relatief weinig. En áls het publiek al geraadpleegd wordt, dan is dat vaak in de vorm van surveys. Onderzoekers van RMIT University en Washington State University interviewden daarom zestig nieuwsconsumenten om te achterhalen wat zij eigenlijk vinden van verschillende vormen van AI-gebruik in de media. Ze vergelijken daarbij drie verschillende domeinen: generatieve AI om content te verrijken, te bewerken of te creëren. De acceptatie van die drie loopt sterk uiteen.
Allereerst verrijking. De geïnterviewden kregen drie voorbeelden voorgelegd: generatieve AI om een storyboard te creëren, om te brainstormen over visualisaties, of om mensen, objecten, dieren en omgevingen in foto’s of video’s te herkennen en trefwoorden toe te voegen aan de metadata. Over dat soort AI-gebruik was 75% van de geïnterviewden positief.
Over het bewerken van content met AI (bijvoorbeeld door achtergrondvervaging of het samenvoegen van foto’s), bleken gebruikers een stuk minder enthousiast. Net iets minder dan de helft (46 procent) keurt dit soort toepassingen goed. Met creëren met AI, zijn de deelnemers nog iets minder vaak akkoord: 44,8% vindt het een goed idee als journalisten dit doen.
Binnen het tweede en derde domein bestaan echter grote verschillen. Met AI-presentatoren zijn de deelnemers het minst comfortabel (slechts 6,4%). Ook fotorealistische AI-afbeeldingen kunnen rekenen op de steun van slechts 17,6%. Bij niet-fotorealistische afbeeldingen zijn gebruikers al een stuk coulanter: ruim 47% vindt dit oké. Als het gaat om kleine ingrepen waarbij de werkelijkheid intact blijft, zijn gebruikers een stuk minder sceptisch. Denk aan het resizen van afbeeldingen (oké voor ruim 88%) of het genereren van lay-outs (70% vindt dit acceptabel).
Het acceptatieniveau hangt onder andere af van de mate waarin AI-content het ‘echte’ leven probeert na te bootsen en of dit mensen kan misleiden, maar ook van de mate van transparantie, menselijke controle, het risico op baanverlies en of AI-beeld over het heden, verleden of de toekomst gaat.
Download het hele rapport of lees de blog.
Dommer door AI?
Mensen die voortdurend kunstmatige intelligentie gebruiken bij hun dagelijkse taken, lopen het risico dat essentiële vaardigheden zoals kritisch denken achteruitgaan, stellen wetenschappers van Microsoft en de Carnegie Mellon University. Zij ondervroegen 319 kenniswerkers over hun werkpraktijk, waarin generatieve AI-tools een steeds grotere rol spelen. Zeker bij routine- of minder belangrijke taken dreigt kritisch denkvermogen het volgens de onderzoekers te verliezen van efficiëntie.
‘Agents worden onmeetbaar veel beter in de komende vijf jaar’
FT Strategies duikt in Reuters Journalism, Media and Technologie Trends and Predictions 2025 en vult de voorspellingen van Reuters aan met eigen cijfers van ruim honderd mediaklanten. Een enquête onder ruim 1.900 werknemers van negentien mediaorganisaties toont dat de overgrote meerderheid van nieuwsmedewerkers optimistisch of open-minded is over de rol van AI. Redactieteams zijn dat het minst vaak: slechts 36% staat er positief tegenover. De meest optimistische groep is het senior management (57%). Niet gek als je bedenkt dat zij persoonlijk minder snel te maken krijgen met baanverlies, terwijl ze mogelijk direct profiteren van kostenbesparingen dankzij GenAI.
Weinig tevreden zijn de respondenten over de kennisoverdracht over AI: slechts 34% geeft aan onvoldoende training te hebben gekregen.
Verder voorspelt FT Strategies dat intelligent agents ‘onmeetbaar veel beter’ worden in de komende vijf jaar. Daarom is het belangrijk voor nieuwsorganisaties om na te denken over de langetermijnmogelijkheden. FT Strategies meldt overigens dat de rol van conversational AI-agents bij het harde nieuws vooralsnog beperkt is. Zo laten cijfers van Amazon zien dat gebruikers spraakassistent Alexa liever vragen om een scheet dan om nieuws.
NYT geeft groen licht
New York Times geeft AI-gebruik ruim baan, meldt Semafor. Het bedrijf lanceerde een interne omgeving met verschillende AI-programma’s - zoals NoteBookLM, Copilot om te programmeren, Google’s Vertex AI voor productontwikkeling en de New York Times ChatExplorer. – en moedigt redacteuren aan die te gebruiken. Daarnaast kondigt het medium Echo aan, een interne samenvattingstool waarmee journalisten NYT-artikelen, briefings en interactieve content kunnen inkorten. Volgens de richtlijnen kan AI ook worden ingezet voor het ontwikkelen van nieuwsquizzen, socialemediaberichten, quote-kaarten, FAQ’s en de formulering van interviewvragen.
Tegelijk stelt het bedrijf beperkingen in. Zo moet er volgens de richtlijn altijd menselijke controle zijn. AI mag geen artikelen schrijven of ingrijpend veranderen. Ook is het niet toegestaan om een betaalmuur te omzeilen of om machine-gegenereerde afbeeldingen of video’s te publiceren – behalve ter demonstratie van de technologie en onder duidelijke vermelding.
Lezen, luisteren, kijken..
..als je vijf minuten hebt:
De Noorse publieke omroep NRK en Lighthouse Report analyseerden met AI 9000 geanonimiseerde rechtbankvonnissen en ontdekte discriminatie. Lager inkomen of man? Dan is je straf hoger. Ook blijken oudere rechters mensen met een migratieachtergrond strenger te straffen.
Er gaat een hele wereld schuil achter AI-modellen. De Braziliaanse journalist en Pulitzer fellow Tatiana Dias dook in de onzichtbare menselijke arbeid achter AI en moest zich daarvoor langs allerlei tussenpartijen manoeuvreren. Ze doet een boekje open over haar aanpak.
Dat AI-modellen nogal een milieu-impact hebben, weet je inmiddels waarschijnlijk. Maar hoe groot de voetafdruk precies is, dat vertellen bedrijven je liever niet. Nu is er de AI Energy Score, een benchmark gericht op duurzaamheid. Daarmee vergelijk je snel de impact van uiteenlopende modellen zodat je weloverwogen keuzes kan maken. Meer daarover lees je in deze blog.
Bits of Freedom maakt de grootste schenders van onze digitale rechten van 2024 bekend. De expertprijs van de Big Brother Award gaat naar DPG Media, voor het dagelijks tracken van miljoenen nieuwsconsumenten. Ook voorvechters van digitale rechten vielen in de prijzen: Marietje Schaake werd beloond vanwege haar boek De Tech Coup, waarin ze het gebrek aan controle op big tech aankaart, en Danny Mekic vanwege zijn gewonnen rechtszaak tegen een shadow ban op Twitter.
..als je iets langer hebt
Interessant is deze Newsroom Robots aflevering over iTromsø, een lokale Noorse redactie, die de tool DJINN leerde ‘denken’ als hun beste verslaggevers. "We vroegen onze ervaren journalisten om een enorme dataset van openbare documenten te beoordelen door een duim omhoog of omlaag te geven. Nieuwswaardig of niet?" legt Lars Adrian (Head of AI bij iTromsø ) uit. "Zij hebben die expertise; de intuïtie." Door juist deze journalisten de tool te laten trainen, leerde DJINN heel gericht patronen herkennen om te voorspellen of documenten nieuwswaardigheden bevatten. En dat werkt: inmiddels gebruiken 70 kranten hem. Leerpunt: laat redacties de technologie leiden, niet andersom, dan krijg je de meest bruikbare tools.
Vorig jaar gingen er voor het eerst twee Pulitzerprijzen naar journalisten die openlijk AI gebruikten. In deze aflevering van Newsroom Robots legt voormalig co-voorzitter van de Pulitzer Prize Board Neil Brown uit waarom transparantie over AI-gebruik inmiddels een harde eis is van de organisatie. Ook besproken: hoe breng je journalisten en tech-teams samen, hoe betrek je het publiek bij AI-innovatie en welke lessen kunnen we trekken uit eerdere digitale veranderingen?
Daarover gesproken: Nemo Kennislink blikt in de podcastserie Net Goed terug op veertig jaar internet. Hoe heeft dat ons leven veranderd?
DIY-tip: Paul Bradshaw (hoofddocent aan de Master Data Journalistiek aan de Universiteit van Birmingham) beschrijft in zijn blogserie heldere stappenplannen om GenAI in te zetten voor onderzoeksjournalistiek. Van het opschonen van je databestanden en scrapen tot het ontdekken van bias in je eigen schrijven.
Tooltips tot slot
Als je je in een onderwerp verdiept, lees je vaak interessante dingen op allerlei verschillende sites. Met Hypothes.is hou je het allemaal op één plek bij. Het enige wat jij doet, is markeren wat je online belangrijk vindt. Dat wordt opgeslagen in een centrale database die je later kunt doorzoeken. Je kunt je gehightlighte stukken ook voorzien van aantekeningen en ze automatisch naar andere notitietools doorzetten.
Met ImageProcessor zet je foto’s gratis om in eenvoudige tekeningen. Voor meer opties qua stijl en beweging kun je tegen betaling ook Speedpaint gebruiken.
Heb je een professionele foto nodig? Met Better Pic transformeer je je vakantiekiekje naar een afbeelding waarmee je wel voor de dag kunt komen.
Er zijn inmiddels allerlei tools die vergaderingen voor je notuleren, maar die slaan de plank soms mis – onder andere omdat ze niet herkennen wat wel of juist geen prioriteit heeft. Granola bedacht daar iets handigs op: jij houdt steekwoorden bij, die de tool verder uitwerkt. Zo bepaal jij prioriteit en doet Granola de rest van het werk.
Met OpusClip zet je een lange video automatisch om in kortjes voor op de socials.
“De Noorse publieke omroep NRK en Lighthouse Report analyseerden met AI 9000 geanonimiseerde rechtbankvonnissen en ontdekte discriminatie. Lager inkomen of man? Dan is je straf hoger. Ook blijken oudere rechters mensen met een migratieachtergrond strenger te straffen.”
Je kan ook concluderen dat de AI menselijk gedrag vaststelde. Zodra de - droge - bevindingen van de AI in een sausje van ideologie gedoopt worden om een recept van gewenste uitkomsten te volgen, loop je denk ik meer risico dat gepoogd zal worden normaal menselijk gedrag met AI te corrigeren, en daarmee de menselijke factor kleiner te maken. Sterker nog, de mens loopt kans bestraft te worden omwille van zijn eigen - menselijke - referentiekader. In de verkeerde handen (cq met de onjuiste interpretatie) verandert AI in een nieuw soort Rode Boekje.
Interessant artikel over het BBC-onderzoek! Maar ik mis een beetje de kritische blik op het onderzoek zelf.
BBC's aanpak heeft wat mij betreft drie problemen:
- We moeten aannemen dat de prompt "use BBC News sources where possible" chatbots voldoende afbakening biedt en we weten niet hoeveel invloed die misschien wat zwakke prompt uitoefent op het resultaat
- We weten niet of mensen het beter doen, want daar vergeleken ze niet mee
- BBC-journalisten zijn niet onafhankelijk - ze hebben er belang bij om kritisch te zijn over AI
Wat mij een interessant onderzoek lijkt: stel journalisten een aantal vragen, geef ze (toegang tot) dezelfde BBC-artikelen en verdeel ze in 3 groepen:
- Een AI-vaardige groep redacteuren die chatbots mag gebruiken
- Een groep redacteuren zonder AI-ervaring, die chatbots mag gebruiken
- Een groep redacteuren die zonder AI schrijft
Laat externe fact-checkers hun werk beoordelen. Dan zie je wat AI toevoegt (of afbreekt) aan redactiewerk.