ChatGPT Search: vaak fout, zelden onzeker
Dit keer in het AI-Mediajournaal: prompten zonder te typen, rappen om nieuwsmijders te bereiken en wie financiert eigenlijk AI-bedrijven?
Maar eerst even dit..
Het aantal AI-gegeneerde nieuws- en informatieve sites zonder menselijk toezicht neemt toe. Maar liefst 1121 telde NewsGuard er wereldwijd - ‘and counting’. Eerder overspoelde Shrimp Jesus Facebook al. Fake - dat mag duidelijk zijn. Maar de sites die NewsGuard aantrof in zestien talen, hebben titels die doen geloven dat het nieuwsmedia betreft (Daily Business Post of Ireland Top News). Ze produceren vaak klinkklare onzin: valse beweringen over politici, hoaxes over overleden beroemdheden, oude koeien die gebracht worden alsof ze actueel zijn en zelfs geheel verzonnen gebeurtenissen.
NewsGuard vond onder meer een netwerk van 167 nieuwssites met Russische banden, die zich voordoen als lokale nieuwsmedia en misinformatie over de oorlog in Oekraïne publiceren. Vooral news deserts (plekken met een beperkte lokale nieuwsvoorziening) zijn volgens Reuters Institute vatbaar voor dit soort AI-gegenereerd, lokaal nepnieuws.
NewsGuard begon haar onderzoek kort na de lancering van ChatGPT. Onderzoeker McKenzie Sadeghi en haar team zagen dat socialmediaberichten steeds vaker zinnen bevatten als: “Ik kan deze vraag niet beantwoorden”. Door te zoeken op dit soort frases komt NewsGuard dubieuze sites op het spoor, die medewerkers vervolgens onder de loep nemen.
De sites die NewGuard meetelt, voldoen aan vier criteria: (1) er is duidelijk bewijs dat een groot deel AI-gegenereerd is en (2) menselijk toezicht ontbreekt, (3) de content ziet er voor een leek uit als door mensen gemaakt (4) er is geen transparantie over het gebruik van AI. De lijst wordt maandelijks geüpdatet.
Ook socialemediaplatforms hebben te maken met een toenemende hoeveelheid AI-gegenereerde content. Zo laat onderzoek van Originality AI zien dat 40% van de artikelen op Medium anno 2024 AI-gegenereerd is. David Caswell, CEO van Storyflow – een bedrijf dat mediabedrijven helpt generatieve AI in hun workflow te integreren - vergelijkt het met spam. “In de begintijd van e-mail hadden we daar ook totaal geen controle over, maar gaandeweg hebben we geleerd hoe we ermee om moeten gaan”, aldus Caswell. Hij voorspelt dat het internet een grote hoeveelheid AI-gegenereerde onzin zal bevatten, die op den duur maar weinig mensen bereikt. NewsGuard doet vooralsnog geen onderzoek naar het bereik van de websites op de lijst, dus naar de impact blijft het gissen.
Dit heb je nog nooit gehoord
Ondertussen blijven de toepassingen van generatieve AI-tools toenemen. Zo kan het soundmodel Fugatto (NVIDIA) geluiden maken die je nooit eerder hoorde. Van mauwende gitaren tot schreeuwende trompetten, alles gebaseerd op een tekstprompt. Er zijn al verscheidene generatieve audiotools, maar NVIDIA is de eerste die claimt ook niet-bestaande geluiden te kunnen produceren. Het bedrijf kondigde de tool deze week aan, maar laat in het midden of en wanneer Fugatto publiekelijk beschikbaar wordt.
Tegelijkertijd introduceren Google Deepmind, the University of Michigan en Brown University motion prompting. Je geeft je opdracht niet in tekst, maar door over je beeldscherm te vegen breng je een stilstaande afbeelding in beweging of verander je de hoek van de camera (zie onder).
Vaak fout, zelden onzeker
Een paar weken geleden maakte OpenAI de tool ChatGPT Search beschikbaar voor een breder publiek. Daarin typ je prompts zoals je gewend bent, met als verschil dat de chatbot direct op het web kan zoeken. De output: een samenvatting van de gevonden online informatie met links naar de originele bron.OpenAI benadrukt dat nieuwsuitgevers zelf kunnen bepalen of hun content in de zoekresultaten van ChatGPT Search verschijnt. The Tow Center was benieuwd hoe dat uitpakt voor nieuwsmedia en zette een experiment op.
De onderzoekers selecteerden daarvoor twintig uitgevers - een mix van partijen met licentieovereenkomsten met OpenAI, uitgevers die rechtszaken tegen het bedrijf hebben lopen, en media die niets met OpenAI te maken hebben, maar wel of juist geen toegang verlenen aan de crawler.
Vervolgens selecteerden de onderzoekers citaten uit tien artikelen per uitgever en vroegen de chatbot om de bron te achterhalen. De citaten waren zo gekozen dat een zoekmachine als Google of Bing op basis daarvan het originele artikel bovenaan in de zoekresultaten zou tonen. Zo konden de onderzoekers systematisch testen of ook ChatGPT Search de bron correct weet te vermelden.
Long story short: de resultaten van het experiment vallen tegen voor mediapartijen - óók voor degenen die de crawler volledig toegang verlenen tot hun content. In slechts een kwart van de pogingen slaagt ChatGPT Search erin de bron volledig correct aan te wijzen. De tool blijkt bovendien niet transparant als die niet zeker is van zijn antwoorden: de chatbot zit vaak fout, maar is zelden onzeker (zie afbeelding).
Proefkonijnen gezocht
Open State Foundation en het Stimuleringsfonds voor de Journalistiek lanceren de eerste versie van de tool Bron Chat, die journalisten helpt om 3,5 miljoen overheidsdocumenten te doorzoeken met behulp van AI. Landelijke en regionale media testen de tool momenteel, maar meer testkandidaten zijn welkom. Wie de tool wil proberen en zijn ervaringen delen, kan contact opnemen met SVDJ.
Lezen, luisteren, kijken.
..als je tien minuten hebt:
Waar komt de beschuldiging vandaan dat links ‘elitair’ is?, vroegen Coen van de Ven en Joris Veerbeek zich af. En dus analyseerden ze alle verslagen van plenaire Kamerdebatten sinds 1995 en 32.464 journalistieke artikelen. “Het eliteverwijt dat de PVV aanblies, is zo succesvol dat het onder de huid van links is gekropen. Nu GroenLinks en de PvdA op zoek zijn naar hun gedeelde waarden keert het steeds terug in hun zelfzoektocht.”
Stap je over op BlueSky? Villamedia zet handige starterspacks op een rijtje, zodat je in één klap een hele rits relevante mensen volgt.
Dit keer in Vraag Het Vreekamp: “Zijn AI-agents iets waar ik als journalist van dien te schrikken of juist moet dromen?”
Deze Filipijnse journalist trainde een chatbot om (zeer uitgebreide) begrotingsdocumenten inzichtelijk te maken zodat journalisten ermee uit de voeten kunnen, en legt stap voor stap uit hoe hij dit aanpakte.
Benieuwd hoe media wereldwijd innoveren met behulp van AI? Van Colombia tot Tunesië, dit zijn de 35 ideeën die Journalism AI selecteerde voor een innovatiebeurs.
Geen aparte app of knop, maar AI rechtstreeks in je browser. Dat is het idee achter de nieuwe browser Dia, die The Browser Company deze week aankondigde.
Onderzoeksjournalist Peter Olsthoorn ontdekte dat de Volkskrant onbewust meerdere opiniestukken publiceerde die met AI geschreven zijn. Hoe moeten media daarmee omgaan?
Het AI Forum van WAN-IFRA gemist? Hier vind je de belangrijkste inzichten op een rijtje.
..als je iets langer hebt
Wie AI-tools en -bedrijven wil duiden, doet er goed aan zich te verdiepen in de financiering van AI-bedrijven. Media and Journalism Research Center onderzoekt honderd AI-bedrijven en ontdekt dat slechts 33% voldoende transparantie biedt.
Focusgroepen met het publiek bieden waardevolle inzichten, maar zijn ook veel werk om te organiseren. Wat als je dit (deels) kunt nabootsen met AI? In de podcast Three Takeaways doet Joris Cornielje een experiment bij Omroep Zwart uit de doeken.
In de podcast Newsroom Robots vertelt Agnes Stenbon hoe Inclusion Lab (Schibsted Media) nieuwsmijders probeert te bereiken: door nieuws in de vorm van AI-gegenereerde raps te brengen.
Tooltips tot slot
Websites of apps bouwen zonder enige programmeerervaring? Jij prompt, Qwen2.5 schrijft de code.
Met Spot kun je eenvoudig geografische locaties vinden aan de hand van tekstprompts als: “Find me a tram stop 150 meters from a park and right next to a traffic light in Prague”. Een handige Osint-tool.
Wie een AI-model wil bijtrainen, bijvoorbeeld voor een onderzoeksjournalistiekproject, moet labelen. Met de tool Classifact zet je je dataset om in een game, zodat mensen je spelenderwijs kunnen helpen met die tijdrovende klus.
En OpusClip maakt van een lange video in no time een kortje voor sociale media.