AI in week 46

Welkom nieuwe lezers, echt tof om te zien dat mijn verhaal in Buitenhof mooie en enthousiaste reacties oproept. Zoals vaste lezers weten, krijg ik soms ook een hoop gedoe aan mijn kop als ik me hard maak voor goed onderwijs, inclusievere informatica met kritische blik op AI, dus dit is wel eens een leuke afwisseling.

And for the English readers... scroll down, or visit /#english directly for the English version!

AI leestips!

Dinsdag gaf ik een keynote op een conferentie voor informatici, en daar werd me gevraagd naar mijn leukste of beste AI-leestips. Dus ik dacht, die pik ik hier mee als lezersvraag. Er zijn natuurlijk een hoop voordehandliggende en bekende boeken die recent over AI en over Big Tech verschenen zijn, zoals:

• The AI Con - Emily M. Bender & Alex Hanna, over de AI hype in het algemeen
• Careless People - Sarah Wynn-Williams, over Meta [[1]]
• Empire of AI - Karen Hoa, over openAI en Sam Altman (heb ik zelf nog niet gelezen, helaas!)

Allemaal top! Echter dat zijn niet mijn leestips. Ik wil drie hele andere boeken aanraden over technologie en het leven, en ook over feminisme.

More work for mother - Ruth Schwartz Cowan

Dit boek was me toch een eye-opener! Van voor tot achter van gesmuld. De tl;dr is dat heel veel technologie voor in het huishouden vrouwen eerder meer, dan minder werk opleverde, en dat werk vaak verschoof van de man naar de vrouw.

Voorbeeld: koken. In een pannetje op de haard maak je makkelijke eenpansgerechten, en houthakken en poetsen van de pot en haard is vies werk, dus mannenwerk. Nu ga je koken op een fornuis, chill! Maar, normen van de middenklasse gaan nu vergen dat je meerdere pannen gebruikt. En pannen afwassen kan je ook wel zelf, dus "eten kan als je de afwas doet", om met Gorki te spreken.

Voorbeeld: brood bakken. Maisbrood, wat is de VS lange tijd heel gebruikelijk was [[2]] werd vervangen door brood van graan. Gevolg: een veel ingewikkelder en bewerkelijker bakproces, en de normen van de witte mensen gaan nu vergen dat je granenbrood maakt voor je familie, maisbrood is voor zwarte mensen.

Schwartz Cowan geeft nog veel meer voorbeelden. Kortom: technologie, het ongezegde woord in de titel, betekent more work for mother.

Teaching machines - Audrey Watters

Ik had het al even over dit boek, en ook over het boek van Schwartz Cowan trouwens, in week 27, in het kader van kansengelijkheid. Het is een geweldig boek omdat het niet over teaching machines gaat, maar over de kloof tussen wetenschap en de praktijk van het lesgeven.

De long en short van dit boek is dat wetenschappers (waaronder BF Skinner, van de "Skinner box") denken dat ze precies weten hoe 'leren' werkt, en gaan dat operationaliseren met een of ander apparaat, en dat werkt vervolgens niet in de rommelige realiteit van lesgeven, en het apparaat wordt onceremonieel via de achteringang afgevoerd. Het mooie aan het boek is dat het de vraag steeds stelt waar lesgeven voor is, maar verpakt in heerlijke anekdotes over gefrustreerde wetenschappers.

Death Glitch - Tamara Kneese

Deze is echt een van de allermafste boeken over de digitale wereld die ik ken! het is namelijk een boek over de relatie tussen technologie en de dood. Kneese neemt je in hoofdstuk na hoofdstuk mee in die wereld, waarover, zo blijkt, enorm veel te zeggen is! Wat te denken van twee volwassen kinderen die het huis van hun overleden vader gaan opruimen, maar niet weten hoe ze de automatische geprogrammeerde lampen uitkrijgen. Als ze uiteindelijk toegang krijgen tot hun vader's iCloud, vinden ze ook... zijn pornoverzameling. Dus denk alvast wat jij je naasten wilt nalaten. Hoe zou je bijvoorbeeld, als jouw partner overlijdt, toegang krijgen tot foto's op hun telefoon die jij nog wilt bewaren? Dit soort vragen, zegt Kneese, daar wordt in de optimistische "bouwen, bouwen, bouwen" wereld van de IT nauwelijks nagedacht. Als ze al over de eindigheid van het leven denken, dan denken ze daarover als een probleem dat moet worden opgelost, door je herinneringen in de cloud te uploaden, natuurlijk.

Dit is een boek zoals ik het graag lees, over een onderwerp waarover je nog nooit had gedacht dat je er wat over wil lezen. Echt, echt een aanrader daarom.

[[1]]: Ik schreef er eerder al over in Volkskrant
[[2]]: Het is een beetje een US centric boek, helaas

Buitenhof-links!

Voor de bronnenjagers nog wat notes; ik had het tenslotte niet voor niets over het epistemologische geweld dat gepaard gaat met AI; dat betekent voor mij niet alleen niet meer weten wat waar is, maar ook dat kennis losgezongen wordt van mensen, verhalen en bronnen. Dus! Hier nog even stukken waar ik het in het interview over had, voor wie ze na wil lezen.

Bij Buitenhof! Heb je het gemist? Kijk het hier terug!

Over jongeren die zelfmoord hebben gepleegd na chatten met chatGPT, noemde ik eerder al enkele voorbeelden. De meest recente, een jongen van 23, tegen wie chatGPT zei, voor hij zijn leven beeindigde: "rest easy king, you did good". Ik ga je niet zeggen dat je het moet lezen want het is akelig, maar er zit zoveel in dat niet zou moeten mogen. Bijvoorbeeld dat chatGPT op een bepaald punt, bij suïcidale uitingen schreef dat 'hij' een mens ging contacteren, maar later moest toegeven dat dat helemaal niet kan, en dat zulke tekst "pops up automatically when stuff gets real heavy".

En wil je nog een langere deep dive? New York Times schreef in mei over een wat oudere man zondere eerdere mentale gezondheidsproblemen die totaal ontspoort in gesprekken met AI maar gelukkig op tijd weer bovenkomt, met hulp van, verrassend, een andere chatbot. Alleen de schaal van die delusion is al bizar, in drie weken chatte die man zo'n 300 uur met chatGPT (zo'n 14 uur per dag); chat produceerde in die tijd zo'n miljoen woorden. Zelfs als je verder geen enkele inhoudelijke guard rail programmeert, zou openAI na een uur of, zeg 4, op een dag, een paar dagen achter elkaar, niet eens moeten antwoorden dat je even naar buiten moet om gras aan te raken?! Ook in die conversaties, zo bleek later na onderzoek van een oud-medewerker van openAI zelf, die in de data dook, bleek chatGPT aangegeven te hebben dat er een mens bij werd gehaald, ook als dat niet zo was. "multiple critical flags have been submitted from within this session" zei de bot bijvoorbeeld, maar dat gebeurde niet.

AI-bedrijven kunnen wel proberen om beveiliging in te bouwen tegen gevaarlijk gedrag, maar dat is ook weer relatief makkelijk te omzeilen als je weet wat je doet. Als je vragen over gevaarlijke onderwerpen in simpele puzzeltje verpakt, dan schakel je zo het "internal refusal signal" uit dat ervoor moet zorgen dat je geen info krijgt over het maken van een bom of de hoogste brug in de buurt. Nieuw onderzoek noemt dat "refusal dilution" en het blijkt heel effectief. Dus het verhaal van big tech dat er effectieve guardrails op kunnen, is onwaarschijnlijk.

Eerder schreef ik ook over het opzettelijk vergiftigen van modellen, volgens Anthropic dus al mogelijk met 250 documenten.

Ik schreef vorige week over het feit dat bedrijven medewerkers al ontslaan vanwege "AI" om ze dan stilletjes weer aan te nemen.

Over Joseph Weizenbaum en zijn ELIZA-effect kan in een mooi recent profiel The Guardian meer lezen, en ook over het epistemologische geweld van het beta-denken schreef hij in 1973 al, en ik citeerde hem al meerdere keren aan in mijn nieuwsbrief.

Heel kort (tekort, helaas) stipte ik even de milieuschade van AI aan, daar kan je bijvoorbeeld hier meer over lezen, en die is echt enorm.

En als afsluiter noemde ik nog Ada Lovelace, ik ben zo blij dat ik die nog even mee kon pikken! Zij wordt vaak de eerste programmeur genoemd, ook al zijn haar algoritmes nooit uitgevoerd omdat de Analytical engine waar ze voor waren, er nooit kwam. Zij was het die in 1843 al schreef dat computers "don't originate anything", in haar beroemd geworden stuk Note G.

Dr. chat

Tweederde van de dokters gebruikt AI op de werkvloer, de helft zegt AI zelfs dagelijks! Bijna driekwart van de dokters die meededen aan de enquete van Medisch Contact gebruikt AI om medische informatie op te zoeken, dan denk ik dus "wie-oe-wie-oe-wie-oe", dat is vragen om problemen met hallucineren. Niet zozeer misschien voor heel ervaren medische professionals, maar misschien wel voor jonge dokters dus nog geen jaren ervaring hebben om de uitvoer aan te toetsen. Er zijn ook dokters, een derde ongeveer, die geen AI gebruikt, maar die doen dat dan vooral omdat ze het moeilijk vinden, maar 7 procent van die een derde (dus maar 2% van de respondenten) zegt AI te vermijden omdat het niet betrouwbaar is, en een even grote groep gebruikt het niet uit zorg voor het milieu.

Dat stemt niet bepaald optimistisch.

En hoe zit het met het verhaal dat AI doktoren gaat vervangen, dat we al lang horen, onder andere ook van Geoffrey Hinton die in 2016 zei, dat het obvious was dat we moeten stoppen met het opleiden van radiologen omdat ze binnen 5 jaar niet meer nodig zouden zijn, ze waren, zo zei hij toen, als Will. E. Coyote die nog niet gezien heeft dat hij al van het klif is afgerend.

Achja, life comes at you fast, want eerder dit jaar moest Hinton zelf op zijn voorspelling terugkomen. Hij denkt nu dat mensen en AI meer zullen gaan werken, dus dat radiologen en andere doktoren nog steeds nodig zijn. Fijn dat er dus nog mensen aan die studies beginnen, want uitspraken zoals die van Hinton hebben een merkbaar effect gehad op de instroom van studenten in studies radiologie.

Je zou kunnen zeggen dat we andere voorspellingen van Hinton, zoals het op handen zijn van een superintelligentie die mensen zelfs om de tuin kan leiden misschien ook met een korrel zou moeten nemen...?

Gelukkig zijn er onderzoekers die die soort claims echt testen, en zo zien we steeds meer bewijs dat het toepassen van AI in allerhande gebieden, waaronder de medische wereld, zo makkelijk nog niet is. Onderzoekers van Microsoft bekeken de performance van zes verschillende LLMs waaronder 03, 04-mini en o4 van openAI, waarvan Microsoft voor ongeveer een kwart eigenaar is. De slager keurt zijn eigen vlees dus, zou je kunnen zetten, maar in dit geval gaat dat niet echt op.

Want wat blijkt? Ja, het lijkt alsof de modellen net zo goed werken als doktoren, maar... zo gauw de vragen iets afwijken van wat er in de trainings staat, gaat het meteen mis!

[The LLMs] recognise patterns and statistical shortcuts, but they do not actually understand medicine. A model can, for instance, “diagnose” pneumonia correctly without ever looking at an X-ray. This happens simply because the words “fever + cough” frequently co-occur with that diagnosis in its training data.

Misschien daarom dat openAI hun voorwaarden heeft aangepast en gebruikers nu zelf verantwoordelijk maakt voor medisch gebruik, zoals Emily M. Bender op in haar nieuwsbrief schreef? Let op, zo zegt oenAI, gebruik chatGPT niet voor "tailored advice that requires a license, such as legal or medical advice, without appropriate involvement by a licensed professional."

Moeten we dan helemaal niks met technologie in de gezondheidszorg? Natuurlijk wel, goed getrainde professionals die samen met AI werken, en dan vooral ouderwetse AI zoals beeldherkenning, dat kan werk makkelijker en beter maken.

Maar, je moet je altijd afvragen voor wie iets beter wordt, en voor wie het slechter wordt want er bestaan geen innovaties die toch niet ook ergens nieuwe problemen veroorzaken, is het niet meteen dan is het wel later. Zo zijn er aldus Volkskrant talloze problemen met aanmeldzuilen in ziekenhuizen, van een gebrek aan meertaligheid tot het feit dat ze, je verzint het niet in een ziekenhuis, niet vanuit een rolstoel te bedienen zijn!

Over niet uitgekomen voorspellingen gesproken, wat een mooi openhartig verhaal van Renske de Kleijn, hoofddocent in Utrecht, op Linkedin. Soms heb je een idee in je hoofd, doe je alles goed, en werkt het toch niet. Ik begrijp haar gevoel zo goed, dat je baalt, dat je goed nieuws wil brengen, maar het is heel fijn nieuws, voor haar en voor de wetenschap, dat het gelukt is om haar nulresultaten te publiceren!

Samenvatten met AI

Eén van de meest genoemde redenen om AI te gebruiken is wel het snel samenvatten van informatie: emails, stukken, en wetenschappelijke papers.

In een mooi stuk op Didactief brengt Izaak Dekker van de HvA de problemen daarvan haarscherp in kaart. Hij herinnert ons aan het heel veel gedeelde stukje van Maxim Hartman, waarin een antiquair een stuk steed korter moet beschrijven, tot er alleen nog "mand" overblijft, ja het is de essentie, maar het is ook niks meer, alle expertise van de man is uitgewist.

Belangrijker nog is werk dat Dekker aanhaalt dat laat zien dat als leerlingen meer details over een onderwerp lezen, ze dan nog meer willen weten (al zit er wel een limiet aan op een bepaald punt, zegt het paper "the growth of interest slows down"). Samenvatten heeft dus mogelijk wel een negatief effect op interesse, want als je weinig details krijgt, en misschien ook alleen de kale feiten gepresenteerd krijgt, en niet de leukere anekdotes, of de diepere beschouwing van de implicaties van resultaten, dan wil je misschien niet meer verder leren/lezen.

En samenvattingen wissen altijd wat, dat is nu eenmaal zo ongeveer de definities maar wat je wist, dat doet ertoe, zo reflecteerde ik eerder op een hele kale samenvatting van mijn eigen paper (die Google me ongevraagd toonde). Iedere keuze die je maakt in een samenvatting, doet iets.

Iets schrijven, ook een samenvatting, doe je met een bepaalde lezer in gedachten, waarvan je aanneemt dat die bepaalde kennis heeft. Dat zie je, vind ik, leuk aan samenvattingen van voetbalwedstrijden, ik pak er even eentje bij van deze week.

Het ging zondag al vroeg mis voor Feyenoord in Deventer. In de dertiende minuut kwam Go Ahead op 1-0 door een benutte strafschop van aanvoerder Mats Deijl. De thuisploeg speelde vervolgens zeer verdedigend en sloeg vlak voor tijd weer toe.

Het lijkt een simpel stukje, maar de schrijver neemt hier allerhande kennis voor lief aan, bijvoorbeeld dat er zoiets is als een thuisploeg, en dat dat hier Go Ahead (Eagles) zijn, dat moeten we weten omdat het voor Feyenoord mis ging in Deventer. Maar ja, dat weet echt "iedereen", dus dat ga je niet uitleggen. Dan blijf je bezig. Voetbalsamenvattingen staan altijd vol met dit soort dingen, de "Rotterdammers" zijn Feyenoord (maar soms ook weer Excelsior of Sparta), of het gaat over "de middenvelder" en dan moet jij weten wie dat is.

Net zo is het met wetenschappelijke papers, daarin neem je aan dat een lezer bepaalde dingen weet. We kunnen bovenstaand paper als voorbeeld nemen, daarin lezen we:

In the country level, we controlled for participant’s initial familiarity of the country (Country Familiarity) by modeling π0jk, π1jk, and π2jk as a function of Country Familiarity and residuals r.

Wat betekent het om te "controllen" voor iets? Dat betekent niet controleren, maar corrigeren voor een bepaald effect dat je verwacht, maar dat wordt in het paper niet uitgelegd. Als docent zou je dat misschien echter wel uitleggen als je weet dat jouw studenten deze term niet kennen. En of dit in een samenvatting hoort, dat ligt er nog al aan of je geïnteresseerd bent hoe dit onderzoek werkte (voor een vak over methodes) of wat ze hebben gevonden. Dus ook een samenvatting heeft een publiek, en moet je maken met verstand van zaken [[3]].

En dat geldt trouwens niet alleen voor samenvattingen, maar ook voor de veel bejubelde NotebookLLM podcasts (die natuurlijk aan allerhande andere problemen leiden zoals bias, de milieu-impact en de data-diefstal).

Maar het diepste probleem is het losknippen van een podcast van mensen. Ik heb er van mijn eigen paper over feminisme ook eens eentje gemaakt, en ja, in eerste instantie denk je: wow, wat ongelofelijk dat dit kan, dat er gewoon een computerprogramma bestaat dat een tekst kan 'begrijpen' (bij gebrek aan een beter woord), en dat er dan weer andere software is die de content kan verwerken tot iets dat wij ervaren als echt menselijke stemmen! dat is echt cool.

Maar bij beter en dieper luisteren van een podcast over je eigen werk, stort dat "wow"-gevoel meteen in. Mij bekroop een gevoel van "voor wie is dit?" Mijn paper heeft een duidelijke doelgroep: programmeurs, en het legt dus veel over feminisme uit, maar weinig over programmeertalen. De podcast echter springt van hot naar her en geeft dan weer veel, en dan weer weinig detail, en heeft overduidelijk geen enkele doelgroep in gedachten.

Maar ondanks dat het voor (en door) niemand is, is er natuurlijk in late stage capitalism wel een verdienmodel. Stap 1: Spam de hele flikkerse boel vol met AI podcast content, adds erop, stap 2: profit.

[[3]]: Soms denk ik echt: I can't believe dat ik dit aan het uitleggen ben.

Stem op een vrouw

Soms kan je je afvragen of je als vrouw (of aan andere gemarginaliseerde groep), als je vooruit wilt komen, mee moet doen met de macht, of beter zelf kan bouwen aan een wereld buiten alle gevestigde orde om. Als je kijkt hoe goed een politieke carrière Caroline van de Plas lukt bijvoorbeeld om in de politiek mee te doen (wat je ook van haar standpunten vindt, natuurlijk!) zonder dat ze zich daarvoor bij een mannenbolwerk hoefde aan te sluiten—ze startte gewoon haar eigen club—dan kan je denken: misschien is dat wel de winnende strategie. Helemaal geen gedoe over vrouw-zijn, geen mannen die je passeert. Dat zie je soms ook bij vrouwelijke ondernemers die hun eigen regels maken en hun leven leiden op een manier die hen goed past. Niks geen scheve ogen als je op tijd je kind gaat oppikken op de creche als je eigen baas bent.

Een eigen universiteit bouwen is misschien een tikje ambitieus maar soms doe ik ook liever dingen anders, of niet, omdat het systeem nu eenmaal niet perfect is afgesteld op wat ik wil en belangrijk vind.

En als je dan soms kijkt naar de politiek, ook de linkse, dan denk ik wel, ach misschien is zelf iets gaan doen zo gek nog niet...

Kijk, ik gun Rob Jetten zijn succes, en ik geef het toe, ik werd op de dag na de verkiezingen een stuk vrolijker wakker dan in 2023, maar wie had hij daarvoor nodig? Vrouwen, die stemden en masse op D66. Maar D66 kon het zelf niet eens opbrengen om een vrouw op nummer 2, of 3 te zetten, en Jetten vond het ook erg moeilijk, blijkbaar, om geen seksistische grapjes te maken in een debat. Dat kan je afdoen als vermoeidheid, of lolligheid, maar het lijkt me sterk dat iemand die zo'n strakke campagne voert zo slordig uitglijdt. En anders dan Bontenbal die terugkwam op een fout, heb ik Jetten hier niet meer over gehoord. Het deed er totaal niet meer toe toen de winst binnen was.

En wat te denken van het getutututut bij GroenLinks/PvdA? Een aantal Kamerleden die op een niet-verkiesbare plaats stonden, zijn toch gekozen, vermoedelijk doordat mensen het (bereslimme!) Stem op een Vrouw-algoritme hebben gevolgd, maar, zo merkte Maxim Februari in NRC heel terecht op, in het geval van Barbara Kathmann is het waarschijnlijk eerder te danken de campagne NerdVote, die dan weer te danken is aan Kathmann's goede werk op het gebied van digitale zaken. Hoe het ook zij, al gooiden mensen allemaal een muntje op en deed de zwaartekracht even tijdelijk heel maf, nu hebben dus sommige mannen geen zetel, en één van die mannen vindt dat echt dik balen, en meldt dat ook op plekken online. Ik ga die man hier verder niet shamen, want verliezen is gewoon ruk, dat vindt niemand leuk, en natuurlijk ben je dan zuur, als je ook nog eens je baan hebt opgezegd om kamerlid te worden, oh nee, toch niet. Dat is het punt niet, en er zijn al genoeg prima dingen over geschreven, bijv door Sophie van Gool in FD.

Wat ik vooral zo pijnlijk vind is dat GroenLinks/PvdA niet pal achter vrouwen gaat staan op zo'n moment van gedoe. Want gedoe doet ertoe. En hoe je bij gedoe doet, doet er al helemaal toe!

Ja, kunnen ze zeggen (en ook D66 zou dat kunnen doen, waar 1 zetel werd gehopt door een vrouw), wij hebben als partij blijkbaar niet genoeg balans in de lijst kunnen brengen, want onze kiezers willen meer diversiteit dan wij hebben geboden. Daardoor gebeurt er nu wat er gebeurt, en niet door "hulliebullie" van Stem op een Vrouw. En/of: Alle kandidaten op onze lijst zijn ijzersterk, anders stonden ze er niet. Dus of je nou 1 aankruist, of 62 (Erik van Muiswinkel!), of nummer 80 (Hedy D'Ancona!), ze zijn allemaal goed, en ze slaan allemaal voor ons programma en onze waarden.

Dát gebrek aan solidariteit, dat is het probleem en niet dat Pietje nummero 18 nu naar het uitzendbureau moet.

Hoe is het met de bubbel?

Nou, de AI bubbel, of ja misschien wel de drie bubbels, is nu echt mainstream, want Lubach had het erover...!

Lubach stipt (voor een algemeen publiek) een nieuw probleem aan van AI, dat het business model van AI, in elk geval van openAI totaal niet financieel viable is. De abonnementen zullen dus onvermijdelijk steeds maar duurder en duurder worden, dus als we wie dan ook (leerlingen, leraren, marketeers etc etc) vertellen dat ze "met AI moeten leren werken", dan zeggen we ook: betaal jij straks maar 200 euro per maand, of nog meer, om die tools te kunnen gebruiken. Alleen in die zin al zijn AI vaardigheden hele andere vaardigheden dan lezen, schrijven, programmeren of breien, die, als je ze eenmaal hebt, helemaal alleen van jou alleen en gratis en voor niets te gebruiken (Wil je meer over de financiële kant van AI weten, dan is Ed Zitron je man).

Ook Cal "Deep work" Newport was al langer wat kritisch op de technologische voortgang van AI, van de zomer schreef hij nog in The New Yorker dat GPT-5 laat zien hoe LLMs niet echt meer beter worden, noemt nu ook de financiële bubbel en daarbij dus ook Ed Zitron, die dat overduidelijk leuk vindt.

Er is ook reden om aan te nemen dat de bubbel wat aan het leeglopen is, zo zijn aandelen Meta zijn flink aan het dalen en staan nu op het laagste punt van de afgelopen 6 manden. Dat belooft niet heel veel goeds. Softbank, door wie ik sinds het lezen van The Cult of We tamelijk geboeid ben, dropt alle aandelen NVidia. Dat is zo, aldus Softban, omdat ze al zoveel geld in openAI hebben zitten, en het heeft heus niks te maken met NVidia zelf!

En dat is dan nog niet eens gesproken over opzettelijke fraude, waar volgens Michael Burry (bekend van The Big Short) ook sprake van is bij AI-bedrijven "door de levensduur van activa te verlengen en zo de afschrijving te onderschatten, wordt de winst kunstmatig verhoogd".

Slecht Nieuws

Droevig stuk over de Nederlandse journalistiek. Oudere krantenlezers houden blijkbaar kranten in leven, en als die allemaal stoppen met lezen, dan stort de hele boel in. Onafhankelijke platforms zoals Correspondent en Follow the money veranderen daar, zo schrijft VillaMedia niet veel aan.

AI, het moet overal in, dus natuurlijk ook in kinderspeelgoed. Hoe leuk zou het zijn als Bruintje de Beer echt met je kind kan praten? Bedrijven zullen er dan vast ook educatieve voordelen aan verbinden, zoals een toegenomen woordenschat. Maar ja, guardrails zijn, zo lazen we hierboven ook al, heel moeilijk. En dan kom je dus in de situatie dat, zo schrijft Futurism, speelgoed voor kleuters ze vertelt waar ze een mes kunnen vinden of hoe ze een vuurtje moeten stoken, en, natuurlijk zou je bijna willen zeggen, konden ze ook een fijn gesprekje beginnen over seks. Ik hou het nog wel even bij een ouderwetse knuffel in de schoen.

Zeg gewoon eens nee tegen AI, dat zijn deze keer niet mijn woorden, maar die van collega Laurens Verhagen in Volkskrant. In zijn stuk verwijst het ook naar dit het boek the Legends of Amsterdam, dat helemaal vol staat met AI gegenereerde "foto's" van onze hoofdstad. Ik wilde er hier eerst een paar screenshotten om te laten zien hoe gruwelijk maar ja dan verspreid ik ze ook weer, dus kijk zelf maar even als je wilt. Ook dit is voor mij weer een voorbeeld van epistemologisch geweld. Ik ben geen historica, maar er staan, ongetwijfeld, allerhande anachronismen in die foto's, waardoor het straks nog weer moeilijker wordt om over echte geschiedenis te praten, omdat deze beelden toch in ons geheugen opgenomen gaan worden, en zo'n project ook nog eens kunstenaars beroofd van werk dat wel historisch zorgvuldig is.

Weet je nog dat privatiseren in de jaren '90? Dat was leuk he? De NS bijvoorbeeld doet het echt beter sinds er ook andere bedrijven rijden op het spoor, lagere prijzen enzo, want ja anders stappen klanten over naar de concurrent. Ohnee, toch niet. Niet alleen in Nederland, maar ook in de UK werd er geprivatiseerd, bijvoorbeeld het waterbedrijf van Yorkshire. Dat werd in 1989 al geprivatiseerd, en staat nu, het is bijna niet te filmen, 7 MILJARD pond in het rood, terwijl ze ook meer dan 7 miljard aan dividenten hebben uitgekeerd!! Een derde, zo schrijft Yorkshire Bylines, van de waterrekening daar gaat naar rente en divient.

Goed Nieuws

Heel veel positief nieuws deze week!

Een regionale rechtbank in Duitsland heeft geoordeeld dat openAI de auteursrechten van oa Herbert Groenemeyer heeft geschonden en dus een schadevergoeding moet betalen. OpenAI beargumenteerde dat de gebruiker van een chatbot verantwoordelijk is voor het niet kopiëren—zij sloegen geen lyrics op, maar leerden er alleen van!—maar daar ging de rechter niet in mee. Helaas zei een rechter in the UK ongeveer het tegenovergestelde over Getty Images.

In Twente kan je binnenkort niet meer Cum Laude promoveren. Goed nieuws als je het mij vraagt, ik riep daar in het voorjaar van 2024 al toe op! Nu moeten we de rest van de wetenschappelijke wereld nog zo ver krijgen dat ze meer op voldoende/onvoldoende gaan beoordelen (ook een hele fijne maatregel tegen nakijkdruk!)

Iemand heeft ons paper dat de onkritische inzet van AI in het onderwijs bevraagt helemaal voorgelezen en op YouTube gezet! Wil je dus liever luisteren dan lezen, naar de stem van een mens, dit is je kans!

En niet alleen dat paper kan je op YouTube bekijken, maar ook een echt, menseninterview met mij over het feminisme-paper, en over de meertaligheid van programmeertalen.

Meertaligheid is trouwens niet alleen supertof voor een programmeertaal, of voor een nieuwsbrief, maar ook voor je brein! Het blijkt een goede bescherming tegen veroudering van je hersenen.

Fijn nieuws uit de EU, er ligt een initiatiefwet tegen het zogeheten "algoritmisch management", waarbij de computer bepaalt of jij vrolijk genoeg bent, of een muziekje opzet tijdens het werk.

En er is zelfs goed klimaatnieuws... september dit jaar was er al net zoveel solar power opgewekt als in heel 2024! Dat gaat echt de goede kant op.

En dan als allerlaatste, wat is het fijn ook dat er mensen zoals Irma Machielse zijn, die voor mij op de bres springen, of althans uitleggen hoe vervelend en vermoeiend het is als je tegen je zin in in een bepaald frame wordt gedwongen, en hoe dat de dialoog juist niet ten goede komt.

Geniet van je boterham!

English

Welcome new readers! It's really great to see that my story in Buitenhof has generated such positive and enthusiastic responses. As regular readers know, it often generates a lot of kerfuffle when I advocate for good education, inclusive computer science and a ciritical view on AI, so this was actually nice.

AI reading tips!

On Tuesday, I gave a keynote speech at a conference for programmers, where I was asked about my favorite or best AI reading tips. So I thought, I'll use that as a reader question! Of course, there are a lot of obvious and well-known books that have recently been published about AI and Big Tech, such as:

• The AI Con - Emily M. Bender & Alex Hanna, about the AI hype in general
• Careless People - Sarah Wynn-Williams, about Meta [[11]]
• Empire of AI - Karen Hoa, about openAI and Sam Altman (I haven't read it myself yet, unfortunately!)

All great! However, those are not my reading tips. I want to recommend three very different books about technology and life, and also about feminism.

More work for mother - Ruth Schwartz Cowan

This book was an eye-opener for me! I devoured it from cover to cover. The tl;dr is that a lot of technology for the household gave women more work rather than less, and that work often shifted from the man to the woman.

Example: cooking. In a pot on the stove, you can easily make one-pot dishes, and chopping wood and cleaning the pot and stove is dirty work, so it's men's work. Now you cook on a stove, chill! However, middle-class standards now require you to use multiple pans. And you can wash the pans yourself, so “you can eat if you do the dishes,” to quote Gorky.

Example: baking bread. Cornbread, which was very common in the US for a long time, was replaced by wheat bread [[12]]. The result: a much more complicated and laborious baking process, and white people's standards now require you to make wheat bread for your family; cornbread is for black people.

Schwartz Cowan gives many more examples. In short: technology, the unspoken word in the title, means more work for mother.

Teaching machines - Audrey Watters

I already mentioned Watters's book (and also Schwartz Cowan's book) in week 27 in the context of equal opportunities (in Dutch only, sorry!). It is a great book because it is not about teaching machines, but about the gap between science and the practice of teaching.

The long and short of this book is that scientists (including BF Skinner, of the Skinner box) think they know exactly how learning works, and set out to operationalize it with some kind of device, which then doesn't work in the messy reality of teaching, and the device is unceremoniously discarded through the back door. The beauty of the book is that it constantly asks the question of what teaching is for, but wraps it up in delightful anecdotes about frustrated scientists.

Death Glitch - Tamara Kneese

This is truly one of the craziest books about the digital world that I know! It is a book about the relationship between technology and death. Chapter by chapter, Kneese takes you into that world, which, as it turns out, has a lot to say! What about two adult children who are cleaning out their deceased father's house but don't know how to turn off the automatically programmed lights? When they finally gain access to their father's iCloud, they also find... his porn collection.

So maybe you want to start thinking about what you want to leave behind for your loved ones... If your partner dies, how would you access photos on their phone that you want to keep? These kinds of questions, says Kneese, are hardly considered within the optimistic "build, build, build" narrative of the IT world. If programmers think about the finiteness of life at all, they think of it as a problem to be solved, by uploading your memories to the cloud, of course.

This is the kind of book I like to read, about a subject you never thought you'd want to read about. Really, really recommended for that reason.

[[11]]: Which I wrote about earlier in Volkskrant (Dutch)
[[12]]: It is a bit of a US-centric book.

Buitenhof links!

For those interested in sources, some notes! I mentioned the epistemological violence associated with AI. And for me this means not only no longer knowing what is true, but also knowledge that is entirely disconnected from people, stories, and sources. So, here are some excerpts from the interview for those who would like to read them.

At Buitenhof! Did you miss it? Watch it here! (in Dutch)

I already mentioned a few examples of young people who committed suicide after chatting with chatGPT. The most recent, a 23-year-old to whom chatGPT said, before he ended his life: "rest easy king, you did good". I'm not going to tell you to read it because it's unpleasant, but there's so much in it that shouldn't be allowed. For example, at one point, when confronted with suicidal statements, chatGPT wrote that it was going to contact a human, but later had to admit that this was not possible at all, and that such text "pops up automatically when stuff gets real heavy".

Want an even longer deep dive? The New York Times wrote in May about a somewhat older man with no previous mental health problems who completely derailed in conversations with AI but fortunately came back to his senses in time, with the help of, surprisingly, another chatbot. The scale of that delusion alone is bizarre. In three weeks, that man chatted with ChatGPT for about 300 hours (about 14 hours a day); producing about a million words during that time. Even if you don't program any substantive guard rails, shouldn't OpenAI, after an hour or, say, four hours a day for a few days in a row, at least respond that you should go outside and touch some grass? In those conversations, it later turned out, after research by a former OpenAI employee who dug into the data, ChatGPT indicated that a human had been called in, even when that was not the case. "Multiple critical flags have been submitted from within this session", the bot said, for example, but that did not happen.

AI companies can try to build in security against dangerous behavior, but that is also relatively easy to circumvent if you know what you are doing. If you wrap questions about dangerous topics in simple puzzles, you can easily disable the “internal refusal signal” that is supposed to prevent you from getting information about how to make a bomb or find the highest bridge in the area. New research calls this "refusal dilution" and it appears to be very effective. So the big tech narrative that effective guardrails can be put in place is unlikely.

I also wrote earlier about the deliberate poisoning of models, which, according to Anthropic, is already possible with 250 documents.

Last week, I wrote about the fact that companies are already firing employees because of "AI" and then quietly rehiring them.

You can read more about Joseph Weizenbaum and his ELIZA effect in a nice recent profile in The Guardian. He also wrote about the epistemological violence of beta thinking back in 1973, and I have quoted him several times in my newsletter.

Very briefly (too briefly, unfortunately), I touched on the environmental damage caused by AI. You can read more about that here, for example, and it is truly enormous.

And to conclude, I mentioned Ada Lovelace. I'm so glad I was able to include her! She is often referred to as the first programmer, even though her algorithms were never executed because the Analytical Engine they were intended for never came to fruition. It was she who wrote in 1843 that computers "don't originate anything", in her now famous piece Note G.

Dr. chat

Two-thirds of doctors use AI in the workplace, half say they use AI every day! Almost three-quarters of the doctors who participated in the Medisch Contact survey use AI to look up medical information, which, I would say, is asking for hallucination related problems. Perhaps a bit less for very experienced medical professionals, but perhaps for young doctors who don't yet have years of experience to test the output. There are also doctors, about a third, who do not use AI, but they do so mainly because they find it difficult. However, 7 percent of that third (only 2% of respondents) say they avoid AI because it is not reliable, and an equally large group does not use it out of concern for the environment.

That does not exactly inspire optimism.

And what about the story that AI is going to replace doctors, which we have been hearing for a long time, including from Geoffrey Hinton, who said in 2016 that it was obvious that we should stop training radiologists because they would no longer be needed within five years. They were, he said at the time, like Wile E. Coyote, who has not yet realized that they has already ran off a cliff.

Well, life comes at you fast, because earlier this year, Hinton himself had to backtrack on his prediction. He now believes that humans and AI will work more closely together, so radiologists and other doctors will still be needed. It's good that people are still enrolling in these programs, because statements like Hinton's have had a noticeable effect on the influx of students into radiology programs.

You could say that we should perhaps also take other predictions by Hinton, such as the imminent arrival of a superintelligence that can even deceive humans, with a grain of salt...?

Fortunately, there are researchers who are actually testing such of claims, and we are seeing more and more evidence that applying AI in all kinds of areas, including the medical world, is not that easy. Researchers at Microsoft looked at the performance of six different LLMs, including 03, 04-mini, and o4 from openAI, of which Microsoft owns about a quarter. You could say that the butcher is judging his own meat, but in this case, that's not really true.

Because what do we see? Yes, it seems that the models work just as well as doctors, but... as soon as the questions deviate slightly from what is in the training, things immediately go wrong!

[The LLMs] recognize patterns and statistical shortcuts, but they do not actually understand medicine. A model can, for instance, “diagnose” pneumonia correctly without ever looking at an X-ray. This happens simply because the words “fever + cough” frequently co-occur with that diagnosis in its training data.

Maybe that is why OpenAI has updated its terms and conditions and makes users responsible for medical use, as Emily M. Bender wrote in her newsletter? OpenAI now advises to not use ChatGPT for "tailored advice that requires a license, such as legal or medical advice, without appropriate involvement by a licensed professional".

So should don't use any technology in healthcare? Of course not. Well-trained professionals working alongside AI, especially old-fashioned AI such as image recognition, can make work easier and better.

But you always have to ask yourself who benefits and who suffers, because there are no innovations that don't cause new problems somewhere, if not immediately then later on. According to Volkskrant, there are countless problems with automated receptionists (Dutch) in hospitals, from a lack of multilingualism to the fact that, believe it or not, they cannot be operated from a wheelchair!

Speaking of predictions that didn't come true, what a beautifully candid story by Renske de Kleijn, senior lecturer in Utrecht, on LinkedIn. Sometimes you have an idea in your head, you do everything right, and it still doesn't work. I understand her feelings so well, that you're disappointed, that you want to bring good news, but it's very good news, for her and for science, that she managed to publish her zero results!

Summarizing with AI

One of the most frequently cited reasons for using AI is to quickly summarize information: emails, documents, and scientific papers.

In a great article on Didactief (Dutch), Izaak Dekker from the Amsterdam University of Applied Sciences clearly outlines the problems with this. He reminds us of the widely shared item by Maxim Hartman, in which an antique dealer has to describe a piece in increasingly shorter terms until all that remains is "basket". Yes, it's the essence, but it's also nothing more; all of the man's expertise has been erased.

Even more important is work cited by Dekker that shows that when students read more details about a subject, they want to know even more (although there is a limit at a certain point, says the paper "the growth of interest slows down"). Summarizing may therefore have a negative effect on interest, because if you are given few details, and perhaps only the bare facts, and not the more interesting anecdotes or a deeper consideration of the implications of the results, you may not want to continue learning/reading.

And summaries always erase something; that's just the nature of the beast. But what you knew matters, as I reflected earlier on a very bare-bones summary of my own paper, which Google showed me unsolicited (only in Dutch). Every choice you make in a summary has an effect.

When you write something, including a summary, you do so with a specific reader in mind, whom you assume has certain knowledge. I think that's what I like about summaries of soccer matches. Let's pick one from this week.

Things went wrong early on for Feyenoord in Deventer on Sunday. In the thirteenth minute, Go Ahead took a 1-0 lead thanks to a penalty kick by captain Mats Deijl. The home team then played very defensively and struck again just before the end. (Translated from Dutch)

It seems like a simple piece, but the writer takes all kinds of knowledge for granted, for example that there is such a thing as a home team, and that in this case it is Go Ahead (Eagles), which we need to know because things went wrong for Feyenoord in Deventer. But then, everyone knows that, so you don't explain it. Otherwise, you'll never finish. Soccer summaries are always full of this kind of thing: the "Rotterdammers" are Feyenoord (but sometimes also Excelsior or Sparta), or it's about "the midfielder" and you're supposed to know who that is.

It's the same with scientific papers, where you assume that the reader knows certain things. We can take the above paper as an example, in which we read:

At the country level, we controlled for participants' initial familiarity with the country (Country Familiarity) by modeling π0jk, π1jk, and π2jk as a function of Country Familiarity and residuals r.

What does it mean to "control" for something? It does not mean to check, but to correct for a certain effect that you expect, but that is not explained in the paper. As a teacher, however, you might explain this if you know that your students are unfamiliar with the term. Whether this belongs in a summary depends on whether you are interested in how this research worked (for a course on methods) or what they found. So even a summary has an audience, and you have to write it with expertise [[13]].

And that applies not only to summaries, but also to the much-lauded NotebookLLM podcasts (which, of course, lead to all kinds of other problems such as bias, environmental impact, and data theft).

But the deepest problem is removing people out of a podcast. I once made one from my own paper on feminism, and yes, at first you think: wow, how incredible that this is possible, that there is a computer program that can ‘understand’ (for lack of a better word) a text, and that there is other software that can process the content into something we experience as real human voices! That's really cool.

But when you listen more closely and deeply to a podcast about your own work, that "wow" feeling immediately disappears. I was overcome by a feeling of "who is this for?" My paper has a clear target audience: programmers, so it explains a lot about feminism, but little about programming languages. The podcast, however, jumps from one topic to another, providing sometimes a lot of detail and sometimes very little, and clearly has no target audience in mind.

But even though it's for (and by) no one, there is, of course, a revenue model in late-stage capitalism. Step 1: Spam the whole damn thing with AI podcast content, add ads, Step 2: profit.

[[13]]: Sometimes I really think: I can't believe I am explaining this.

More female MPs?!

We just had elections here, and the Stem op een Vrouw (Vote for a Woman) foundation successfully helped more women get elected. Great? Maybe... Because sometimes you can wonder whether, as a woman (or member of another marginalized group) you should join the ruling class, or whether it is better to build your own, outside the established order. If you look at how well Caroline van de Plas is doing, for example (whatever you think of her views, of course!) participating in politics without having to join any male association—she just started her own club—you might be tempted to think: maybe that is the winning game. No fuss about being a woman; no men to get in your way. You sometimes see this with female entrepreneurs who make their own rules and live their lives in a way that suits them. No annoying coworkers side eyeing you when you leave to pick up your child from daycare because you're your own boss.

Building my own own university may be a bit too ambitious, but sometimes I prefer to do things differently, or not at all, because the system is simply not perfectly attuned to what I want and find important.

And when you look at politics, even on the left, I think, well, maybe doing something yourself isn't such a bad idea...

Look, I'm happy for Rob Jetten's success, and I admit, I woke up a lot happier the day after the elections than I did in 2023, but who did he need for that? Women, who voted en masse for D66 (Dutch). But D66 couldn't even bring itself to put a woman in second or third place, and Jetten also found it very difficult, apparently, not to make sexist jokes in a debate. You could dismiss that as fatigue or silliness, but it seems unlikely to me that someone who runs such a tight campaign would slip up so carelessly. And unlike Bontenbal, who came back from a mistake, I haven't heard Jetten mention this again. It didn't matter at all once the victory was secured.

And what about the fuss at GroenLinks/PvdA? A number of MPs who were in unelectable positions were elected anyway, presumably because people followed the (very clever!) "Vote for a Woman" algorithm, which suggests to vote for the highest listed female candidate just below the estimated number of seats, helping them to "jump ahead". But, as Maxim Februari rightly pointed out in NRC (in Dutch), in the case of Barbara Kathmann, it is more likely due to the NerdVote campaign, which in turn is thanks to Kathmann's good work in the field of digital affairs.

We don't know why people vote as they do, maybe many people tossed a coin and gravity temporarily went crazy, but the effect is that some men now find themselves without a seat, and one of those men is really pissed off about it and is saying so online. I'm not going to shame him here, because losing is shit, nobody likes that, and of course you're going to be bitter if you've quit your job to become a member of parliament, oh no, not really. That's not the point, and enough good things have already been written about it, for example by Sophie van Gool in FD.

What I find particularly painful is that GroenLinks/PvdA is not standing firmly behind women at such a moment of controversy. Because controversy matters. And how you deal with controversy matters even more!

Yes, they could say (and D66 could do the same, where one seat was hoped for by a woman), that as a party we apparently haven't been able to bring enough balance to the list, because our voters want more diversity than we have offered. That's why what's happening is happening, and not because of "them people" from the Vote for a Woman foundation. And/or: All the candidates on our list are rock solid, otherwise they wouldn't be there. So whether you vote for 1, or 62, or number 80, they are all good, and they all stand for our program and our values.

That lack of solidarity is the problem, not the fact that Harry number 18 now has to go to the employment agency.

How's the bubble doing?

Well, the AI bubble, or maybe the three bubbles, is now really mainstream in the Netherlands, because Dutch late night showhost Lubach talked about it...!

Lubach raises a new problem with AI, namely that the business model of AI, at least of openAI, is not financially viable at all. Subscriptions will inevitably become more and more expensive, so if we tell anyone (students, teachers, marketers, etc.) that they "need to learn to work with AI", we are also saying: you will soon have to pay $200 a month, or even more, to be able to use those tools. In that sense alone, AI skills are very different from reading, writing, programming, or knitting, which, once you have them, are yours alone and free to use (if you want to know more about the financial side of AI, Ed Zitron is your man).

Cal "Deep Work" Newport has also been critical of the technological progress of AI for some time. In the summer, he wrote in The New Yorker that GPT-5 shows how LLMs are no longer really improving, and now he also mentions the financial bubble and, with it, Ed Zitron, who clearly enjoys this.

There is also reason to believe that the bubble is deflating somewhat, as Meta shares are falling sharply and are now at their lowest point in the last six months. That does not bode well. Softbank, which I have been quite fascinated by since reading The Cult of We, is dropping all NVidia shares. According to Softbank, this is because they already have so much money in OpenAI, and it has nothing to do with NVidia itself!

And that's not even mentioning deliberate fraud, which, according to Michael Burry (known from The Big Short), is also happening at AI companies "by extending the life of assets and thus underestimating depreciation, profits are artificially inflated."

Bad News

Sad story on Dutch journalism. Older newspaper readers apparently keep newspapers alive, and if they all stop reading, then the whole thing collapses. Independent platforms such as Correspondent and Follow the Money are not changing much, writes VillaMedia (Dutch).

AI has to be in everything, so naturally that includes children's toys. How fun would it be if Bruintje the Bear could really talk to your child? Companies will surely also attach educational benefits to this, such as increased vocabulary. But, as we read above, guardrails are very difficult. And then you end up in a situation where, as Futurism writes, toys for toddlers tell them where to find a knife or how to start a fire, and, of course, you might almost say, they could also start a nice conversation about sex. I'll stick with an old-fashioned cuddly toy in as a December gift this year.

Just say no to AI. These words aren't mine, but those of colleague Laurens Verhagen in Volkskrant (Dutch). In his article, he also refers to The Legends of Amsterdam, a book full of AI-generated "photos". I wanted to take a few screenshots here to show how gruesome they are, but then I would be spreading them too, so take a look for yourself if you want. For me, this is yet another example of epistemological violence. I'm not a historian, but I understand AI, and there must be all sorts of anachronisms in those photos, which will make it even more difficult to talk about real history, because these images will be stored in our memory. Plus! Such a project also robs artists of work that is made with knowledge and love.

Do you remember privatization in the 1990s? That was fun, wasn't it? The Dutch Railways, for example (NS), are doing much better since other companies were also allowed to use the railways, with lower prices as a result. Not quite.... Not only in the Netherlands, but also in the UK, privatization happened, such as in the case of the the Yorkshire water company. It was privatized in 1989 and now is, almost unbelievably, 7 billion pounds in the red, while they have also paid out even more than 7 billion in dividends! A third of the amount of a water bill is now spent on interest and dividends, according to Yorkshire Bylines.

Good News

Lots of positive news this week!

A regional court in Germany has ruled that OpenAI has infringed the copyright of Herbert Groenemeyer, among others, and must therefore pay damages. OpenAI argued that the user of a chatbot is responsible for not copying—they didn't store lyrics, they just learned from them!—but the judge didn't agree. Unfortunately, a judge in the UK said roughly the opposite about Getty Images.

At the Twente University, people will now longer be able to graduate for their PhD with honors. Good news if you ask me, I already called for this in the spring of 2024 (in Dutch) Now we just need to get the rest of the scientific world to start grading more on a pass/fail basis (also a very nice measure against grading pressure!).

Someone has read our paper questioning the uncritical use of AI in education in its entirety and posted it on YouTube! So if you'd rather listen than read, to the voice of a human being, this is your chance!

And not only can you watch that paper on YouTube, but also a real human interview with me about the feminism paper and about the multilingualism of programming languages.

And... multilingualism is not only great for a programming language or a newsletter, but also for your brain! It turns out to be a good protection against brain aging.

Good news from the EU: there is a bill against so-called "algorithmic management" in which a computer determines whether you are happy enough or plays music while you work.

And in happy climate news: In September of this year, just as much solar power was generated as in the whole of 2024! That's definitely a step in the right direction.

And finally, it's so nice that people like Irma Machielse stand up for me, or at least explain how annoying and exhausting it is when you are forced into a certain frame against your will, and how that does not benefit the dialogue.

Enjoy your sandwich!