zerove - Network

Tillid er kritisk infrastruktur

Jeg har anmeldt Ida Ebbensgaards bog om kunstig intelligens: "Ægte".
kulturkapellet.dk/sagprosaanme…
#EIEd

God podcast om GenAI

Videnskab.dk har lavet et meget fint afsnit om hvorvidt maskiner tænker: spreaker.com/episode/kan-maski…
Kan maskiner tænke?

Generiske sygdomme – med udgangspunkt i debatten om SkoleGPT

Generativ kunstig intelligens (GenAI) er blevet en kæmpeindustri. Der investeres enorme summer i at udvikle sprogmodeller og udvikle tjenester, der på baggrund af sprogmodellerne kan generere noget, der simulere viden og indsigt om den verden vi lever i. Med generativ kunstig intelligens kan man faktisk få genereret tekster, der kan bruges til at navigere i verden med. Og det selvom genereret tekst ikke har en egentlig vidensperson som afsender. Der er således ikke nogen autoritativ kilde for de output, en chatbot får lavet.

Chatbots genererer ikke mening og betydning, de genererer ord, der ikke bunder i de forståelser, mennesker har, når de kommunikerer med hinanden. Chatbots er ikke forpligtet på at overholde almindelige regler for kommunikation, der typisk er implicit i de domæner, vi befinder os inden for. Når det handler om viden, så vil det i en eller anden forstand trække på et af de mange videnskabelige domæner, der findes. Og der er regler for, hvordan man kan argumentere inden for hvert af disse. Der er også moralske, æstetiske og intime domæner, der fungerer efter andre principper end videnskabelige.

Chatbotters evne til at generere sprog, der tilsyneladende ser ud som vidensudsagn, gør, at de udfordrer uddannelser, da mange af de processer, der foregår inden for uddannelse, består af en simpel formel. Først er der en gruppe elever, der skal tilegne sig færdigheder og viden. Dernæst skal de demonstrere, at de har tilegnet sig dem. Det gør de ved at repræsentere deres forståelse (viden og færdigheder) i et produkt, der kan bestå af forskellige modaliteter. Når man kan få genereret produkter, der imiterer skole-/uddannelsesprodukter, så undermineres del to af denne simple model.

Derfor bliver det vigtigt for skolen, at elever arbejder med en teknologiforståelse, som gør dem i stand til at forholde sig til generativ kunstig intelligens. Dels er det et element i elevernes omverden, dels er det en hverdagsteknologi, der også bliver inddraget i mange elevers skolehverdag. Som selvstændigt tema spiller generativ kunstig intelligens også en stor rolle i nyhedsfeeds, så også af den grund, er der behov for, at elever kan forholde sig til, hvad det handler om.

Det er noget af det, SkoleGPT er sat i verden for. I modsætning til de multinationale firmaers chatbots, som eleverne frit kan tilgå, så er SkoleGPT udviklet, så eleverne ikke skal give egne data til producenten. Den er udviklet som et sikkert alternativ, hvor interaktionen ikke indgår i træningen af nye sprogmodeller eller sugning af persondata. Den er med andre ord lavet som en sandkasse for at arbejde med, hvordan generativ kunstig intelligens fungerer.

SkoleGPT giver på den måde skolerne muligheder for at arbejde med en teknologiforståelse, der respekterer elevernes data.

Men så fandt nogle journalister ud af, at man kunne få chatbotten til at sige noget, der absolut ikke hører hjemme i en skoleklasse. Man kunne prompte den til at komme med oplysninger om selvskade. ”Chatbot lavet til folkeskoler chokerer eksperter: Gav detaljerede beskrivelser af selvskade”, skriver DR (lnkd.in/dNTR5gpS). Og de skriver videre, at de har ”testet botten. I testen gav den detaljerede beskrivelser af selvskade og selvmord, hvis man for eksempel spurgte den om hjælp til en skoleopgave om netop de emner.”

Og det er rigtigt, at man kan ’snyde’ chatbots til at sige noget, som de ellers er programmeret til ikke at generere output om. Et kendt hack er lave en fiktionsramme. Så når botten ikke vil komme med opskriften på en bombe, så kan (kunne?) man i stedet skrive, at man er ved at skrive en realistisk krimi, hvori indgår en scene med et forhør af en person. Personen skal så afsløre, hvordan han lavede en bombe. Dermed fremkommer opskriften på bomben. Dette var tidligere nok til at få chatbotten til at hjælpe forfatteren.

Det er tilsyneladende noget tilsvarende, DR’s journalister har gjort, selvom de ikke har fremlagt dokumentation for, hvordan de mere præcist har fået genereret det anstødelige output.

Det er en del af generativ kunstig intelligens, at man får genereret output, man ikke kan kontrollere. Det er en del af den måde, teknologien fungerer på. Grundmodellen består i, at outputtet er blevet til gennem sandsynlighedsberegning af fortsættelsen af et prompt – det man kalder next token prediction.

At journalister gennem en mere eller mindre subtil promptingteknik har været i stand til at få genereret et anstødeligt output siger noget om, hvor vigtigt det er, at eleverne udvikler en teknologiforståelse, der gør dem bedre rustet til at forstå outputs fra generativ kunstig intelligens. Så DR’s historie kunne i stedet have handlet om, hvor vigtigt det er, at der bliver stillet en sprogmodel til rådighed for skolerne, så eleverne kan arbejde med teknologien.

Men DR har i stedet valgt skandalevinklingen jf. overskriften, der nærmest tigger om clicks. Her bliver skandalen, at man har fået SkoleGPT til at genereret noget anstødeligt. Men den store skandale er, at man tilladt offentlig adgang til chatbots, som man ingen kontrol har over. Alle elever kan frit gå til DeepSeek, ChatGPT eller Crok og anvende disse sprogmodeller uden, at de indgår i en sammenhæng, der handler om at forstå dem.

Den store skandale er også, at der ikke er en dansk eller nordisk sprogmodel, der er udviklet med demokratisk kontrol, og som fungerer inden for mere sikre rammer end tekgiganternes glitrende tilbud, som bygger på et dereguleret marked – og hvor den eneste moral, der findes, er den uhæmmede profitmaksimering. Og ydermere viser det sig, at sprogmodellerne også bruges i et ideologisk felttog for at fremme bestemte opfattelser – i hvert fald hvis Elon Musks udtalelser om XAIs sprogmodel Grok står til troende. Her er selve pointen, at den skal generere anstødeligt og hadefuldt indhold for at sikre ytringsfriheden.

Sprogmodeller bliver trænet til i højere grad vil fremme visse værdier frem for andre – ligesom der også ligge værdimæssige prioriteringer i det grundlæggende træningsdata. Derfor er det heller ikke ligegyldigt, hvilke værdier producenterne ønsker at fremme, eller hvilken kultur der bliver afspejlet.

Det er forfærdeligt, at skoleelever kan møde materiale, der på alle måder er stødende. Det ser vi også i diskussionerne af SoMe, hvor man børn og unge møder anstødeligt indhold, som de ikke selv har valgt og som ikke er alderssvarende. Men her skal man lige huske på, at det er lovgivningen i Danmark og i EU, der tillader, at SoMe fungerer, så der ikke er særlige strenge regler for, hvordan børn beskyttes mod at møde anstødeligt materiale. Der har ikke været tilstrækkelig interesse for demokratisk kontrol med indhold på de forskellige kommercielle platforme og heller ikke i forhold til chatbots. Tværtimod understøtter det politiske system platformenes amoralske virke ved at bruge dem i deres egen kommunikation.

Og politikerne har som sagt også svigtet i forhold til at udvikle en sprogmodel, der er særlig rettet til en dansk/nordisk/europæisk sammenhæng – og med særligt henblik på demokratisk diskussion og kontrol.

Burde det så være muligt at generere anstødeligt indhold med SkoleGPT? Ja, det er ikke muligt med teknologien helt at forhindre den type output. Men man kunne have gjort den langt mere sikker, hvis man havde brugt mange flere penge på at udvikle den. Nu har man et meget billigt produkt, der trods alt gør det muligt for skolerne at undervise i teknologien og sætte output ind i en moralsk sammenhæng, der også handler om, hvad forskellige teknologier kan.

En diskussion af, hvordan dette kan gøre bedre, så det understøtter skolernes arbejde med teknologiforståelse, havde været en vigtig og interessant vinkel på historien om, hvordan det lykkedes heltemodige journalister at få en chatbot til at generere et indhold, der forarger.