Kunstig intelligens og bildeskaping

Jeg forsøker å eksperimentere med bildeskapingstjenester som har blitt tilgjengelige i løpet av sommeren, som benytter kunstig intelligens for å skape visualiseringer basert på skriftlig tekst. Dette åpner for å jobbe med forholdet mellom tekst og bilde på en ny måte. Selv opplever jeg det som spennende å formulere premissene for innholdet i et bilde gjennom skrift for så å medskape sammen med maskinen. 

Et mulig prosjekt som jeg gjerne jobber videre med er om elever og studenter skriver dikt på engelsk for så å sette dette sammen med et utvalg bilder, skapt av maskinen. Litt "enkel storbypoesi" kan ende opp med bilder med spennende kvaliteter (se også nedenfor). Grafiske uttrykk som jeg ville brukt mye tid på å skape, her altså skapt gjennom tekst og kunstig intelligens. I dette tilfellet ble utvalget printet og med ett har jeg en liten 16-siders folder med flere fine visuelle uttrykk. I et hyggelig lag her om dagen, sammen med noen med tiår bak seg i grafisk bransje, fikk jeg bekreftet at dette har kvaliteter som står seg ganske godt. Vi er ikke helt der at vi snakker tresnitt ala Böckstiegel eller Munch, men jeg påstår at vi kan begynne å bevege oss i samme visuelle landskap – se flere eksempler i denne bloggposten.

I en artikkel fra NRK – Er dette fremtidens kunst? – uttaler kunstkritiker Pahle Bjerke at dagens kunstverden ikke lenger bruker det håndverksmessige som målestokk for hva som er god kunst. Det er i større grad idéene bak kunstverkene som gjelder.

Ser også at det kan være på sin plass å peke til et innlegg jeg holdt på den nordiske lærerutdannerkonferansen i vår: Fremtidsutsikter med digital teknologi. Her snakket jog om konsekvensene av eksponentiell vekst og hvordan dette har muliggjort maskinlæring og kunstig intelligens.

Det er også verd å hinte til min utvidelse av Malcolm Ross sin modell for estetisk læring. Jeg plasserer dette i spennet mellom "Lek og teknologifikling" og "Systematikk og algoritmer". Det følgende er eksempler på nettopp dette.

I Digitale medier og materialitet skriver jeg om en rekke forskjellige møter mellom digital teknologi og ulike estetiske uttrykk. Et gjennomgående trekk er hvordan samspillet mellom mennesker og maskiner kan føre til nye løsninger, som mennesker tidligere ikke har tenkt på og som vi kan inspireres av og kombinere på nye måter. Maskinlæring og kunstig intelligens byr i denne sammenhengen på enorme muligheter ved å tilby “råvarer” som mennesker kan benytte i skapende arbeid

DALL·E mini (se craiyon.com) eksemplifiserer dette ved å lage bilder med tekststrenger som input. Forbildet er mer potente varianter som Open AIs Dall E 2 og Googles variant Imagen.

"Mini"-versjonen har den fordelen at den kan brukes fritt, men de virkelig spennende bruksområdene kan realiseres ved hjelp av originalen: DALL·E 2 kan lage originale, realistiske bilder og kunst med utgangspunkt i en tekstbeskrivelse. AIen kan videre gjøre realistiske endringer i eksisterende bilder, også dette med utgangspunkt i en tekstbeskrivelse. Den kan også lage nye varianter av et bilde inspirert av originalen. DALL·E 2 har lært ved å se på forholdet mellom bilder mellom bilder og tekster som  beskriver bildene. Deretter benyttes en prosess kalt "diffusjon", som starter med et mønster av tilfeldige prikker og gradvis endrer mønsteret mot et bilde når det gjenkjenner spesifikke aspekter ved bildet.

Eksemplene nedenfor understreker også noe jeg har påpekt ganske lenge: vi må lære oss hvordan vi fører konstruktive dialoger med maskiner. Dette vil trolig føre til ulike "språk" som er tilpasset forskjellige brukssituasjoner. Litt lengre litterære sitater er også interessante:

He watched sleepily the flakes, silver and dark, falling obliquely against the lamplight. The time had come for him to set out on his journey westward. Yes, the newspapers were right: snow was general all over Ireland. It was falling on every part of the dark central plain, on the treeless hills, falling softly upon the Bog of Allen and, farther westward, softly falling into the dark mutinous Shannon waves. It was falling, too, upon every part of the lonely churchyard on the hill where Michael Furey lay buried. It lay thickly drifted on the crooked crosses and headstones, on the spears of the little gate, on the barren thorns. His soul swooned slowly as he heard the snow falling faintly through the universe and faintly falling, like the descent of their last end, upon all the living and the dead.

He asked himself what is a woman standing on the stairs in the shadow, listening to distant music, a symbol of. If he were a painter he would paint her in that attitude. Her blue felt hat would show off the bronze of her hair against the darkness and the dark panels of her skirt would show off the light ones. Distant Music he would call the picture if he were a painter.

Nedenfor er samme taktikk benyttet med henvisning til Munchs tresnitt. Her gir også referansen til Munch bildet en tydelig stil. Denne referansen er imidlertid ikke nødvendig så lenge "tresnitt" er en del av tekstbeskrivelsen.

Gitt stilen som emulerer tresnitt kan en se for seg å 3D-printe en form for trykkplate for høytrykk, og som tenkt så gjort. PLA-plasten i 3D-printet gir ingen ideell trykkplate, men jeg er likevel ganske fornøyde med forsøket på å gå fra tekst til digitalt bilde, trykkplate og til slutt det høyst analoge resultatet.

Henvisningen til tresnitt gjør det ikke nødvendig å trekke inn Munch som stilmessig referanse. Her er et resultat basert på et lite dikt om skip og møtet med storbyen:

Ulike varianter som kom ut av sitatet fra The Hound of Baskerville. Et ganske stilig, selv om det er dusinvare. Det siste forstyrrer og overrasker meg på en interessant måte:

For de som vil dykke litt dypere: her er noen videoer som gir litt innsikt i hva kunstig intelligens AI kan bety for hvordan vi kommer frem til og tenker omkring kunstneriske uttrykk (og mye annet). "Prompt engineering" eller "prompt craft" blir viktig – de som anvender språk (i vid forstand) på komplekse måter blir best skikket til å føre dialoger med maskiner.

Jeg skriver også om flere av disse temaene, om enn i en kortere form, i Digitale medier og materialitet.