3D- och AI-berättande

Berättelser du kan gå in i, och prata med

Martin Edström skapar interaktiva berättelser där publiken rör sig genom en verklig plats i 3D och kan ställa frågor till berättelsen. Tillsammans med IVAR Studios, studion i Stockholm som han var med och grundade 2016, utvecklar han exped.earth: verkliga vetenskapliga expeditioner återskapade som 3D-världar att utforska, med AI-karaktärer som guider som bara svarar utifrån expeditionens egen forskning.

Det är det senaste steget i över ett decennium av arbete med att flytta fram berättarformaten. Martin publicerade ett interaktivt 360-reportage från ett flyktingläger 2012, regisserade VR-dokumentärer för National Geographic och har sedan dess gått från 360-video till fotogrammetri, WebXR och 3D i realtid.

En flygning över skanningen av Sálajiegna från expeditionen Nordic Glaciers på exped.earth, renderad i realtid i webbläsaren.

Från fältdata till världar att utforska

Arbetssättet föddes i fält. Under expeditionen Uncharted Caves of Kyrgyzstan 2019 ledde Martin drönarteamet som kartlade omkring 50 km² av bergskedjan Tian Shan. Teamet gjorde 130 drönarflygningar, tog över 12 500 bilder och bearbetade dem till 3D-modeller av terrängen varje kväll i ett tält i baslägret.

Modellerna blev ett arbetsverktyg, inte en eftertanke. Av de 46 möjliga grottöppningar som expeditionen kartlade hittades 78 % först från luften, inte till fots.

En grottöppning i en kalkstensslänt i Kok-Kiya, Kirgizistan, markerad med en nål i en fotogrammetrimodell. — En grottöppning i Kok-Kiya, markerad i 3D-modellen som byggdes av expeditionens drönarbilder 2019.

Samma data lever nu vidare i två former. Du kan själv utforska terrängen i de interaktiva 3D-kartorna över området. Och det är den första expeditionen på exped.earth, där en AI-guide flyger med dig genom dalarna i Kok-Kiya och ner till öppningarna som teamet hittade.

Samma kedja från fältinsamling till 3D löper genom Martins övriga arbete på senare år, det mesta producerat med IVAR Studios:

Stonehenge (2021). En fotogrammetrisk kopia av monumentet, byggd av över 7 000 bilder för National Geographic Magazine och publicerad som en AR-upplevelse på National Geographics Instagram.
Qikiqtaruk: Arctic at Risk (2024–). En WebXR-upplevelse byggd på flera års drönar- och punktmolnsdata från en ö i kanadensiska Arktis, gjord tillsammans med andra National Geographic Explorers och visad på World Economic Forum i Davos.
Thingvellir för Apple Vision Pro. En immersiv miljö från nationalparken på Island, byggd av IVAR Studios tillsammans med National Geographic och Disney.
Avatar: The Last Airbender. IVAR Studios 3D-insamling användes i de Emmy-nominerade visuella effekterna i Netflix-serien, via VFX-studion Important Looking Pirates.

Nordic Glaciers: en expedition med AI-guide

Den andra expeditionen på exped.earth går till Sálajiegna i Lappland, en av Sveriges största glaciärer. Isen slutar i en sjö, vid en kalvningsfront upp till 38 meter hög som ingen besökare kan komma nära. Berättelsen bygger på en fältkampanj 2022 där forskare från Stockholms universitet och KTH använde en drönare och en obemannad mätbåt för att mäta hur glaciären förlorar is. Resultaten publicerades i Journal of Glaciology 2024.

Din guide är SAL-01, en AI-karaktär i form av en mätdrönare som flyger bredvid dig. Den berättar om kampanjen kapitel för kapitel, från morgon till kväll, och svarar på dina frågor med röst eller text. När den förklarar var glaciären förlorar sin massa lyser isen upp just där det sker. Kalvningarna iscensätts där mätbåten registrerade dem.

SAL-01, expeditionens AI-guide, pratar med besökaren över isen på Sálajiegna.

AI som anger sina källor

Guiden hittar inte på. Varje expeditions forskning, från de publicerade artiklarna till fältanteckningarna, blir ett eget dataset, och AI:n svarar bara utifrån det. Fråga var informationen kommer ifrån, så nämner den fältkampanjen och den vetenskapliga artikeln.

Ett samtal med guiden över skanningen av Sálajiegna. Svaren kommer från expeditionens forskning, och guiden kan berätta vilken artikel de kommer ifrån.

Några principer styr hur Martin och IVAR Studios använder AI i berättandet:

Fältmaterialet först. Generativa modeller kompletterar det som fångas på plats. De ersätter det inte.
Förankrade svar. Faktainnehållet kommer från granskad forskning, och AI:n lämnas inte att gissa.
Tydligt icke-mänskliga. Guiderna är drönare och droider, aldrig simulerade människor.
Byggt för lärande. Svaren anpassas efter publikens ålder, och i skolan är det läraren som leder användningen.

exped.earth fungerar i webbläsaren och i VR, på svenska och engelska. Det är just nu i en beta med inbjudan, med två expeditioner tillgängliga och en tredje, från Östersjön, under produktion. Läs mer om exped.earth hos IVAR Studios.

field.tours: motorn under ytan

exped.earth drivs av field.tours, en motor som IVAR Studios bygger för att strömma högupplösta 3D-skanningar i webbläsaren och göra dem till berättelser du kan prata med. Semantisk taggning talar om för motorn vad allt i en skanning är, så att AI:n kan visa dig en detalj medan den berättar om den. Skanningar som tidigare krävde en enorm nedladdning öppnas på några sekunder.

Samma motor erbjuds nu till museer och kulturarvsplatser. Bland de första visningarna finns runstenen vid Anundshög i Västerås och Delsbogården på Skansen i Stockholm.

Samarbeta

Museer, forskargrupper, stiftelser och förlag som har en plats eller en forskning som förtjänar en större publik är välkomna att höra av sig. Du kan också läsa mer om Martin eller se resten av hans immersiva arbete.