Kunde
KundeCOWI har i mere end 90 år været blandt Danmarks førende rådgivningsvirksomheder med speciale inden for ingeniørkunst, miljø og samfundsøkonomi. De har kontorer over hele verden, omkring 7.200 medarbejdere og altid gang i 12.000+ projekter.
Et særligt fokusområde er professionel rådgivning i forbindelse med f.eks. anlægsprojekter undersøgelse af trafikale forhold m.m.; herunder sikring af den nødvendige analyse og dokumentation af eksisterende forhold, udvikling og resultater.
Det var på denne baggrund og som en udvikling af deres service, at COWI i 2016 lancerede DDG, der i dag ligger som en “on demand”-tjeneste med HD-panoramaer af det danske vejnet til professionel brug med billedmateriale indsamlet af COWIs biler.
COWIs arbejde med DDG indebærer i dag, at hele Danmark hvert andet år bliver gennemfotograferet. Hver gade, vej, allé og boulevard – alle 108.000 km vejnet – bliver dokumenteret. Samlet løber det op i knap 150 enkelt- eller 30 millioner panoramabilleder i HD-kvalitet.
Udfordring
GDPR med mere
I forhold til GDPR var den konkrete opgave, at personer såvel som bilers nummerplader skal anonymiseres. Man må ikke på et billede kunne identificere hvem eller hvilken bil, der er blevet fanget af fotografen. Både ansigter og nummerplader skal derfor sløres.
Det repræsenterede to delopgaver: For det første skal man kunne bestemme, om der overhovedet er tale om et ansigt eller en nummerplade, og for det andet skal sløringsprocessen kunne iværksættes effektivt, hurtigt og med et acceptabelt resultat.
Højere op – lavere pris
Helt grundlæggende havde COWI et ønske om at opgradere det eksisterende DDG set-up og få en mere fleksibel, skalerbar og omkostningseffektiv løsning, hvor arbejdsgangen for processering af billedmaterialet samtidig i langt højere grad blev automatiseret.
LØSNING
KeyCore blev valgt som partner til designet af en cloudinfrastruktur, hvori processeringen af billedmateriale kunne foregå mere omkostningseffektivt og skalerbart i forhold til den eksisterende on-premis løsning.
For at håndtere dette blev processering af billedmaterialet til DDG migreret til en AWS-cloudinfrastruktur.
Setup’et af COWIs cloudinfrastruktur blev orkestreret under hensyntagen til de strenge retningslinjer i GDPR, således at storage falder i to stadier. Ifølge GDPR er det ikke tilladt at opbevare ikke-anonymiseret billedmateriale af denne karakter i mere end seks måneder. Derfor var det af afgørende betydning, at materialet automatisk kunne gennemgå anonymiseringsprocessen straks efter upload.
Med AWS S3 Standard fik COWI adgang til at kunne skrue op til maksimal kapacitet i den korte periode, billedmateriale var under behandling. Samtidig har S3 automatiseret backup, hvilket giver en garanti for 99.999999999% af materialet på årlig basis, eller et maksimalt tab svarende til ét objekt ud af 10.000.000 på 10.000 år.
Den langsigtede storage håndteres i en AWS S3 Glacier – der kun koster $0,004 pr. gigabyte pr. måned – og AWS Batch, der både sikrer skalerbarhed og adgang til ressourcer og hastighed, samt at der aldrig lægges beslag på flere ressourcer end nødvendigt, og at de benyttes, når prisen er lavest.
Sikkerhed
Ved migrationen til AWS-clouden fik COWI desuden adgang til det højest tænkelige niveau af compliance for alt, hvad der ligger under hypervisorlinjen. Det omfatter infrastruktur, hardware, de fysiske faciliterer og netværk. Det bliver flere gange årligt kontrolleret og dokumenteret af tredjepart således, at brugere af AWS kan anvende det som del af deres dokumentation, der viser, at de er compliant, og så de kan opnå den nødvendige certificering, der måtte gælde for dem. Det er compliance af blandt andet ISO 27001, GDPR, EU-US Privacy Shield, HIPAA og HMDA.
Efterbehandling
En del af efterbehandlingen af optagelserne var tidligere blevet foretaget manuelt, hvilket ikke alene medførte et stort ressourceforbrug, men også øget risiko for fejl.
Med KeyCores infrastruktur i skyen kunne COWI sikre, at hele processen blev automatiseret og effektiviseret ved hjælp af ML.
Konkret gav KeyCores arkitektur COWI mulighed for at benytte markedets absolut ledende algoritmer i en yderst modulær containerbaseret opsætning, hvor COWI nu meget simpelt kan udskifte moduler in trin med modellernes udvikling. Der benyttes bl.a. flere forskellige Deep Learning Convolution Neural Network (CNN), hvor man først “træner” neurale netværk på allerede klassificerede billeder og efterfølgende kan klassificere og identificere nyt materiale.
På den cloudinfrastruktur, KeyCore har udviklet til COWI, er efterbehandlingen blevet langt mere automatiseret, hvilket sikrer hurtig og effektiv efterbehandling fra billedmaterialet bliver uploadet, til det er klar til publicering i DDG. Ud over sikringen af den GDPR-krævende sløring af ansigter og nummerplader inkluderer cloudprocesseringen også stitching af panoramabillederne, korrigering af billedkvaliteten samt et dashboard til monitorering af status for processeringen af uploadet materiale, der hver dag giver COWIs kunder et værdifuldt redskab i deres arbejde.