Forskningen täcker ett brett spektrum av ämnen inom artificiella seende system med särskilt fokus på maskininlärning för robotseende. Gruppen har funnits sedan 1970-talet och har i hög grad bidragit till att etablera begreppet datorseende i Sverige.
Utvecklingen av metoderna för det artificiella seende har sin utgångspunkt i modeller av människans synsinne. Detta eftersom det artificiella seendet ska samexistera med människor och även förutse människans reaktioner på synintryck. Forskningsresultaten lägger därmed grunden för självkörande bilar eller robotsystem som interagerar med människor.
Forskargruppen inom datorseende, Computer Vision Laboratory, grundades av professor Gösta Granlund under 1970-talet och var tidigt ute med att använda maskininlärning inom datorseende. 2008 tog professor Michael Felsberg över ledningen för gruppen.
I Vinnovas rapport "Artificiell intelligens i svenskt näringsliv och samhälle, analys av utveckling och potential" framhålls gruppen som en av de större och mest framgångsrika forskningsmiljöerna inom AI i Sverige.
Datorseende Foto Göran Billeson
Målet för forskning inom sensorfusion är att kombinera data från många olika sensorer till information av bättre kvalitet än vad som kan uppnås med en sensor eller som annars kräver andra kostsamma lösningar.
Forskningen har stor industriell relevans inom omr氓den som autonoma fordon p氓 marken och i luften, f枚r samverkan mellan m盲nniska och robot och f枚r positionering med hj盲lp av mobiltelefoner, f枚r att bara ta n氓gra exempel.
Forskargruppen inom sensorfusion 盲r en del av avdelningen f枚r Reglerteknik vid Link枚pings universitet. Sensorfusion som forskningsomr氓de har funnits sedan 1995 och har sedan dess blivit en allt viktigare del i m氓nga olika forskningssammanhang. Gruppen har producerat fler 盲n 25 tekniska doktorer och 40 licentiater. Forskningen sp盲nner 枚ver s氓v盲l grundforskning som mer till盲mpade projekt.
Gruppen har f氓tt fram fundamentala och v盲l citerade bidrag inom omr氓den som olinj盲r filtrering och teorin kring positionering. Den till盲mpade forskningen utf枚rs ofta i samarbete med svensk systembyggande industri. Forskningen har 盲ven resulterat i avknoppningsf枚retag som NIRA Dynamics, Softube och Senion.
Industrin s枚ker st盲ndigt efter m枚jligheter att byta ut dyra och 枚mt氓liga sensorer mot billigare och mer robusta. De sensorer som h氓ller reda p氓 hjulens hastighet sitter i en h氓rt utsatt milj枚 och 盲r dessutom en relativt dyr komponent.
Spektrogram av hur hjulvibrationsfrekvensen varierar ber盲knat fr氓n signaler fr氓n en accelerometer monterad i ett fordon, j盲mf枚rt med den verkliga vinkelhastigheten.I vissa applikationer kan en kontaktl枚s accelerometer, tr枚ghetssensor, anv盲ndas ist盲llet. Genom att analysera spektrumet av vibrationer som orsakas av hjulet 枚ver tid kan hjulets hastighet ber盲knas. En annan potentiell applikation finns inom IoT i fordon i de fall hastighetsinformation 盲r anv盲ndbar. H盲r kan kabeldragningar undvikas. Hastighetsinformation i mobiltelefoner 盲r 盲nnu en applikation.
Projektet har utvecklat skr盲ddarsydda algoritmer f枚r den h盲r typen av problem som komplement till olinj盲r filtrering.
Projektet har som mål att ta fram tekniker som möjliggör ett nära samarbete mellan människor och robotar i gruvor. Arbetsplatsen ska vara trygg och säker och människor ska kunna interagera med autonoma system likaväl som med manuellt styrda maskiner.
Robust och tillförlitlig positionering av varje enskilt objekt är en viktig del i att uppfylla målet och första fasen i projektet handlar om att ta fram algoritmer som gör det möjligt för de autonoma fordonen att både lokalisera sig själva och såväl fasta som rörliga objekt i omgivningen.
För att autonoma system ska kunna användas idag krävs att inget manuellt arbete utförs i närheten. Säkerhetsgrindar inhägnar produktionsområdet och hindrar mänsklig inblandning. Det innebär att systemet är känsligt för störningar. En person som går igenom en säkerhetsgrind kan tvinga hela systemet att stänga ner. I ett första skede ska data från en laserskanner göra systemet medvetet om var på området människan befinner sig.
Bilden illustrerar hur två laserskannrar monterade på en lastare kan ange positioner på objekt i gruvan. (Illustration Epiroc)
Epiroc
Målet för projektet är att skapa en karta över radiotäckningen för distribuerade radiosystem inom ett område och sedan använda kartan för positionering. Idag har vi distribuerade radiosystem överallt, från globala navigationssystem, GNSS, till mobila radiosystem och lokala nät. Många positioneringssystem är baserade på ett eller en kombination av flera av systemen, där de mottagna radiosignalerna analyseras hos mobilanvändaren för att avgöra positionen.
Illustration till hur radiosignaler når mottagaren på olika vis beroende på de olika effekter som orsakas av reflektioner från väggarna.
De grundläggande måtten är uppdelade på mätning av tid och signalstyrka. I detta projekt vill vi utöka mätningarna med att också ta in tidsberoendet i signalstyrkan, PDP (power delay profile), för att få en djupare förståelse för de underliggande fenomen som är svåra att uppskatta med nuvarande metoder.
Både mätningarna av tid och signalstyrka påverkas av PDP och här undersöker vi möjligheterna att beräkna positionen med hänsyn tagen även till tidsfördröjningen i systemet och relatera den till hur omgivningen ser ut. På så vis får vi en ökad förståelse för vilka effekter detta ger och fenomenet utnyttjas som en extra informationskälla istället för att vara en störning.
Ericsson
Målet för det här projektet är att utveckla autonoma funktioner för att underlätta för en systemoperatör att styra både flygplanet och dess sensorer. Detta uppnås genom att undersöka olika metoder för styrning av sensorplattformar med hjälp av instruktioner på hög nivå.
Över tid har fokus för en pilots uppmärksamhet skiftat från att styra sitt flygplan till att hantera dess sensorsystem. Man kan jämföra med moderna drönare, som är enkla att styra, medan styrningen av kamerans rörelser fortfarande är en utmaning. Utmaningen som studeras här är att automatiskt flyga och styra de tillgängliga sensorerna på ett sådant sätt att den användbara informationen maximeras, och på så sätt ge piloten möjlighet att spendera sin tid med att förstå vad informationen betyder.
Det kräver en förståelse för hur tillgängliga sensorer kan hanteras; att proaktivt ta hänsyn till olika begränsningar i omgivningen, att reagera på förändringar och lära av erfarenhet samt att samarbeta där det är nödvändigt.
Fyra doktorander inom WASP demonstrerar en autonom flygning i testarenan Visionen som en del av en av WASP:S projektkurser. Foto David Brohede
Saab AB/Aeronautics
I många fall är rörelsemönstren för objekt helt repeterbara, men på förhand okända. Det kan vara båtar som driver med strömmen eller bilar som följer trafikreglerna. Idag inkluderar standardmetoder inte mer kunskap om rörelsen än att de fysiska begränsningarna kring accelerationer med mera är uppfyllda.
Lärande tidsuppdateringNaturligtvis vore bättre kunskap om de underliggande rörelsemönstren en stor fördel. Att lära sig dessa rörelsemönster är ett problem som kombinerar teori från klassisk skattningsteori med moderna datadrivna maskininlärningsmetoder.
Den stora utmaningen ligger i att utnyttja möjliga synergier genom att kombinera de två metoderna i ett gemensamt ramverk.
Metoden lär sig automatiskt hur bilar kör i en trevägskorsning med hjälp av positionsmätningar och en konstant hastighetsmodell som kombineras med en Gaussisk process-modell för manövrar. Detta ger förbättrad lokalisering och snabb manöverklassificering.
Forskningen inom fordonssystem har fokus på styrning, diagnos och autonomi, särskilt på de systemvetenskapliga aspekterna och ofta i samarbete med industrin. Fyra välutrustade fordonslaboratorier stärker den internationellt väl kända forskningen.
Avdelningen Fordonssystem ser i huvudsak till de övergripande och systemvetenskapliga aspekterna och samarbetar gärna med andra när det kommer till exempelvis mekanisk konstruktion eller utvärdering/test ute i industrin. Funktioner vi arbetar med är avancerad motorstyrning, koordinerad styrning av fordons- och drivlinesystemen samt autonoma funktioner för intelligenta fordon och vägar.
Autonomi kräver även automatiserad tillsyn, samt ett prognossystem för tillförlitlig drift. Vi söker lösningar såväl för rent teoretiska problem som på mer applikations-orienterade, som exempelvis inom autonom gruvdrift.
De tre fordonslaboratorierna finns i en egen byggnad, i L-huset, Campus Valla:
Laboratoriet för framdrivning av fordon, laboratoriet för fordonsdynamik och autonomi samt laboratoriet för energikonvertering och energilagring.
I motorlaboratoriet finns två testriggar för test av motorer i personbilar. Båda är utrustade med moderna asynkrona maskiner som kan fungera både för drift och som last för motorerna. Dessa testriggar gör det möjligt för oss att köra såväl stillastående prov som mer dynamiska prov med en snabb ökning av momentet - på 10 ms eller mindre. Vi kan även simulera belastningen från vägen.
Forskningen fokuserar i huvudsak p氓 hur teorier, metoder och tillg盲ngliga data kan anv盲ndas f枚r att prognosticera underh氓ll i varje enskild maskin - i synnerhet f枚r maskiner i gruvdrift.
Driften ska fungera 盲ven i utmanande milj枚er. Foto EpirocF枚rebyggande underh氓ll 盲r n枚dv盲ndigt f枚r en p氓litlig, autonom gruvdrift d盲r oplanerade stopp undviks. Det g盲ller s氓v盲l lastare och borrar som 枚vriga maskiner. Gruvor 盲r samtidigt utmanande milj枚er d盲r maskinens anv盲ndning p氓verkar h氓llbarheten p氓 enskilda komponenter. N盲r m盲nniskan plockas bort ut systemet f枚rsvinner ocks氓 en viktig k盲lla till information. S氓v盲l i konventionella som i autonoma gruvor 盲r system d盲r maskinerna sj盲lva autonomt kontrollerar och anger n盲r underh氓ll b枚r ske ett angel盲get omr氓de f枚r forskning och utveckling.
Den tuffa omgivningen f枚r exempelvis borrutrustningen g枚r inte bara livsl盲ngden f枚r enskilda komponenter betydligt kortare 盲n n盲r de anv盲nds i exempelvis en personbil, det 盲r ocks氓 sv氓rt att hitta tillr盲ckligt robusta och tillf枚rlitliga sensorer som klarar den utmanande milj枚n. Det inneb盲r att 盲ven metoderna m氓ste vara robusta och inte bara lita till information fr氓n sensorer som sitter n盲ra intill den kritiska komponenten.
Tillg氓ng till data 盲r d盲rf枚r av stor vikt f枚r att n氓 forskningsm氓len och en ambiti枚s insamling av data fr氓n gruvor i m氓nga l盲nder har p氓b枚rjats. Detta kommer ocks氓 att kompletteras med experiment p氓 en forskningsborrigg f枚r tester av ny sensorteknik.
Detaljerade fysiska modeller av maskinerna kommer inte att vara tillg盲ngliga, i f枚rsta hand beroende p氓 de sv氓ra driftsf枚rh氓llandena och det l氓ga antalet maskiner. En viktig forskningsfr氓ga kommer d盲rf枚r att vara att utveckla metoder f枚r att sammanl盲nka underh氓llsinformation och data fr氓n driften samt h枚guppl枚sta och h枚gfrekventa m盲tningar fr氓n maskinen med basala fysiska modeller.
Det 盲r en process som kr盲ver utveckling av tekniker inom omr氓den som signalbehandling, maskininl盲rning, statistiska modeller samt tekniker f枚r livsl盲ngds- och tillf枚rlitlighetanalys.
Epiroc Drills AB (), Robert Pettersson
Projektet handlar om att ta fram optimala manövrar i tids- och säkerhetskritiska situationer för autonoma fordon. Exempel är för hög hastighet i en kurva eller snabba undanmanövrar när hinder plötsligt dyker upp på vägen.
Däckens friktion utnyttjas maximalt. Foto iStock/LeMannaDet här är manövrar som kräver att däckens friktion mot marken utnyttjas maximalt. De viktiga forskningsfrågorna här är hur de olika friktionskrafterna mellan däcken och vägen kan användas på bästa tänkbara sätt, liksom hur fordonens egen dynamik kan regleras och utnyttjas för att få bästa tänkbara beteende. Manöverproblemet kännetecknas av en olinjär dynamik och osäkerhet i modellparametrar för den specifika situationen.
I projektet utnyttjas optimering som ett verktyg för att beräkna fordonsmanövrar i ett antal olika scenarier och under olika dynamiska förhållanden, som ytan på vägen och hur vägen kröker sig. De broms- och styrningsmönster som observeras i de optimala lösningarna i de olika fallen används sedan som grund vid utformningen av styrsystemen för autonoma fordon.
Den här typen av styrsystem måste även kunna hantera den inneboende osäkerheten för att uppnå robusthet vid olika situationer, vilket betyder att vi även inom forskningsprojektet utvecklar metoder för sensorbaserad återkoppling i realtid. Styrsystemen utvärderas också genom att de jämförs med resultat från datorsimuleringar av en i förväg beräknad optimal styrning för samma problem.
En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.
University of Lincoln, Storbritannien
Projektet innefattar planering av tidskritiska undanmanövrar. Vi fokuserar på att utveckla nya formuleringar av målfunktioner och krav för rörelseplaneringsproblem som löses
Kritisk undanmanöver Foto iStock/Toa55Det övergripande målet är att öka säkerheten för fordonet genom att utnyttja nya sensorer för att bedöma situationen samt ökade möjligheter till individuell bromsning och vinkelstyrning av enskilda hjul. En av de största utmaningarna för att använda optimering för autonomi i fordon är att utnyttja datorkraften för att skapa beräkningar som är så snabba som en kritisk undanmanöver kräver.
Projektet drivs utmed två kompletterande spår. Det första spåret handlar om att formulera nya optimeringsproblem för planeringen av en säker rörelse när fordonet exempelvis ska göra ett hastigt filbyte på en väg för att undvika ett hinder.
Det andra spåret undersöker hur beräkningskomplexiteten i optimeringsproblemet för att bestämma den optimala banan och rörelsen i en given situation kan minskas. Mer specifikt har metoder utvecklats för uppdelning av manövern och för parallelldatorberäkningar av de olika resulterande segmenten. Sådana metoder minskar beräkningstiden och är därför av stor betydelse för att fordonet i realtid ska kunna bestämma en optimal manöver.
En utvärdering av metoderna i en experimentbil planeras inom ramen för WASP:s forskningsarena WARA för automatiserade transportsystem.
Inom området optimering för inlärning och autonomi inom avdelningen Reglerteknik arbetar vi både med utveckling och tillämpningar av optimering.
Utvecklingen av optimeringsmetoder är inriktade på strukturutnyttjande för olika klasser av optimeringsproblem för att öka effektiviteten i optimeringslösarna, exempelvis för inlärning och styrning. Utvecklingen innefattar också användningen av moderna parallelldatorer. Vidare bedrivs forskning för att kombinera planeringsmetoder från forskningen inom artificiell intelligens med metoder inom optimering och reglering. Pågående utveckling av teorier och algoritmer innefattar även realtidscertifiering av optimeringsmetoderna.
Tillämpningar finns inom områden som rörelsereglering, styrning av autonoma fordon likaväl som inom implementering av optimeringsmetoder.
Arbetet bedrivs inom WASP:s område Storskalig optimering och styrning. Vi samarbetar här såväl med svenska som med utländska universitet, bland dem UCLA, ETH, TUDelft, DTU, University of Siena, KTH, och Lunds universitet. Industriella partner är exempelvis Scania och Saab.
Här undersöker vi om det är möjligt att använda algoritmer inom maskininlärning för att hitta och härleda nya optimerings-algoritmer som fungerar bättre än de som idag är designade manuellt.
Planering, beslutsfattande och prediktiv reglering av autonoma system, som också innefattar maskininlärning, är alla baserade på avancerade optimeringsmetoder. Valet av algoritm för optimeringen och de parametrar man väljer görs fortfarande manuellt, även om ramverk som disciplinerad konvex optimering, som cvx och YALMIP, har inneburit framsteg inom automatisering av konvex optimering.
Disciplinerad konvex optimering är ett bekvämt sätt att använda generella algoritmer för konvex optimering. Valet av algoritm och inställningen av parametrar är dock fortfarande en komplicerad process för såväl stor-skalig konvex optimering, distribuerad eller ej, som för icke konvex optimering. Det finns även ett antal ekvivalenta formuleringar av optimeringsproblemet som påverkar effektiviteten i beräkningarna.
För att komma förbi dessa svårigheter undersöker vi om det är möjligt att direkt lära sig dessa optimeringsalgoritmer och vilken som är den bästa formuleringen via experiment och simuleringar. Det vill säga att vi använder maskininlärningsalgoritmer för att hitta och härleda nya optimeringsalgoritmer som fungerar bättre än de som är designade manuellt.
Professor Bo Wahlberg, KTH
Det h盲r doktorandprojektet unders枚ker topologin i n盲tverk, som exempelvis strukturen i ett hierarkiskt n盲tverk som anv盲nds f枚r skalbara ber盲kningar med till盲mpningar inom reglerteknik i vid mening.
Kordal graf med motsvarande klicktr盲d f枚r distribuerade ber盲kningar.
Exempel p氓 anv盲ndningsomr氓den 盲r systemidentifiering, maskininl盲rning och design av styrsystem.
Vi studerar 盲ven hur integritet p氓verkar m枚jliga prestandan och vilket m氓tt av kommunikation som kr盲vs mellan olika ber盲kningsagenter f枚r att skapa de mest effektiva ber盲kningarna. Olika typer at datorplattformar kommer att unders枚kas.
Vi utvecklar 盲ven effektiv optimeringskod f枚r generiska problemformuleringar. Relevanta till盲mpningar finns inom olika typer av infrastruktur som trafik, vatten, gas, elektricitet och styrning i byggnader.
