MIMIC – Robotin etäohjausta virtuaalitodellisuuden avulla

1.12.2022

Taustalla toisella puolella mies ohjaa robotti avirtuaalitodellisuuslasit päässään ja toisella puolella näkyy robotti virtuaalitodellisuusympäristössä. Kuvan päällä on RIMA-hankken logo sekä teksti MIMIC.

Haasteet voivat välillä tuskastuttaa, mutta ennen kaikkea ne auttavat ylittämään itsensä. Näin kävi myös vuoden kestävässä MIMIC-projektissa. RIMA-hankkeen alla toteutetussa EU-projektissa hyödynsimme virtuaalitodellisuutta ja robotiikkaa teollisuuden tarkastus- ja huoltotehtävien suorittamiseen. Huikeaan lopputulokseen yltänyt XR-velhomme Olli-Pekka Nikka kertoo saaneensa MIMIC:n ansiosta paljon lisää oppia virtuaalitodellisuuden kehityksestä ja sen rajoitteista.

RIMA-hankkeen alaisena toteutettu MIMIC (ReMote Inspection and MaIntenance aCtivities using MAGOS Platform) tehtiin yhteistyössä kreikkalaisen haptisia hanskoja kehittävän MAGOSin kanssa. EDISON-projektissa alkanut yhteistyö siis jatkui uuden projektin parissa pian edellisen loputtua. Yhteistyötä tehtiin lisäksi myös Oulun yliopiston biomimetiikan ja älykkäiden järjestelmien tutkimusryhmä BISG:n kanssa.

Hankkeessa roolinamme oli toteuttaa käyttöjärjestelmä robotin etäohjaukseen virtuaalitodellisuuden kautta. Ohjattava robotti operoi tehdasympäristössä tapahtuvia tehtäviä alueilla, jotka ovat normaalisti ihmisille vaarallisia.

Sovellusarkkitehtuurista kehitystyöhön

Projekti aloitettiin kartoittamalla tarvittavat teknologiat ja piirtämällä niistä ns. arkkitehtuuri. Sovellusarkkitehtuuri kuvaa sovellusten toimintaa väliohjelmiston ja tietokantojen kanssa.

Olli-Pekka työskentelee XR:n kehitystyön parissa. Extended Reality eli XR tarkoittaa laajennettua todellisuutta. Se pitää sisällään kaikki ympäristöt, jossa todellinen ja virtuaalinen maailma kohtaavat. Näitä ovat esimerkiksi virtuaalitodellisuus (VR), lisätty todellisuus (AR) sekä niiden välillä yhdistetty todellisuus (MR).

-Ensin otin selvää, miten saan kaikki sovellukset eli tarvittavat palaset kommunikoimaan keskenään. Kun kommunikointiarkkitehtuuri oli valmis, aloin suunnitella ympäristöä ja toiminnallisuuksia. Toiminnallisuuksia luodessa täytyi miettiä esimerkiksi sitä, miten robottia ohjaan virtuaalitodellisuuden kautta. Virtuaalitodellisuusympäristön toteutin 3D-mallinnusohjelma Blenderillä fyysisen testaustilan mittasuhteita käyttäen, Olli-Pekka avaa.

Sitten alkoi varsinainen kehitystyö, johon kuului koodausta ja järjestelmän rakentamista. Järjestelmä rakennettiin tutkimusten ja sovellusarkkitehtuurin perusteella.

Tuloksena toimiva kokonaisuus

-Tässä projektissa testausvaihe venyi vasta loppupuolelle, sillä mobiilirobotin ja haptisten hanskojen saatavuudessa oli haasteita. Tein siis pitkään teoriapohjaista ohjelmointia ilman fyysisiä laitteita.

Kun Olli-Pekan työpisteelle saatiin asennettua Kinova Gen3 -robottikäsi, digitaalisen kaksosen kehitystyö alkoi. Kun digitaalinen kaksonen oli valmis, robottikäsi asennettiin Dolly™ -mobiilirobottiimme.

Videolla Olli-Pekka testaa ensimmäistä versiota robottikäden digitaalisesta kaksosesta.

Kun MAGOSin haptiset hanskat vihdoin saapuivat toimistollemme, Olli-Pekka alkoi testaamaan ja integroimaan niitä virtuaalitodellisuusjärjestelmään.

MAGOSin haptinen eli tuntoaistiin perustuva hanska.

-Kehitin robottikäden, haptisten hanskojen ja Dollyn toimintaa pitkälti osakokonaisuus kerrallaan. Kun rakennuspalikat oli kehitelty, aloin yhdistellä ne toimivaksi kokonaisuudeksi.

Projektin lopussa VR-käyttöliittymä suunniteltiin ja vietiin toteutukseen.

Kehitystyössä oppii paljon uutta

-Hankkeen haastavimmat osat olivat laitteiston saatavuus ja projektin tiukka aikataulu. Ison projektin kehitystyö oli haastavaa yksin ja rajallisen laitteiston saatavuuden vuoksi jouduin vain luottamaan ohjelmointitaitoihini. Kehitysvaiheen aikana tein projektin kuusi kertaa alusta alkaen, joten ”trial and error” oli vahvasti läsnä.

Mieleenpainuvin hetki projektissa oli kuitenkin se, kun alkuvaiheen ylitsepääsemättömyyden tunteen jälkeen tajusin, että pystynkin tähän.

Haasteiden myötä karttuu tietoa ja osaamista.

-Opin paljon kommunikaatiorajapinnoista ja tietoliikenneprotokollista. Sain paljon oppia virtuaalitodellisuuden kehityksestä ja sen rajoitteista. Lisäksi opin käyttämään hyvin Unreal Engine-pelimoottoria. Kaikista tärkeimpänä opin kuitenkin luottamaan itseeni ja kykyyni oppia uusia asioita.

Tämä oli todella haastava projekti, mutta ennen kaikkea mielenkiintoinen ja monipuolinen konsepti. On ilo olla mukana kehittämässä tämmöistä futuristista teknologiaa!

Toimivaa yhteistyötä huippuosaajien kanssa

Osaavien ja joustavien ammattilaisten käsissä haastavakin projekti kääntyy voitoksi. MAGOSin perustaja ja toimitusjohtaja Greg Agriopoulos on ylpeä suuresta urakasta.

-Projekti oli todella haastava. Asetimme alkuun liian suuria odotuksia, sillä aliarvioimme muutamia keskeisiä näkökulmia esimerkiksi robotin tarttujaan ja ajanhallintaan liittyen. Jouduimmekin mukauttamaan tavoitteita ja strategiaamme projektin aikana. Alkuperäisistä suunnitelmista joustaminen kuitenkin kannatti, sillä lopulta onnistuimme saamaan projektin menestyksekkäästi päätökseen. Olemme erittäin ylpeitä lopputuloksesta ja kaikesta sen eteen tehdystä työstä.

MAGOSin toimitusjohtaja Greg Agriopoulos on erittäin tyytyväinen projektin lopputulokseen.

Projektien sujuvuus edellyttää toimivaa yhteistyötä tekijöiden välillä. Vaikka projekti toteutettiin etänä Suomesta ja Kreikasta käsin, yhteistyö oli sujuvaa.

-Olli-Pekka on todella lahjakas ohjelmistokehittäjä, jolla on erinomainen kyky kehittää lisätyn todellisuuden robotiikan ratkaisuja. Hänen kanssaan on myös hyvin helppo työskennellä. Olli-Pekka teki valtavasti työtä tämän projektin toteuttamiseksi. Uskon, että projektia ei olisi saatu onnistuneesti päätökseen ilman häntä, Greg kiittelee.

Greg näkee MIMIC-projektin lopputuloksena syntyneen ratkaisun kaupallistamisella valtavasti mahdollisuuksia tulevaisuudessa.

-Magos-tiimimme on todella vahva mitä tulee liiketoiminnan kehittämiseen. Olemmekin jo analysoineet mahdollisuuksia ja kumppanuuksia tässä projektissa kehitetyn ratkaisun kaupallistamiseksi. Itsestään selviä vaihtoehtoja ovat esimerkiksi erilaisten tarkastusten ja huoltojen suorittaminen etäyhteydellä eri teollisuuden aloilla, mutta näemme myös paljon muitakin mahdollisuuksia. Tiimimme on keskittynyt virtuaalikoulutukseen ja -simulointiin erityisesti ilmailu- ja terveydenhuoltoaloilla sekä teollisuus 4.0:ssa eli teollisuuden neljännessä vallankumouksessa, joka liittyy älykkääseen valmistukseen. Näenkin MIMIC-projektin lopputuloksena syntyneellä ratkaisulla paljon potentiaalia näissä sovelluskohteissa.

Uskon, että jos MIMIC-ratkaisua täydennetään uusimmilla komponenteilla, siitä voi tulla markkinoiden huipputuote.

Yhteistyö MAGOSin kanssa jatkuu marraskuussa alkaneessa Mind for Machines:in rahoittamassa RIM-projektissa. Projektin ideana on tehdä joustava tuotantomenetelmä (FMS), joka on suunniteltu mukautumaan valmistettavan tuotteen tyypin ja määrän muutoksiin. Koneet ja tietokoneistetut järjestelmät voidaan asentaa valmistamaan erilaisia osia ja käsittelemään muuttuvia tuotantotasoja. FMS voi siis parantaa tehokkuutta ja siten alentaa yrityksen tuotantokustannuksia. Lisäksi se voi olla avaintekijä tilausstrategiassa, jonka avulla asiakkaat voivat muokata tuotteita haluamallaan tavalla.

Lue lisää:

Probot Oy – Asiantuntijasi robotiikkaratkaisuihin.

Tutustu myös näihin kirjoituksiin:

Mies seisoo pöydän takana. Pöydällä on OMRONin yhteityörobotti, jota mies säätää.

12.4.2023

Asiantuntijablogi

Vievätkö robotit ihmisten työt?

Kuvassa kolme erilaista mobiilirobottia.

5.7.2022

Asiantuntijablogi

Oppaat

Mobiilirobotiikan mahdollisuudet

Mind4Machines hankkeen alaisen RIM -projektin tiimiläisiä

18.9.2023

EU-hankkeet

Uusimmat

Robotilla näppärät näpit?

Mies seisoo ison teollisuusrobotin vieressä sitä katsellen.

14.6.2022

Asiantuntijablogi

Oppaat

Yhteistyörobotti vai teollisuusrobotti?

Takaisin ylös