VOLTA – innoVation in geOspatial and 3D daTA

Consorțiul VOLTA a fost constituit din 13 parteneri - instituții de renume din Europa. Centrul Național de Cartografie a fost reprezentantul oficial al României în cadrul proiectului european VOLTA, coordonat de prestigiosul Institut de Cercetare Bruno Kessler din Trento, Italia.
Proiectul a cuprins detașări la instituțiile-partenere VOLTA, schimburi de cunoștințe finalizate cu elaborarea unor rapoarte, atât în limba romană, cât și în limba engleză, și a unor articole de specialitate.
Proiectul a fost finanțat din fonduri provenite din acțiunile UE Marie Skłodowska-Curie (Grant Agreement number: 734687 — VOLTA — H2020-MSCA-RISE-2016), iar bugetul total al proiectului a fost de 1.021.500 de euro.
VOLTA a început în anul 2017 și s-a încheiat la sfârșitul anului 2022, cu mențiunea că acesta a fost suspendat din cauza pandemiei Sars-COV2, din aprilie 2020 până în luna aprilie 2022. Cu toate acestea, au fost diseminate constant informații și noutăți legate de progresul VOLTA atât pe site-ul http://volta.fbk.eu, cât și în social media - Twitter: https://twitter.com/VOLTA_MSCA.

Obiectivele științifice și tehnice ale proiectului VOLTA au fost strâns legate de metode îmbunătăţite de cartare, monitorizare și management al teritoriului, precum:

• dezvoltarea de noi metodologii pentru a obține informații geometrice precise pe baza imaginilor - la scări diferite și de la diferiți senzori - într-un mod automat, fiabil, repetabil și productiv decât cel de ultimă oră (WP2);
• fuziunea senzorilor și a datelor pentru a exploata avantajele intrinseci ale fiecăruia și a genera produse cu caracteristici calitative superioare celor generate folosind un singur tip de sensor (WP3);
• clasificarea și interpretarea automată a datelor geospațiale (2D și 3D), inclusiv extragerea datelor 2D/3D (WP4);
• procesarea seturilor mari de date (big data) în Cloud (WP5).

VOLTA ÎN CADRUL CNC - SUMAR

Din echipa VOLTA – CNC au făcut parte cinci membri angajați ai Serviciului de Cartografie și Fotogrammetrie.

Aceștia au cumulat, de-a lungul anilor de proiect, 16 luni de detașări, la șase instituții-gazdă. Activitățile desfășurate în cadrul detașărilor la instituțiile-partenere VOLTA (Tabelul 1) au fost finalizate cu elaborarea unor rapoarte (atât în limba romană, cât și engleză) și a unor articole de specialitate (Tabelul 2).

Tabelul 1: Detașării proiect Volta – membri CNC

Tabelul 2: Articolele de specialitate realizate de membrii CNC în cadrul deplasărilor

În majoritatea detașărilor efectuate de membrii CNC/VOLTA, au fost utilizate, pentru studii de caz, date din proiectele interne CNC-ANCPI de pe teritoriul României (Figura 1). Aceste date au fost împărțite în trei tipuri de seturi de date:

Date fotogrammetrice:

• o imagini aeriene ortorectificate la rezoluție de 20cm
• o norul de puncte dens derivat din imagini aeriene (din diferite platforme: avion și/sau dronă)

Figura 1: Date de intrare utilizate în cercetare

• Date vector:
  • limita elementelor din teren (construcții, ape, drumuri)
  • delimitarea obiectelor (pe layer-e) dintr-o zonă urbană

• Date LiDAR:
  • norul de puncte ALS (scanare laser aeropurtată) cu densitate diferită: 2 puncte/mp și 8 puncte/mp
  • norul de puncte TLS (date achiziționate cu scanerul Leica BLK360)

Figura 2: Date de intrare de tipul nor de puncte

În cadrul proiectului, membrii echipei CNC/VOLTA au participat și la evenimente organizate sau co-organizate de consorțiu. Aceste evenimente au avut ca scop întărirea parteneriatului obținut prin consorțiu, îmbunătățirea cunoștințelor în domeniu și diseminarea activității desfășurate în cadrul proiectului.
Alte evenimente decât cele detaliate în Tabelul 3, în care au fost prezentate rezultatele cercetării obținute în detașări și modul în care acestea au fost implementate în producție, sunt:
- pregătirea tehnică în domeniul fotogrammetriei a studenților din diferite universități de profil din România, pe o perioadă de două săptămâni în fiecare an;
- prezentarea rezultatelor, după fiecare detașare sau eveniment, colectivului CNC de către membrul CNC/VOLTA, în special celor de la Serviciul de Cartografie și Fotogrammetrie
Tabel 3 – Evenimente organizate sau co-organizate VOLTA

 O altă etapă din activitatea desfășurată în cadrul VOLTA a fost cea de găzduire a membrilor altor instituții-partenere (cele din domeniul universitar/cercetare), după cum urmează:
o Prof.Dr.Hab. Bogdan Zagajewski, coordonatorul colectivului Departmentului de Geomatică, din cadrul Facultății de Geografie și Studii Regionale - Universitatea din Varșovia - perioada detașării a fost decembrie 2018- februarie 2019
o Ewelina Rupnik şi Marc Pierrot-Deseilligny, de la Institutul Național al Informațiilor Geografice și Forestiere (IGN) - perioada detașării a fost septembrie 2019
o Wilfried Karel, parte a colectivului de cercetare în fotogrammetrie din cadrul Departamentului de Geodezie și Geoinformatică, condus de Prof. Dr. Norbert Pfeifer, de la Universitatea din Viena, Austria - perioada detașării a fost septembrie - octombrie 2022
Prin urmare, membrii echipei VOLTA-CNC au efectuat toate detașările la instituțiile-gazdă din cadrul consorțiului, conform Grant Agremment (16 secodment-uri), având rezultate remarcabile (Figura 3), evidențiate fie în articole de specialitate, fie în rapoartele finale ale proiectului structurate pe pachete de lucru (WP2, WP3 și WP4).

Figura 3: Rezultate proiect Volta – deplasări

DETALIERE CERCETARE REALIZATĂ ÎN CADRUL DETAȘĂRILOR

Detașarea la sediul Fundației Bruno Kessler (FBK), Italia, Unitatea 3D Optical Metrology  a avut ca teme de cercetare - Modelarea 3D a construcțiilor (WP2), cât și Segmentarea semantică a datelor 3D (WP4).

 Activitățile de cercetare au fost separate în:

• segmentarea norului de puncte prin metoda “region growing” , în softul Microsoft Visual Studio (biblioteca de coduri PCL), extragerea primitivelor folosind softul Mapple și generarea modelului 3D (Figura 4) folosind softul Polyfit

Figura 4: Model 3D al unei clădiri complexe din Dortmund

• obținerea automată a modelului 3D al clădirilor cu nivel de detaliere LOD2 folosind softul Building Reconstruction. Testele au fost realizate pe setul de date LAKI II aferent orașului Săcueni (Figura 5)

Figura 5: Rezultate model 3D al clădirilor - oraș Săcueni, județ Bihor

• dezvoltarea unui flux de lucru pentru clasificarea norilor de puncte pe baza valorilor, vectorilor și caracteristicilor proprii ale punctelor 3D, utilizândalgoritmul region growing pentru selectarea vecinătății

Figura 6: Rezultat clasificare nor de puncte pentru orașul Marghita

Detașarea la sediul Universității Tehnice Viena (TUW), Viena a avut ca temă de cercetare Fuziunea datelor 2D-3D   (WP3).

Activitățile de cercetare au constat în:

• elaborarea unui flux de lucru în Opals (software dezvoltat în cadrul TUW) pentru adăugarea celei de-a treia dimensiuni unui set de date 2D (Figura 7), utilizând parametri de geometrie care aparțin setului de date 3D (toate punctele 3D de pe suprafața apelor). Algoritmul pentru obținerea dimensiunii z, dezvoltat în limbajul de programare Python și estimarea plană robustă au fost cea mai bună abordare pentru seturile de date testate

Figura 7: Setul de date 2D pentru fluviul Dunărea

Figura 8: Fuziunea datelor 2D-3D

• extragerea amprentelor aferente construcțiilor dintr-o zonă urbană, orașul Marghita (Figura 9), având ca date inițiale norul de puncte LiDAR. Datele 3D au fost segmentate utilizând algoritmul PLANE EXTRACTION, extragerea datelor vector a fost realizată cu ajutorul algoritmului alpha shape, iar simplificarea datelor 2D obținute pentru amprenta construcțiilor a fost realizată folosind algoritmul Douglas-Peucker

Figura 9: Amprenta construcțiilor pentru orașul Salonta

Detașarea la sediul Universității Leibniz Hanovra (LUH), Germania, Institutul pentru Fotogrammetrie și Geoinformatică (IPI) a avut ca tema de cercetare Segmentarea și clasificarea imaginilor (WP4).

      Activitățile de cercetare au constat în:

• clasificarea imaginilor aeriene pe diferite seturi de date din Hamelin și Schleswig (Germania), Southampton (Anglia) și Salonta (România), utilizând rețelele neuronale convoluționale construite pe arhitectura SkipNet. Pentru setul de date aferent orașului Salonta (Figura 10), folosind clasificarea imaginii în nouă clase (clădiri, iarbă, copaci, drumuri, apă, tufăriș, sol, mașini și altele) a fost obținută o acuratețe finală (OA) de 88%

Figura 10: Rezultatul clasificării imaginilor aeriene (GSD de 20 cm), pentru orașul Salonta

Detașarea la sediul Universității Varșovia (UW), Polonia, Departamentul de Geoinformatică, Cartografie și Teledetecție a avut ca temă de cercetare  Clasificarea și analiza imaginilor multispectrale și hiperspectrale  (WP3), cât și Clasificarea și segmentarea imaginilor aeriene (WP4).

Activitățile de cercetare au constat în:

• analiza profilului spectral și clasificarea imaginilor hiperspectrale, multispectrale (satelitare) și imaginilor aeriene (GSD = 20 cm) prin algoritmi de tip Machine Learning (Figura 11) utilizând diferiți clasificatori, precum: Maximum Likelihood, Support Vector Machine (SVM- Figura 12), Minimum Distance, Parallelipiped, Binary encoding

Figura 11: Rezultatul clasificării imaginilor hiperspectrale

Figura 12: Imagine hiperspectrală clasificată cu ajutorul algoritmului SVM

• calculul indicilor de vegetație, precum NDVI (Figura 13), OSAVI, DVI pentru o zonă din Polonia, având la bază o imagine hiperspectrală (rezoluție spectrală = 430 benzi)

Figura 13: Rezultatul calcului pentru Indicele de vegetație cu diferențe normalizate (NDVI)

Detașarea la sediul Universității de Tehnologie Delft (TUD), Departamentul de Urbanism a avut ca teme de cercetare Segmentarea semantică a datelor 3D și Generarea modelelor 3D (WP4).

         Activitățile de cercetare au constat în:

• generarea modelelor 3D aferente clădirilor cu nivelul de detaliere LOD2 din diverse zone urbane din România (Arad, Oradea, Brad și Corabia) (Figura 14), având la baza norul de puncte LiDAR (densitate: 2 pct/mp – 8 pct/mp) și norul de puncte derivat fotogrammetric

Figura 14: Modelul 3D al construcțiilor cu nivel de detaliere LOD2

• enerarea modelelor 3D pentru un oraș (Figura 15), pornind de la date 2D (fișiere vector cu acoperire teren) și date 3D (nor de puncte LiDAR cu densitate ridicată)

Figura 15: Modelul 3D al zonelor urbane

• reconstituirea 3D a arborilor (Figura 16) pe baza norilor de puncte 3D / a fost evaluată și precizia de generare a modelului 3D aferent arborilor

Figura 16: Rezultatele reconstrucției modelului 3D al copacilor

Detașarea la sediul Institutului Național al Informațiilor Geografice și Forestiere -  Echipa de Achiziție și Prelucrare a Datelor, Laboratorul de Cercetare în Știința Informației Geografice a avut ca teme de cercetare Clasificarea și segmentarea semantică a norilor de puncte ALS/TLS (WP4) și Generarea ortofotoplanului utilizând software-ul MICMAC (WP2).

         Activitățile de cercetare au constat în:

• aplicarea metodelor și algoritmilor implementați în software-ul MICMAC, pentru generarea produselor fotogrammetrice: modelul digital al suprafeței (MDS) și ortofotoplanul pentru orașul Corabia (Figura 17)

Figura 17: Ortofotoplanul orașului Corabia

• segmentarea norilor de puncte TLS (Figura 18) și extragerea amprentei încăperilor utilizând metode de extracție a primitivelor. Pentru segmentare s-a folosit metoda poligoanelor plane – PolyDetect și a fost extras conturul încăperii, iar simplificarea rezultatului (Figura 19) a fost realizat cu algoritmul Douglas-Peucker

Figura 18: Nor de puncte TLS (densitate medie 10000 pct/m2) - camera P27 sediul CNC

Figura 18: Rezultatul grafic – FootX al încăperii P27-CNC

• Segmentarea semantică a norilor de puncte folosind rețele neuronale profunde, DNN, pentru o zonă urbană (orașul Arad). A fost utilizată arhitectura KPCONV, obținându-se pentru setul de date de testare 2 atribute noi: clasa atribuită de model și eroare (punctele clasificate în ală clasă decât cea corectă). Modul de selectare a vecinilor a fost modificat prin aplicarea selecției bazate pe cei mai apropiați vecini (KNN). Rezultatele segmentării sunt de o calitate superioară, pentru că a fost îmbunătățită înțelegerea contextuală a scenei (Figura19).

Figura 19: Rezultat segmentare nor de puncte 3D