PlantGaussian: Explorarea stropirii 3D Gaussiene pentru vizualizarea realistă a plantelor 3D la nivel de timp, scena și dincolo.

Observarea plantelor de-a lungul timpului și în scene diverse este esențială pentru descoperirea patternurilor de creștere ale plantelor.

Metodele clasice întâmpină adesea dificultăți în observarea sau măsurarea plantelor în fundaluri complexe și în diferite etape de dezvoltare.

Acest lucru evidențiază necesitatea unei abordări universale capabile să ofere vizualizări realiste ale plantelor de-a lungul timpului și în diferite scene.

În acest context, introducem PlantGaussian, o metodă pentru generarea unei vizualizări tridimensionale (3D) realiste a plantelor în diverse scene și perioade de timp.

Aceasta marchează una dintre primele aplicații ale tehnicilor de splatting Gaussian 3D în stiinta plantelor, obținând o vizualizare de înaltă calitate pentru diferite specii și stadii de creștere.

Prin integrarea Modelului Segment Anything (SAM) și a algoritmilor de urmărire, PlantGaussian depășește limitările tehnicilor tradiționale de reconstrucție Gaussiană în medii de plantare complexe.

Se folosește o tehnică nouă de împărțire a rețelelor (mesh partitioning) pentru a transforma rezultatele randării Gaussian în modele măsurabile de plante în formă de rețea (mesh), oferind o metodologie pentru fenotiparea precisă a morfologiei plantelor în 3D.

Pentru a susține această abordare, a fost dezvoltat dataset-ul PlantGaussian, care include imagini ale a patru specii de culturi capturate în diferite condiții și în diverse etape de creștere.

Folosind doar secvențe de imagini ale plantelor ca intrare, sistemul calculează modele de vizualizare de înaltă fidelitate și geometrii tridimensionale pentru fenotiparea morfologică a plantelor în 3D.

Rezultatele vizualizării arată că majoritatea modelelor de plante ating un raport semnal-zgomot (PSNR) de peste 25, depășind astfel toate modelele anterioare, inclusiv splatting-ul Gaussian 3D original și NeRF îmbunătățit.

Rezultatele legate de geometrii (mesh) indică o eroare relativă medie de 4% între valorile calculate și măsurătorile reale.

Ca model digital 3D generic al plantelor, PlantGaussian va sprijini extinderea bazelor de date cu fenotipuri de plante, cercetarea ecologică și consultările la distanță cu experți..