SD-YOLOv8: Model YOLOv8 cu două ramuri asistat de SAM pentru detectarea lăstarilor de ceai în imagini optice

Este dificil să obții o detectare precisă a mugurilor de ceai în imaginile optice cu fundaluri complexe, deoarece diferențierea între elementele din față și cele din spate ale acestor imagini rămâne dificilă.

Deși au fost propuse mai multe studii pentru a diferenția implicit fundalurile de elementele din față prin diverse mecanisme de atenție, diferențierea explicită între acestea a fost rar explorată.

Inspirată de aplicațiile recente de succes ale Modelului pentru Segmentarea Oricui (SAM) în viziunea computerizată, această lucrare propune un model cu două ramuri, numit SD-YOLOv8, asistat de SAM, pentru detectarea mugurilor de ceai, pentru a aborda provocările legate de diferențierea explicită între fundaluri și elemente din față.

Modelul SD-YOLOv8 este format în principal din două componente-cheie: (1) segmentatorul de fundal bazat pe SAM (SFS), care generează măști pentru elementele din față ale imaginilor cu muguri de ceai fără a necesita antrenament, și (2) extractorul de caracteristici eterogene, care captează în paralel atât caracteristici de culoare din imaginile optice, cât și caracteristici de margine din măștile de elemente din față.

Rezultatele experimentale arată că modelul propus SD-YOLOv8 îmbunătățește semnificativ performanța detectării mugurilor de ceai, bazându-se pe diferențierea explicită între fundaluri și elemente din față.

Precizia medie (mAP) a modelului SD-YOLOv8 ajunge la 86,0%, depășind YOLOv8 (mAP 81,6%) cu 5 puncte procentuale și fiind superior altor modele recente de detectare a obiectelor, inclusiv Faster R-CNN (mAP 60,7%), DETR (mAP 64,6%), YOLOv5 (mAP 72,4%) și YOLOv7 (mAP 80,6%).

Acest lucru demonstrează capacitatea sa superioară de a detecta eficient mugurii de ceai în condiții de fundaluri complexe.

În plus, această lucrare propune un set de date propriu de muguri de ceai, colectat în trei sezoane, pentru a combate provocările legate de lipsa de date în detectarea mugurilor de ceai..