Arreta partekatzen Pepper robot sozialarekin

Laburpena

Robot sozialek arreta soziala erakutsi behar dute eta, horretarako, ezinbestekoa da gizaki(ar)ekin elkarrekintzan ari denean intereseko objektua detektatzeko gaitasuna. Lan honetan, pertsonak begiradaren bidez fokatzen duen objektua identifikatu eta lokalizatzeko sistema garatu da eta baita Pepper robotean integratu ere. YOLOv8 erabili da irudi bidez pertsona detektatu eta bere aurpegia lokalizatzeko. Begiradaren fokua lortzeko VGG16 neurona sare konboluzionala entrenatu da, erregresio moduan, emaitza onargarriak erakutsiz. Eredu honen erantzunak bero mapa batean bihurtu eta sakoneraren informazioarekin konbinatuz, ResNet101 sareak emango digu azken erantzuna: begiradaren gunea non den eta zer den. Portaera hau robotera eraman da eta arreta konpartitua erakusteko robotak objektu berari begiratzeko mugimendua gauzatzen du erabiltzaileari  ahoz  odu egokian erantzuteko. Era honetan, erabiltzaileari arreta partekatuaren sensazioa transmititzen zaio. Bideo batean erakusten da portaera orokorraren emaitza.