Arreta partekatzen Pepper robot sozialarekin

Laburpena

Robot sozialek arreta soziala erakutsi behar dute eta, horretarako, ezinbestekoa da gizaki(ar)ekin elkarrekintzan ari direnean intereseko objektua detektatzeko gaitasuna izatea. Lan honetan, pertsonak begiradaren bidez enfokatzen duen objektua identifikatu eta lokalizatzeko sistema bat garatu dugu, baita Pepper robotean integratu ere. YOLOv8 erabili dugu irudi bidez pertsona detektatu eta haren aurpegia lokalizatzeko. Begiradaren fokua lortzeko VGG16 neurona-sare konboluzionala entrenatu dugu, erregresio moduan, eta emaitza onargarriak lortu ditugu. Eredu horren erantzunak bero-mapa batera bihurtu eta, sakoneraren informazioarekin konbinatuz, ResNet101 sareak emango digu azken erantzuna: begiradaren gunea non den eta zer den. Portaera hori robotera eraman dugu, eta robotak, arreta partekatua erakusteko, objektuari berari begiratzeko mugimendu bat egiten du erabiltzaileari ahoz modu egokian erantzuteko. Era horretan, erabiltzaileari arreta partekatuaren sentsazioa transmititzen zaio. Bideo batean erakutsi dugu portaera orokorraren emaitza.