L'insegnamento è organizzato come segue:

Obiettivi di apprendimento

Il corso introduce gli studenti alle teorie e concetti fondamentali dell'interazione uomo-computer (HCI), che è un campo interdisciplinare che trae ispirazione dalla psicologia cognitiva, dall'informatica e dal design. HCI fornisce sia una comprensione teorica che un'esperienza pratica dei principali aspetti della percezione umana, della cognizione e dell'apprendimento in relazione alla progettazione, implementazione e valutazione delle interfacce. Gli argomenti trattati durante il corso includono la progettazione delle interfacce, la valutazione dell'usabilità e le interfacce multimodali (tocco, visione, linguaggio naturale, audio). Un particolare enfasi sarà posta nell'equipaggiare gli studenti con conoscenze di base, metodologie e strumenti necessari per progettare, implementare e valutare sistemi informatici in grado di catturare, rappresentare e analizzare automaticamente dei comportamenti nonverbali, tra cui gesti, movimenti, espressioni facciali e prosodia. Inoltre, gli studenti impareranno di progettare dei sistemi per interagire efficacemente con gli utenti fornendo feedback multisensoriali, utilizzando elementi come immagini, suoni ed altri attuatori.

Alla fine del corso, gli studenti:
- Comprenderanno la razionale dietro l’utilizzo dei sistemi interattivi multimodali e principali componenti di tali sistemi, afferreranno le linee guida per la progettazione e lo sviluppo dei sistemi interattivi multimodali e riconosceranno le potenziali aree di applicazione per il loro efficace impiego.
- Familiarizzeranno con i dispositivi chiave per la cattura dei dati sul comportamento dell'utente, ne comprenderanno il funzionamento e ne distingueranno gli scenari di utilizzo appropriati.
- Acquisiranno conoscenze sulle tecniche essenziali per rappresentare e analizzare automaticamente il comportamento dell'utente, comprese quelle che elaborano dati provenienti da dispositivi sensoriali multipli attraverso vari canali sensoriali.
- Dimostreranno competenza nella progettazione e nell'implementazione dei principali componenti di un sistema interattivo multimodale utilizzando gli strumenti di sviluppo presentati nelle lezioni e nelle sessioni pratiche durante tutto il corso.

Programma

Teoria
Introduzione: motivazione, obiettivi del corso, prospettive professionali, questioni aperte, descrizione del programma del corso e del metodo di esame.
Fondamenti di HCI: fattori umani, interaction design, usabilità, gaming e gamification.
Interazione visual: calibrazione della camera, ricostruzione da moto e struttura.
Comportamenti non verbali nella comunicazione: tipi di comportamenti non verbali (espressioni facciali, gesti, postura, eye gaze), metodi di collezione di dati, tool e software per l’analisi di comportamenti non verbali, tool di annotazione come ELAN.
Analisi automatica del corpo: movimento, gesti, espressioni facciali, parlato. Tecniche di cattura dei dati, estrazione di feature e analisi automatica.
Social artificial intelligence: esempi, psicologia sociale, psicologia organizzativa, social robotics.
Affective computing: teoria delle emozioni, riconoscimento di emozioni in HCI.
Integrazione di segnali multimodali non verbali: tecniche di fusione come late and early fusion.

Laboratorio
Deep Image matching : implementazione Python di metodi di feature detection and matching.
Ricostruzione di modelli 3D: structure and motion con Zephyr.
Stima della posa della camera : implementazione C# del metodo di Fiore.
Grafica 3D: modellazione e rendering in Unity.
Model-based AR: implementazione di una pipeline AR complete integrando codice Python e Unity.
Aspetti avanzati: deep camera pose estimation, riconoscimento di modelli.

Modalità di verifica dell'apprendimento

Esame orale
Valutazione attività di laboratorio