Codice insegnamento

4S010680

Crediti

6

Coordinatore

Umberto Castellani

Lingua di erogazione

Inglese

Offerto anche nei corsi:

• Interazione uomo-macchina del corso Laurea magistrale in Ingegneria e scienze informatiche [LM-18/32]
• Interazione uomo-macchina del corso Laurea magistrale in Ingegneria e scienze informatiche [LM-18/32]

Settore Scientifico Disciplinare (SSD)

ING-INF/05 - SISTEMI DI ELABORAZIONE DELLE INFORMAZIONI

Corsi Singoli

Autorizzato

Moodle Seminari 0

L'insegnamento è organizzato come segue:

Obiettivi di apprendimento

Il corso introduce gli studenti alle teorie e concetti fondamentali dell'interazione uomo-computer (HCI), che è un campo interdisciplinare che trae ispirazione dalla psicologia cognitiva, dall'informatica e dal design. HCI fornisce sia una comprensione teorica che un'esperienza pratica dei principali aspetti della percezione umana, della cognizione e dell'apprendimento in relazione alla progettazione, implementazione e valutazione delle interfacce. Gli argomenti trattati durante il corso includono la progettazione delle interfacce, la valutazione dell'usabilità e le interfacce multimodali (tocco, visione, linguaggio naturale, audio). Un particolare enfasi sarà posta nell'equipaggiare gli studenti con conoscenze di base, metodologie e strumenti necessari per progettare, implementare e valutare sistemi informatici in grado di catturare, rappresentare e analizzare automaticamente dei comportamenti nonverbali, tra cui gesti, movimenti, espressioni facciali e prosodia. Inoltre, gli studenti impareranno di progettare dei sistemi per interagire efficacemente con gli utenti fornendo feedback multisensoriali, utilizzando elementi come immagini, suoni ed altri attuatori.

Alla fine del corso, gli studenti:
- Comprenderanno la razionale dietro l’utilizzo dei sistemi interattivi multimodali e principali componenti di tali sistemi, afferreranno le linee guida per la progettazione e lo sviluppo dei sistemi interattivi multimodali e riconosceranno le potenziali aree di applicazione per il loro efficace impiego.
- Familiarizzeranno con i dispositivi chiave per la cattura dei dati sul comportamento dell'utente, ne comprenderanno il funzionamento e ne distingueranno gli scenari di utilizzo appropriati.
- Acquisiranno conoscenze sulle tecniche essenziali per rappresentare e analizzare automaticamente il comportamento dell'utente, comprese quelle che elaborano dati provenienti da dispositivi sensoriali multipli attraverso vari canali sensoriali.
- Dimostreranno competenza nella progettazione e nell'implementazione dei principali componenti di un sistema interattivo multimodale utilizzando gli strumenti di sviluppo presentati nelle lezioni e nelle sessioni pratiche durante tutto il corso.

Prerequisiti e nozioni di base

Conoscenza base di statistica e grafica al calcolatore

Programma

Teoria
Introduzione: motivazione, obiettivi del corso, prospettive professionali, questioni aperte, descrizione del programma del corso e del metodo di esame.
Fondamenti di HCI: fattori umani, interaction design, usabilità, gaming e gamification.
Interazione visual: calibrazione della camera, ricostruzione da moto e struttura.
Comportamenti non verbali nella comunicazione: tipi di comportamenti non verbali (espressioni facciali, gesti, postura, eye gaze), metodi di collezione di dati, tool e software per l’analisi di comportamenti non verbali, tool di annotazione come ELAN.
Analisi automatica del corpo: movimento, gesti, espressioni facciali, parlato. Tecniche di cattura dei dati, estrazione di feature e analisi automatica.
Social artificial intelligence: esempi, psicologia sociale, psicologia organizzativa, social robotics.
Affective computing: teoria delle emozioni, riconoscimento di emozioni in HCI.
Integrazione di segnali multimodali non verbali: tecniche di fusione come late and early fusion.

Laboratorio
Deep Image matching : implementazione Python di metodi di feature detection and matching.
Ricostruzione di modelli 3D: structure and motion con Zephyr.
Stima della posa della camera : implementazione C# del metodo di Fiore.
Grafica 3D: modellazione e rendering in Unity.
Model-based AR: implementazione di una pipeline AR complete integrando codice Python e Unity.
Aspetti avanzati: deep camera pose estimation, riconoscimento di modelli.

Bibliografia

Modalità didattiche

Lezioni frontali e sedute di laboratorio

Modalità di verifica dell'apprendimento

Esame orale
Valutazione attività di laboratorio

Criteri di valutazione

Per superare l'esame gli studenti dovranno dimostrare di:
-aver compreso i concetti dell'interazione uomo macchina multimodale e della progettazione di sistemi interattivi e intelligenti;
-essere in grado di esporre le proprie argomentazioni in modo preciso e organico;
-saper applicare le conoscenze acquisite per implementare sistemi HCI pratici;

Criteri di composizione del voto finale

50% orale 50% valutazione attività di laboratorio

Lingua dell'esame

Inglese o Italiano (English or Italian)