Codice insegnamento

4S010675

Crediti

12

Coordinatore

Alberto Castellini

Lingua di erogazione

Inglese

Settore Scientifico Disciplinare (SSD)

ING-INF/05 - SISTEMI DI ELABORAZIONE DELLE INFORMAZIONI

Corsi Singoli

Autorizzato

Moodle Seminari 0

L'insegnamento è organizzato come segue:

Obiettivi di apprendimento

Il modulo di Reinforcement Learning introduce le studentesse e gli studenti all'apprendimento per rinforzo. In particolare, il modulo si concentra sulla progettazione di algoritmi che consentono alle macchine di apprendere in base al concetto di rinforzo, cioè da feedback parziali, impliciti e con effetti estesi nel tempo, ottenuti interagendo ripetutamente con l'ambiente o gli utenti. Al termine del corso, le studentesse e gli studenti dovranno dimostrare di aver acquisito capacità di i) affrontare problemi di decisione sequenziale con tecniche di apprendimento per rinforzo, ii) identificare ed applicare gli algoritmi più efficaci ed efficienti per risolvere specifici problemi di decisione sequenziale, iii) progettare nuovi algoritmi di apprendimento per rinforzo. In particolare, le conoscenze acquisite riguardano tecniche avanzate per la risoluzione dei processi decisionali di Markov (e.g., ricerca con metodi Monte Carlo), i problemi di tipo bandit, l’apprendimento per rinforzo con e senza modello, l’apprendimento per rinforzo Bayesiano, l’apprendimento per rinforzo utilizzando reti neurali profonde, e cenni di tecniche avanzate di apprendimento (e.g., miglioramento sicuro delle policy, ambienti parzialmente osservabili, apprendimento gerarchico, per imitazione, inverso, e meta-apprendimento). Il modulo di Advanced Programming for AI mira a fornire informazioni sui linguaggi di programmazione, gli strumenti e le architetture software emerse nel campo dello sviluppo di sistemi software (SW) basati sull'intelligenza artificiale. L'obiettivo è quello di fornire alle studentesse ed agli studenti la comprensione delle caratteristiche specifiche e dei principi chiave alla base di diversi linguaggi e strumenti avanzati e per risolvere alcune classi di problemi in AI. Le studentesse e gli studenti acquisiranno competenze di programmazione in Python, saranno in grado di scrivere programmi per risolvere problemi tipici e di assemblare moduli software, gestire modelli, patterns, e operare deployment su Cloud, con particolare riferimento a interoperabilità ed explainability.

Prerequisiti e nozioni di base

Essendo un esame di primo anno, primo semestre, non vi sono prerequisiti specifici differenti da quelli richiesti per l’accesso al corso di laurea.

Programma

------------------------
UL: Reinforcement Learning
------------------------
- Introduzione al RL
- Problemi multi-armed bandit
- Processi decisionali markoviani
- RL basato sulla programmazione dinamica (e.g., value/policy iteration)
- RL basato sui metodi Monte Carlo
- RL basato sull'apprendimento Temporal-Difference (e.g., Q-learning, Sarsa)
- Pianificazione e apprendimento: RL basato su modelli della dinamica (ad esempio, pianificazione Dyna, MCTS)
- RL con soluzioni approssimate (e.g., DQN)
- Metodi basati sulla discesa del gradiente (e.g., Rafforzamento)
- RL con metodi actor-critic (e.g., A2C)
- Algoritmi avanzati (ad esempio TRPO, PPO, SAC, DDPG)
- RL in Ambienti Parzialmente Osservabili
- RL in spazi delle azioni continui
- Tecniche avanzate di apprendimento per rinforzo
--- safe policy improvement
--- apprendimento per rinforzo gerarchico
--- apprendimento basato sull'imitazione
--- apprendimento per rinforzo inverso
--- meta-apprendimento
------------------------
UL: Advanced programming for AI
------------------------
Il modulo di Programmazione Avanzata per l'Intelligenza Artificiale mira a fornire informazioni su linguaggi di programmazione, strumenti e architetture software emersi nel campo dell'intelligenza artificiale. Gli studenti miglioreranno le loro competenze di programmazione in Python, assembleranno moduli software, gestiranno modelli e pattern, e li distribuiranno su piattaforme cloud. Viene posta particolare enfasi su importanti framework come TensorFlow e PyTorch, insieme a librerie essenziali come Scikit-learn, Pandas, Matplotlib e SciPy utilizzate per la costruzione di architetture di apprendimento, la visualizzazione dei dati e l'interpretazione dei modelli.
Programma:
- Introduzione ai Framework di Apprendimento: TensorFlow, Keras, PyTorch
- Blocchi di Costruzione dell'Apprendimento: funzioni di perdita, funzioni di attivazione, ottimizzatori, problemi di vanishing gradients, batch normalization, regolarizzazione, dropout
- Modelli Personalizzati: tensori e operazioni, tensori e NumPy, conversioni di tipo, variabili, strutture dati, funzioni di perdita personalizzate, metriche personalizzate
- Caricamento e Preprocessing dei Dati: shuffling, parsing, preprocessing delle caratteristiche, concatenamento delle trasformazioni
- Metodologie Avanzate: meta-learning, transfer learning, domain adaptation, continual learning, active learning, multi-task learning, federated learning, Large Language Models (LLMs), Visual Language Models (VLMs)

Bibliografia

Modalità didattiche

Lezioni frontali, esperienze di laboratorio, esercitazioni.

Modalità di verifica dell'apprendimento

------------------------
UL: Reinforcement Learning
------------------------
Per superare l'esame gli studenti dovranno dimostrare di:
- aver compreso i principi alla base del funzionamento dell’apprendimento per rinforzo e dei metodi per la programmazione di moduli basati su intelligenza artificiale
- essere in grado di esporre concetti di apprendimento per rinforzo e programmazione di moduli basati su intelligenza artificiale in modo preciso e organico senza divagazioni,
- saper applicare le conoscenze acquisite per risolvere problemi applicativi presentati sotto forma di esercizi, domande e progetti.

L'esame è costituito da una prova scritta sugli argomenti trattati nella corso. In caso di bassa partecipazione la prova scritta sarà sostituita da un esame orale con domande equivalenti. Le domande potranno riguardare sia la parte teorica che le esercitazioni svolte in laboratorio. La prova scritta può essere seguita dallo svolgimento di un progetto.

------------------------
UL: Advanced programming for AI
------------------------
Per superare l'esame, gli studenti devono dimostrare una comprensione approfondita dei principi alla base dei metodi per la programmazione di moduli basati sull'intelligenza artificiale. Devono articolare la programmazione dei moduli di intelligenza artificiale in modo chiaro e coerente, evitando divagazioni. Inoltre, devono applicare le conoscenze acquisite per risolvere problemi applicativi presentati attraverso esercizi, domande e progetti.

L'esame include una valutazione orale e una valutazione delle loro soluzioni agli esercizi di laboratorio. L'esame orale comprende sia concetti teorici sia esercizi pratici svolti in laboratorio. Inoltre, previo accordo con il docente, gli studenti sceglieranno di intraprendere un progetto rilevante e di presentare una relazione di progetto dettagliando i loro risultati. Il progetto sarà presentato contemporaneamente all'esame orale.

Criteri di valutazione

Conoscenza teorica ed applicata delle tecniche insegnate nel corso; capacità critica di selezione delle tecniche in base al problema; capacità di utilizzo delle tecniche insegnate nel corso.

Criteri di composizione del voto finale

Il voto finale è rappresentato dalla media aritmetica dei voti delle due parti (RL/Advanced programming for AI) del corso.

Lingua dell'esame

Inglese

Sustainable Development Goals - SDGs

Questa iniziativa contribuisce al perseguimento degli Obiettivi di Sviluppo Sostenibile dell'Agenda 2030 dell'ONU.
Maggiori informazioni su www.univr.it/sostenibilita