Codice insegnamento

4S013522

Docente

Pietro Sala

Coordinatore

Pietro Sala

Crediti

3

Offerto anche nei corsi:

• Attention laboratory del corso Laurea in Informatica [L-31]
• Attention laboratory del corso Laurea magistrale in Ingegneria e scienze informatiche [LM-18/32]
• Attention laboratory del corso Laurea magistrale in Medical bioinformatics [LM-18]
• Attention laboratory del corso Laurea magistrale in Artificial Intelligence [LM-18]

Lingua di erogazione

Italiano

Settore Scientifico Disciplinare (SSD)

NN - -

Periodo

II semestre, I semestre

Studenti Erasmus

Non disponibile

Corsi Singoli

Autorizzato

Orario Lezioni Moodle Seminari 0

Obiettivi di apprendimento

Al termine del corso, gli studenti saranno in grado di implementare architetture transformer da zero utilizzando PyTorch, acquisendo una comprensione approfondita dei meccanismi di attenzione e della loro applicazione pratica. Svilupperanno competenze avanzate nella creazione di sistemi di Retrieval-Augmented Generation (RAG), imparando a integrare efficacemente recupero di informazioni e generazione di testo. Padroneggeranno tecniche sofisticate di text cleaning e preprocessing, essenziali per preparare dati testuali di alta qualità. Inoltre, applicheranno metodi di chunking e semantic analysis per l'elaborazione di documenti complessi, utilizzando vector similarity per sistemi di information retrieval efficienti. Gli studenti acquisiranno esperienza pratica nella creazione di agenti intelligenti utilizzando LangChain e implementeranno modelli di attenzione specializzati.

Prerequisiti e nozioni di base

Per seguire con successo questo corso, è necessario possedere una solida conoscenza base di programmazione Python, inclusa la comprensione di variabili, funzioni, classi e l'utilizzo di librerie esterne. Gli studenti dovrebbero essere familiari con l'ambiente Jupyter Notebooks e avere esperienza pratica con le principali librerie Python per data science come NumPy, Pandas e Matplotlib. Dal punto di vista matematico, si richiedono concetti fondamentali di algebra lineare e statistica di base. È inoltre essenziale avere conoscenze introduttive di machine learning, comprendendo la distinzione tra supervised e unsupervised learning, insieme a una comprensione elementare delle reti neurali e dei principi del deep learning. Infine, è importante possedere conoscenze di base nell'elaborazione del linguaggio naturale, inclusi processi di tokenization e preprocessing testuale.

Programma

Il corso si articola in moduli progressivi che guidano gli studenti dalla comprensione teorica all'implementazione pratica di sistemi di intelligenza artificiale avanzati. Si inizia con i fondamenti del Deep Learning utilizzando PyTorch, esplorando l'elaborazione del linguaggio naturale con Python. Il cuore del corso è dedicato all'implementazione di architetture transformer da zero, approfondendo i meccanismi di attenzione e le loro applicazioni pratiche. Gli studenti svilupperanno poi competenze nei sistemi di Retrieval-Augmented Generation (RAG), imparando tecniche sofisticate di text cleaning, preprocessing e chunking per documenti complessi. Il programma include moduli specializzati su semantic analysis, information retrieval tramite vector similarity e la creazione di agenti intelligenti con LangChain.

Bibliografia

Modalità didattiche

Il corso adotta un approccio basato principalmente su lezioni frontali integrate con sessioni di laboratorio utilizzando Jupyter Notebooks. Ogni modulo combina spiegazioni teoriche con implementazioni pratiche immediate, permettendo agli studenti di sperimentare direttamente con il codice e visualizzare i risultati in tempo reale. Le risorse didattiche includono materiali supplementari, codice di esempio e accesso a librerie e framework nel campo dell'intelligenza artificiale.

Modalità di verifica dell'apprendimento

La verifica dell'apprendimento si basa su un progetto pratico e un colloquio orale. Gli studenti dovranno scegliere uno dei progetti proposti dal docente oppure concordare un progetto personalizzato con il docente stesso. Il progetto deve dimostrare l'applicazione pratica delle competenze acquisite durante il corso, includendo l'implementazione di almeno uno dei sistemi studiati (transformer, RAG, agenti LangChain, etc.). Durante il colloquio orale, gli studenti presenteranno il loro progetto e risponderanno a domande specifiche sull'implementazione, sulle scelte tecniche adottate e sui concetti teorici sottostanti. L'esame mira a valutare sia la capacità di implementazione pratica che la comprensione teorica degli argomenti trattati nel corso.

Criteri di valutazione

La valutazione si basa su due componenti principali che contribuiscono in egual misura al voto finale. Il primo criterio riguarda l'accuratezza nello svolgimento del progetto, valutando la correttezza dell'implementazione, la qualità del codice, l'aderenza alle specifiche richieste e l'originalità delle soluzioni adottate. Il secondo criterio si concentra sulla capacità di rispondere all'orale, esaminando la comprensione teorica degli argomenti, la capacità di spiegare le scelte implementative, la padronanza del linguaggio tecnico e l'abilità di collegare teoria e pratica. Viene inoltre valutata la capacità di analisi critica dei risultati ottenuti.

Criteri di composizione del voto finale

Il voto finale è composto al 50% dall'accuratezza nello svolgimento del progetto e al 50% dalla capacità di rispondere all'orale su quanto implementato nel progetto. La valutazione del progetto considera la correttezza tecnica, l'eleganza delle soluzioni, la completezza dell'implementazione. La valutazione orale si basa sulla chiarezza espositiva, sulla profondità della comprensione teorica, sulla capacità di giustificare le scelte progettuali.

Lingua dell'esame

Italiano Inglese