Ingegneria Informatica e dell’Intelligenza Artificiale Applicata LM-32

Oltre alle dispense messe a disposizione dal docente, gli studenti potranno approfondire gli argomenti del corso sui seguenti testi:

1. Ze-Nian Li, Mark S. Drew, and Jiangchuan Liu. Fundamentals of Multimedia. Pearson Prentice Hall, Upper Saddle River, NJ, 2004.

2. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 4th ed. Pearson, 2018

Modulo 1 - Introduzione al corso e immagini digitali (1 CFU)

Lezione 1 - Introduzione al Trattamento di Dati Multimediali

Lezione 2 - Rappresentazione digitale delle immagini

Lezione 3 - Formati popolari per immagini

Lezione 4 - Scienza dei colori

Lezione 5 - Modelli di Colore nelle Immagini

Modulo 2 - Il segnale video: dall'analogico al 360° (1 CFU)

Lezione 6 - Concetti Fondamentali nel Video Analogico

Lezione 7 - Concetti Fondamentali nel Video Digitale

Lezione 8 - Video ad alta definizione

Lezione 9 - Video 3D

Lezione 10 - Video 360° e Video Quality Assessment

Modulo 3 - Audio digitale: acquisizione, qualità e codifica di base (1.2 CFU)

Lezione 11 - Digitalizzazione del suono

Lezione 12 - Rapporto segnale rumore e quantizzazione lineare e non-lineare

Lezione 13 - Audio Filtering e Audio Quality

Lezione 14 - MIDI

Lezione 15 - Quantizzazione e trasmissione dell'audio

Lezione 16 - Codifiche audio differenziali

Modulo 4 - Compressione lossless (1 CFU)

Lezione 17 - Algoritmi di Compressione Lossless

Lezione 18 - Codifica basata su dizionario

Lezione 19 - Algoritmo LZW

Lezione 20 - Codifica Aritmetica

Lezione 21 - Compressione Lossless di Immagini

Modulo 5 - Compressione con perdita: quantizzazione, trasformate e wavelet (0.8 CFU)

Lezione 22 - Algoritmi di Compressione con Perdita: Distorsione, Rateo e Quantizzazione

Lezione 23 - Codifica mediante Trasformate

Lezione 24 - Codifica delle immagini basata su trasformata wavelet

Lezione 25 - Codifica Embedded a Wavelet: Wavelet Packets, EZW e SPIHT

Modulo 6 - Standard di compressione delle immagini (1 CFU)

Lezione 26 - Lo standard JPEG

Lezione 27 - JPEG 2000 e JPEG-LS: Compressione Basata su EBCOT

Lezione 28 - Lo standard JPEG-LS: predizione, context modeling e codifica near-lossless

Lezione 29 - Compressione di immagini bi-livello: gli standard JBIG e JBIG2

Lezione 30 - JBIG2: Compressione Model-Based delle Immagini Bi-Livello

Modulo 7 - Compressione video: fondamenti e primi standard (1 CFU)

Lezione 31 - Compressione Video: Fondamenti e Ricerca del Vettore di Movimento

Lezione 32 - Il Codec Video H.261

Lezione 33 - Il Codec H.263

Lezione 34 - Il Codec MPEG-1

Lezione 35 - MPEG-2: Profili, Scalabilità

Modulo 8 - Standard video avanzati: da MPEG-4 a VVC (1 CFU)

Lezione 36 - MPEG-4: Codifica Video Basata su Oggetti

Lezione 37 - MPEG-7: Descrizione del Contenuto Multimediale

Lezione 38 - H.264/AVC: Standard di Codifica Video Avanzata

Lezione 39 - H.265/HEVC: Standard di Codifica Video ad Alta Efficienza

Lezione 40 - H.266/VVC: Versatile Video Coding

Modulo 9 - Compressione della voce e dell'audio (1 CFU)

Lezione 41 - ADPCM nella Codifica Vocale: lo Standard G.726

Lezione 42 - Vocoder: Tecniche di Codifica Vocale a Basso Bitrate

Lezione 43 - Psicoacustica: Sonorità e Mascheramento Uditivo

Lezione 44 - La Compressione Audio MPEG

Lezione 45 - Altri Codec Audio

Le lezioni di Didattica Sincrona per il primo semestre dell'anno accademico 2026/27 si svolgeranno secondo il seguente calendario

6 ottobre 14:00 - 16:00 

13 ottobre 14:00 - 16:00 

20 ottobre 14:00 - 16:00 

3 novembre 14:00 - 16:00 

10 novembre 14:00 - 16:00 

17 novembre 14:00 - 16:00 

24 novembre 14:00 - 16:00 

1 dicembre 14:00 - 16:00 

15 dicembre 14:00 - 16:00 

MODALITÀ D'ESAME
-----------------------------------
L'esame si compone di due parti:

  1. Prova teorica (obbligatoria)
  2. Progetto (opzionale)

La prova teorica si svolge secondo le modalità previste dall'ateneo per
l'A.A. 2026/2027 (prova intermedia online + prova di profitto finale in
presenza) e ha lo scopo di verificare la conoscenza degli argomenti trattati
a lezione, in particolare dei contenuti teorici introdotti dal corso. Le
regole e il programma delle due prove sono descritti nella sezione PROVA
TEORICA.

Il progetto è opzionale. Se svolto, dà diritto a un bonus fino a un massimo
di 5 punti, che si somma al punteggio conseguito nella prova teorica. Il
bonus viene calcolato secondo quanto indicato nella sezione CALCOLO DEL
BONUS. Il progetto deve essere consegnato e discusso prima della prova
intermedia (si veda la sezione CONSEGNA).


PROVA TEORICA
-----------------------------------
A partire dalla sessione di novembre 2026 la prova teorica è suddivisa, per
disposizione di Ateneo, in due prove distinte:

  1. Prova intermedia online
  2. Prova di profitto finale in presenza

Entrambe le prove consistono in domande a risposta multipla sui contenuti
delle videolezioni e delle dispense pubblicate in piattaforma. Il formato
delle prove (numero di quesiti, durata, punteggio), le date degli appelli e
le prenotazioni sono stabiliti dall'Ateneo: per questi aspetti si rimanda
alle comunicazioni ufficiali e alla segreteria. 

Le due prove riguardano parti diverse del programma, come indicato di
seguito.

ORGANIZZAZIONE DIDATTICA ESAMI 2026/2027

1. Lezioni da studiare per la PROVA INTERMEDIA ONLINE
   (lezioni 1-35, Moduli 1-7)

   Modulo 1 – Introduzione al corso e immagini digitali
    1. Introduzione al Trattamento di Dati Multimediali
    2. Rappresentazione digitale delle immagini
    3. Formati popolari per immagini
    4. Scienza dei colori
    5. Modelli di Colore nelle Immagini

   Modulo 2 – Il segnale video: dall'analogico al 360°
    6. Concetti Fondamentali nel Video Analogico
    7. Concetti Fondamentali nel Video Digitale
    8. Video ad alta definizione
    9. Video 3D
   10. Video 360° e Video Quality Assessment

   Modulo 3 – Audio digitale: acquisizione, qualità e codifica di base
   11. Digitalizzazione del suono
   12. Rapporto segnale rumore e quantizzazione lineare e non-lineare
   13. Audio Filtering e Audio Quality
   14. MIDI
   15. Quantizzazione e trasmissione dell'audio
   16. Codifiche audio differenziali

   Modulo 4 – Compressione lossless
   17. Algoritmi di Compressione Lossless
   18. Codifica basata su dizionario
   19. Algoritmo LZW
   20. Codifica Aritmetica
   21. Compressione Lossless di Immagini

   Modulo 5 – Compressione con perdita: quantizzazione, trasformate e
   wavelet
   22. Algoritmi di Compressione con Perdita: Distorsione, Rateo e
       Quantizzazione
   23. Codifica mediante Trasformate
   24. Codifica delle immagini basata su trasformata wavelet
   25. Codifica Embedded a Wavelet: Wavelet Packets, EZW e SPIHT

   Modulo 6 – Standard di compressione delle immagini
   26. Lo standard JPEG
   27. JPEG 2000 e JPEG-LS: Compressione Basata su EBCOT
   28. Lo standard JPEG-LS: predizione, context modeling e codifica
       near-lossless
   29. Compressione di immagini bi-livello: gli standard JBIG e JBIG2
   30. JBIG2: Compressione Model-Based delle Immagini Bi-Livello

   Modulo 7 – Compressione video: fondamenti e primi standard
   31. Compressione Video: Fondamenti e Ricerca del Vettore di Movimento
   32. Il Codec Video H.261
   33. Il Codec H.263
   34. Il Codec MPEG-1
   35. MPEG-2: Profili, Scalabilità

2. Lezioni da studiare per la PROVA DI PROFITTO FINALE IN PRESENZA
   (ultime 10 videolezioni del corso: lezioni 36-45, Moduli 8-9)

   Modulo 8 – Standard video avanzati: da MPEG-4 a VVC
   36. MPEG-4: Codifica Video Basata su Oggetti
   37. MPEG-7: Descrizione del Contenuto Multimediale
   38. H.264/AVC: Standard di Codifica Video Avanzata
   39. H.265/HEVC: Standard di Codifica Video ad Alta Efficienza
   40. H.266/VVC: Versatile Video Coding

   Modulo 9 – Compressione della voce e dell'audio
   41. ADPCM nella Codifica Vocale: lo Standard G.726
   42. Vocoder: Tecniche di Codifica Vocale a Basso Bitrate
   43. Psicoacustica: Sonorità e Mascheramento Uditivo
   44. La Compressione Audio MPEG
   45. Altri Codec Audio

Bonus della didattica sincrona
La frequenza delle lezioni sincrone dà diritto a un bonus: 1 punto con una
frequenza di almeno il 50% delle lezioni, 2 punti con almeno il 75%. Una
lezione è considerata frequentata se è stata seguita in diretta per almeno
il 50% della sua durata e se il test associato è stato superato con almeno
l'80% di risposte corrette; la visione della registrazione non sostituisce
la presenza. Il bonus vale solo se l'esame è superato (almeno 18/30),
concorre alla lode e resta valido per un anno accademico.

Materiale d'esame
Le prove vertono sulle dispense pubblicate in piattaforma. Quando vengono
pubblicate nuove versioni delle dispense, le domande d'esame restano
invariate per almeno 2 mesi.


DESCRIZIONE GENERALE DEL PROGETTO
-----------------------------------
Il progetto consiste nella realizzazione di un sistema di trattamento di
dati multimediali (immagini, audio, video) per la risoluzione di un caso
d'uso a scelta dello studente. In alternativa, è possibile svolgere un
approfondimento scientifico (si veda la sezione MODALITÀ DI SVOLGIMENTO).


APPROVAZIONE PREVENTIVA
-----------------------------------
Tutte le modalità di svolgimento richiedono l'approvazione preventiva del
docente. Prima di iniziare, lo studente invia una proposta via email a
luigi.asprino@uniroma5.it.

Per i progetti di implementazione, la proposta descrive sinteticamente il
caso d'uso da affrontare, i dati da utilizzare, le tecniche del corso che
si intendono applicare e le componenti del bonus che si intendono
realizzare.

Esempio: "Vorrei implementare un motore di ricerca che, data una query
testuale, recupera le immagini più pertinenti di una collezione tramite
CLIP, utilizzando un dataset da Hugging Face e valutando i risultati con
la metrica precision@k."

Per gli approfondimenti scientifici, la proposta descrive il tema e il
perimetro della rassegna.

Il docente può approvare la proposta, richiedere modifiche o suggerire
alternative più adatte agli obiettivi del corso.


MODALITÀ DI SVOLGIMENTO
-----------------------------------
1. Progetto individuale – Implementazione
   È la modalità standard. Lo studente realizza un sistema di trattamento
   di dati multimediali che affronta un caso d'uso a scelta.

2. Progetto di gruppo – Implementazione (max 2 persone)
   È possibile chiedere al docente di svolgere il progetto in coppia. Il
   carico di lavoro complessivo (caso d'uso, dati, tecniche implementate,
   complessità del sistema) deve essere concordato preventivamente con il
   docente, che valuterà se è adeguatamente maggiore rispetto a quello di
   un progetto individuale.

3. Progetto individuale – Approfondimento scientifico
   In alternativa all'implementazione, lo studente produce una rassegna
   critica della letteratura su un tema specifico del corso (ad esempio la
   rappresentazione di dati multimediali in basi di conoscenza, gli
   standard di compressione video, le codifiche audio percettive).
   Modalità, perimetro e bonus attribuibile vanno concordati con il
   docente prima di iniziare.


REQUISITI TECNICI (PROGETTI DI IMPLEMENTAZIONE)
-----------------------------------
Tecnologie
Il sistema può essere implementato con tecnologie a scelta dello studente
(linguaggio di programmazione, librerie, piattaforma). A titolo di esempio:
Python, Pillow, OpenCV, FFmpeg, librosa, PyTorch, Hugging Face
Transformers, rdflib. Non è obbligatorio utilizzarle tutte.

Elaborazione di dati multimediali
Il sistema deve elaborare effettivamente dati multimediali (immagini,
audio o video). È consentito l'uso di modelli pre-addestrati.

Collegamento con gli argomenti del corso
Il sistema deve riguardare uno o più argomenti trattati a lezione.


CALCOLO DEL BONUS (PROGETTI DI IMPLEMENTAZIONE)
-----------------------------------
Il bonus, fino a un massimo di 5 punti, si ottiene sommando i punti delle
seguenti componenti (1 punto ciascuna):

Task complesso (1 punto)
Il sistema affronta un task complesso (es. object detection,
segmentazione, OCR, riconoscimento del parlato, separazione di sorgenti
audio, object tracking, video captioning, image-text retrieval). I task
semplici di gestione dei file (es. conversione di formato, rinomina,
ridimensionamento, estrazione di metadati EXIF) non danno punti per
questa componente.

Dati reali (1 punto)
Il sistema è applicato a una collezione reale di dati multimediali (es.
da Hugging Face, Kaggle, Wikimedia Commons, Freesound) di dimensione
significativa, anziché a pochi file di esempio.

Multimodalità (1 punto)
Il sistema tratta e mette in relazione più tipi di media (es. immagini e
testo, audio e video, video e sottotitoli).

Valutazione quantitativa (1 punto)
I risultati del sistema sono valutati con almeno una metrica quantitativa
appropriata al task (es. PSNR, SSIM, accuracy, F1-score, WER,
precision@k, rapporto di compressione).

Tecniche del corso (1 punto)
Le tecniche viste a lezione (es. spazi colore, campionamento e
quantizzazione, codifiche e compressione, stima del movimento,
rappresentazione dei metadati) sono applicate in modo appropriato e
motivato rispetto al sistema.

Ogni punto viene assegnato solo se la componente corrispondente funziona
correttamente ed è spiegata in modo adeguato durante la discussione orale
(si veda la sezione CRITERI DI VALUTAZIONE).


DATI MULTIMEDIALI
-----------------------------------
Per reperire i dati su cui lavorare si possono utilizzare, ad esempio, le
seguenti sorgenti pubbliche:

- Hugging Face Datasets: https://huggingface.co/datasets
  Migliaia di dataset per computer vision, audio, NLP e altri domini.

- Kaggle: https://www.kaggle.com/datasets
  Ampio catalogo di dataset pubblici, inclusi dataset di immagini, audio
  e video.

- Wikimedia Commons: https://commons.wikimedia.org
  Immagini, audio e video con licenze libere.

- Freesound: https://freesound.org
  Collezione di suoni ed effetti audio con licenze Creative Commons.

È possibile utilizzare anche altre sorgenti o collezioni personali, nel
rispetto delle relative licenze d'uso e della normativa sulla protezione
dei dati personali.


CONSEGNA
-----------------------------------
Scadenza
Il progetto deve essere consegnato almeno 2 settimane prima della data
scelta per la prova intermedia, e discusso prima di essa.

Modalità di consegna
La consegna avviene via email a luigi.asprino@uniroma5.it, allegando:
- il PDF del report;
- il link al repository del progetto (in alternativa, un archivio
  compresso);
- la data in cui si intende sostenere la prova intermedia.

Il docente proporrà successivamente una data per la discussione orale.

Materiale da consegnare (progetti di implementazione)
- Codice sorgente del sistema, organizzato in modo chiaro e modulare
- README con le istruzioni per installare le dipendenze ed eseguire il
  software, con eventuali esempi di utilizzo
- File delle dipendenze (es. requirements.txt o environment.yml)
- Seed casuali fissati nel codice, dove applicabile
- Report (1-2 pagine, PDF) con scelte progettuali, tecniche del corso
  applicate, dati utilizzati, componenti del bonus realizzate e risultati
  ottenuti

Materiale da consegnare (approfondimento scientifico)
- Rassegna critica in PDF, con lunghezza e struttura concordate con il
  docente


DISCUSSIONE ORALE ONLINE
-----------------------------------
Lo studente sarà convocato per una breve discussione orale online.

Per i progetti di implementazione, le domande riguarderanno la comprensione
del codice consegnato, ad esempio: "Cosa fa questa istruzione?", "Cosa
succede se modifico questa istruzione in questo modo?", "Come aggiungerei
questa funzionalità?"

Per gli approfondimenti scientifici, le domande riguarderanno i lavori
analizzati e le considerazioni critiche presentate nella rassegna.


CRITERI DI VALUTAZIONE
-----------------------------------
Progetti di implementazione

1. Correttezza e funzionamento
   Il sistema deve essere eseguibile e produrre risultati coerenti con il
   caso d'uso scelto. Il codice non deve contenere errori bloccanti.

2. Qualità e pertinenza rispetto agli argomenti del corso
   Le tecniche viste a lezione devono essere usate in modo appropriato e
   motivato, non inserite artificialmente. Si valuta se lo studente ha
   compreso perché una certa tecnica è utile nel contesto del proprio
   sistema.

3. Qualità del report
   Chiarezza, completezza e capacità di sintesi. Il report deve descrivere
   scelte progettuali, tecniche applicate, dati utilizzati e risultati.

4. Qualità del codice
   Leggibilità, organizzazione modulare, presenza di commenti, chiarezza
   del README e riproducibilità dell'esecuzione.

5. Complessità del progetto
   Determina il bonus massimo ottenibile (si veda la sezione CALCOLO DEL
   BONUS).

6. Discussione orale
   Capacità di spiegare e motivare le scelte fatte, rispondere a domande
   sul codice e ragionare su possibili modifiche o estensioni del sistema.

Approfondimenti scientifici
Si valutano la pertinenza e la completezza della letteratura considerata,
la capacità di analisi critica, la chiarezza espositiva e la discussione
orale.


USO DI STRUMENTI BASATI SU LLM
-----------------------------------
L'uso di strumenti come GitHub Copilot, ChatGPT o Claude è consentito, a
condizione che avvenga in modo etico e responsabile.

- Lo studente è pienamente responsabile di tutto il materiale consegnato.
- Il codice e i testi generati automaticamente devono essere compresi,
  verificati e integrati consapevolmente.
- L'uso di LLM non deve essere un modo per aggirare l'apprendimento.
- Durante la discussione orale il docente verificherà la comprensione
  effettiva del materiale consegnato. Non saper rispondere è considerato un
  segnale di disonestà accademica.
- Nel report va dichiarato se e come sono stati utilizzati strumenti LLM.


TASK SUGGERITI (LISTA NON ESAUSTIVA)
-----------------------------------
Rappresentazione e interrogazione di dati multimediali
- Rappresentazione di dati multimediali e relativi metadati in basi di
  conoscenza a grafo
- Implementazione di funzioni per l'interrogazione di dati multimediali
  (es. similarità di immagini, video)
- Costruzione di un knowledge graph a partire da metadati di file
  multimediali (es. una collezione di foto o brani musicali)
- Motore di ricerca multimediale basato su similarità (es. "trova immagini
  simili a questa")
- Indicizzazione e interrogazione di una collezione video tramite
  trascrizione automatica

Gestione e organizzazione di file multimediali
- Deduplicazione di immagini (rimozione di duplicati o quasi-duplicati)
- Organizzazione automatica di foto in cartelle per data, luogo o soggetto
- Rinomina batch di file multimediali basata su metadati (es. data di
  scatto)
- Conversione batch di immagini tra formati (es. PNG a JPEG, HEIC a JPG)
- Ridimensionamento e compressione batch di immagini
- Estrazione di metadati EXIF da foto e salvataggio in un file strutturato
  (es. CSV)

Elaborazione di immagini
- Classificazione di immagini (es. riconoscimento di oggetti, scene, cifre)
- Object detection (rilevamento e localizzazione di oggetti)
- Segmentazione semantica o per istanze
- Riconoscimento facciale o di espressioni
- Super-resolution e denoising di immagini
- Generazione di immagini (es. con modelli generativi)
- Stima della profondità da immagine singola (monocular depth estimation)
- Rilevamento e riconoscimento di testo in immagini (OCR)
- Colorizzazione automatica di immagini in scala di grigi
- Rimozione dello sfondo da immagini (background removal)
- Rilevamento di anomalie visive in immagini industriali (es. difetti su
  superfici)
- Stima della posa umana (human pose estimation)
- Correzione automatica di luminosità, contrasto e colore di foto
- Rilevamento e ritaglio automatico di volti in una raccolta di foto
- Creazione automatica di miniature (thumbnail) per una collezione di
  immagini
- Filigrana (watermark) automatica su batch di immagini
- Confronto visivo tra due immagini (diff visivo)

Elaborazione video
- Classificazione di azioni in video (action recognition)
- Rilevamento di anomalie in sequenze video
- Object tracking (tracciamento di oggetti nel tempo)
- Video captioning (descrizione automatica di video)
- Rilevamento e riconoscimento di eventi sportivi in video
- Separazione foreground/background in sequenze video (video matting)
- Sintesi video da descrizione testuale (text-to-video, anche tramite API)
- Rilevamento di cambi di scena (scene detection)
- Estrazione automatica di fotogrammi chiave da un video
- Generazione automatica di sottotitoli per un video
- Creazione di un video riassuntivo (highlight reel) da una sequenza più
  lunga
- Rilevamento e ritaglio automatico di scene specifiche in un video

Elaborazione audio
- Riconoscimento automatico del parlato (ASR / speech-to-text)
- Classificazione di suoni o eventi acustici
- Rilevamento di parole chiave (keyword spotting)
- Identificazione del parlante (speaker identification)
- Classificazione di generi musicali
- Separazione di sorgenti audio (es. voce da musica di sottofondo)
- Sintesi vocale (text-to-speech)
- Rilevamento e classificazione di emozioni nel parlato
- Trascrizione e allineamento forzato audio-testo
- Trascrizione automatica di file audio o video (es. registrazioni di
  riunioni o lezioni)
- Rimozione del rumore di fondo da registrazioni audio
- Divisione automatica di un file audio lungo in segmenti per silenzi
- Estrazione della traccia audio da file video

Multimodale
- Recupero di immagini tramite query testuale (image-text retrieval, es.
  con CLIP)
- Generazione di didascalie per immagini (image captioning)
- Visual question answering (rispondere a domande su immagini)
- Allineamento audio-video (es. sincronizzazione labiale)

Il docente si riserva di approvare task diversi da quelli elencati, purché
coerenti con i contenuti del corso.