rok začiatku štúdia: 2024

Bakalársky projekt 2027

Dáta pre vyhodnotenie multimodálnych jazykových modelov

Úlohy:

• Naučte sa Python, nainštalujte si Anaconda
• Oboznámte sa s knižnicou Hugging Face Datasets a metódami hodnotenia multimodálnych modelov. Zistite, čo sú multimodálne jazykové modely (napr. BLIP, LLaVA, FLAN-PaLM). Ako sa hodnotí kvalita multimodálnych výstupov? Napíšte krátku správu (2-3 strany) s relevantnými vedeckými článkami
• Oboznámte sa s existujúcimi multimodálnymi benchmarkmi (VQA, Visual Question Answering, Image Captioning)

Možné ciele semestrálneho projektu:

• Pripraviť nový evalučný dátový súbor pre multimodálne jazykové modely.
• Vytvoriť benchmark na porovnanie kvality výstupov rôznych multimodálnych modelov.
• Implementovať automatickú metriku na hodnotenie semantickej zhody medzi textovými a vizuálnymi reprezentáciami.