rok začiatku štúdia: 2020

Diplomová práca 2025

Ešte sa rozhodne.

Téma:

Sémantické vyhľadávanie pomocou veľkých modelov

• Tvorba datasetu prekladom, využitie existujúcich datasetov
• Dotrénovanie existujúceho modelu

Ciele:

• Zlepšiť RAG.

Stretnutie 4.4. 2024

Úlohy:

• Oboznámte sa s tým, ako funguje neurónová sieť typu Transformer. Urobte si poznámky. Poznačete si zdroje, uprednostnite vedecké články.
• Oboznámte sa ako funguje rekurentná neurónová sieť. Sústreďte sa na typ RWKV. Urobte si poznmámy.
• Vyskúšajte si túto NN. Začnite tu https://wiki.rwkv.com/basic/play.html

Zásobník úloh:

• Oboznámte sa ako funguje NN Mamba.
• Zostavte RAG systém s pomocou RWKV.
• Oboznámte sa ako funguje Sentence Transformer.
• Porovnajte embeddingy RWKV s inými metódami (Sentence Transformers)

Stretnutie 15.2.2024

Úlohy:

• Oboznámte sa s prácou K. Sopkovič a M. Stromko.