rok začiatku štúdia: 2024

Bakalársky projekt 2027

Úprava generovania vo veľkých jazykových modeloch pomocou riadiacich vektorov

Predbežné úlohy:

• Naučte sa Python
• Zistite, ako funguje neurónová sieť typu Transformer a ako sa trénuje veľký jazykový model. Napíšte o tom krátku správu (2 alebo 3 strany) kde uvediete aj relevantné vedecké články
• Oboznámte sa s konceptom steering vectors -- ako sa vytvárajú, ako ovplyvňujú generovanie jazykových modelov
• Pozrite sa na prácu s latentnými reprezentáciami v Transformeroch (napr. attention mechanisms, intermediate layer activations)

Možné ciele semestrálneho projektu:

• Vyvinúť metódu na vytváranie riadiacich vektorov pre konkrétne vlastnosti generovania.
• Implementovať a vyhodnotiť vplyv steering vectors na kvalitu a štýl výstupov LLM.
• Nájsť spôsob ako kombinovať viaceré steering vektory pre súčasné riadenie viacerých aspektov generovania.