Oleh Bilykh

Začiatok štúdia: 2018

Súvisiace stránky:

• Ongrej Megela - RoBERTa
• Lukáš Pokrývka - paralelné trénovanie
• Question Answering - interný projekt
• Matej Čarňanský (BERT)

Bakalárska práca 2021

Téma:

Automatické generovanie odpovedí na otázky v prirodzenom jazyku pomocou neurónových sietí.

Návrh na zadanie BP:

• Vypracujte teoretický prehľad metód automatického generovania odpovede na otázky v prirodzenom jazyku.
• Zvoľte vhodný existujúci systém a pripravte ho na použitie.
• Navrhnite, vykonajte a vyhodnoťte experimenty s generovaním odpovede na otázky v prirodzenom jazyku.
• Navrhnite možné zlepšenia systému pre generovanie odpovede.

Stretnutie 19.3.

Stav:

• Podarilo sa natrénovať SQUAD model pre DrQA.
• Podarilo sa spustiť skript pre vyhodnotenie.
• Webová aplikácia je funkčná.
• Písomná časť je rozporacovaná.

Bakalársky projekt 2020

Zásobník úloh:

• Nainštalovať a natrénovať systém DrQA s databázou SquAD.
• Natrénujte vlastný model.
• Vyhodnnotte natrénovaný model.
• Pripravte jednoduché demo ako webovú aplikáciu (doplňujúca úloha).

Konzultácie sa budú konakť minimálne raz za dva týždne, menej ako 6 konzultácií za semester je dôvodom pre zníženie hodnotenia alebo neudelenie zápočtu.

Stretnutie 2.2.2021

Stav:

• Nainštalovaný a funkčný systém DrQA na servri tesla - konzola aj web aplikácia.
• Použitý je existujúci model.
• Dorobená prezentácia.

Do ďalšieho stretnutia:

• Pracujte na písomnej časti - prezentujte na ďalšom stretnutí.
• Vytvorte repozitár na GITe a dajte tam návod na inštaláciu DrQA.
• Zistite ako sa robí vyhodnotenie a vyhodnotte existujúci model na databáze SQAD.
• Prejdite si https://github.com/facebookresearch/DrQA/blob/master/scripts/reader/README.md a urobte zápis vykonaných krokov.
• Vytvorte skript pre spustenie webovej aplikácie a pridajte ho na git.

E-mail 17.12.2020:

• Na IDOC nainštalovaný Pytorch 1.0, spustenie ide na GPU, ale nastala chyba OSError: [Errno 12] Cannot allocate memory.
• Vytvorený prístup na tesla, kde sa nachádza viac pamäte.

Stretnutie: 3.12.2020

Stav:

• Riešenie technického problému so spustením, pravdepodobne treba použiť staršiu verziu Pytorch 1.0. Na CPU na idoc to nejde, načíta model ale nevypíše výsledky.

Stretnutie 20.11.2020

Stav:

• Technický problém s inštaláciou: https://github.com/facebookresearch/DrQA
• Vytvorený prístup na idoc
• Práca na písomnej časti.

Úlohy do ďalšieho stretnutia:

• skúsiť nainštalovať DrQA na Linuxe.
• anotovať aspoň 100 otázok podľa: https://zp.kemt.fei.tuke.sk/topics/question/navod
• zapíšte si postup pre úspešnú inštaláciou
• Prebehnite tutoriál DrQA
• Pokračujte v písaní - urobte si poznámky z článku "Reading {Wikipedia} to Answer Open-Domain Questions" o DrQA.

Stretnutie: 13.11.2020

Stav:

• Nainštalovaná Anaconda a Jupyter notebook, nič viac.

Úlohy na ďalšie stretnutie:

• Dobehnúť zameškané.

Stretnutie: 12.10.2020

Úlohy na ďalšie stretnutie:

• Vypracujte poznámky z toho čo ste sa dozvedeli o systémoch pre generovanie odpovedí.
  • definujte úlohu
  • predstavte existujúce implementácie. Aké metódy využívajú? Uveďte aj odkazy na odborné články.
  • predstavte možné trénovacie množiny
• Z literatúry zistite, akým spôsobom sa vyhodnocuje systém pre generovanie odpovedí.
• Vyskúšajte si nainštalovať systém DrQA a vyskúšajte ho s existujúcim modelom.
  • odporúčam použiť virtuálne prostredie Python (virtualenv) alebo systém Anaconda.
• Prejdite si tutoriál https://github.com/facebookresearch/DrQA

Stav:

• Oboznámenie sa s úlohou.

Stretnutie 25.9.2020

Úlohy na ďalšie stretnutie:

• Oboznámte sa s https://git.kemt.fei.tuke.sk/KEMT/zpwiki/src/branch/master/pages/topics/question
  • čo je SQuaD
  • prečítajte si články
  • Pozrite si existujúce implementácie, jednu z nich si vyberiete.