Stanislav Matsunych

Bakalárska práca 2019

Generovanie a modelovanie prirodzeného jazyka pomocou rekurentných neurónových sietí

• Zdrojové texty BP
• CRZP

Návrh na zadanie

1. Vypracovať prehľad metód generovania prirodzeného jazyka pomocou rekurentných neurónových sietí
2. Vyberte si vhodnú metódu na zostavenie modelu prirodzeného jazyka a natrénujte model na vhodných dátach.
3. Vytvorte aplikáciu, ktorá bude demonštrovať generovanie prirodzeného jazyka
4. Vyhodnotte vytvorený model a navrhnite jeho zlepšenia.

Stretnutia

Revízia 14.5.:

• obhajoba v septembri

19.2.2020:

• Naštudovať perpelxitu, porozmýšľať ako to implementovať, perplexita= cross entropis
• začať pracovať na teoretickej časti (vytvárať finálnu podobu).

Bakalársky projekt 2019

Pozrieť si

• https://medium.com/@shivambansal36/language-modelling-text-generation-using-lstms-deep-learning-for-nlp-ed36b224b275
• https://towardsdatascience.com/character-level-language-model-1439f5dd87fe

Prejsť si tutoriál

• http://karpathy.github.io/2015/05/21/rnn-effectiveness/
• https://machinelearningmastery.com/develop-character-based-neural-language-model-keras/

Cielom je:

Vytvoriť jazykový model slovenského jazyka na báze rekurentných neurónových sietí

• V prvom semestri bude výstup:

• jednoduchý program na vytvorenie LM a generovanie znakov z neho

• Vypracujte rešerš na tému "Rekurentné neurónové siete na tvorbu jazykových modelov " (LSTM, GRU) cca 10 strán

Možné trénovacie texty: Zlatý fond sme

Možný framework pre web demo: Flask

Tutoriál https://realpython.com/flask-by-example-part-1-project-setup/

  502  mkdir flask
  503  ls -l
  504  cd flask/
  505  ls -l
  506  python -m virtualenv
  507  python -m virtualenv ./venv
  508  ls -l
  509  source ./venv/bin/activate
  510  ls -l
  511  pip install flask
  512  ls -l
  513  ls -l ./venv/lib/python3.8/site-packages/
  514  python
  515  pip install ipython
  516  ipython
  517  ls -l
  518  vim ./mojawebka.py
  519  history