Podlodka #444 -- Архитектура LLM
Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.
Слушать выпуск
Полезные ссылки:

  • Illustrated Transformer
https://jalammar.github.io/illustrated-transformer/

  • Attention is all you need
https://arxiv.org/abs/1706.03762

  • Illustrated BERT
https://jalammar.github.io/illustrated-bert/

  • GPT-family models overview
https://towardsdatascience.com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/

  • A bit of overview of tokenization
https://huggingface.co/learn/llm-course/en/chapter6/1