Podlodka #436 -- Математика в ИИ
Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, а и все это связано с дифференцированием. Мы с Денисом Степановым взялись за нелегкую задачу – разобраться, что же именно там происходит!
Слушать выпуск
Полезные ссылки:

  • Dive into Deep Learning Aston Zhang, Zachary C. Lipton, Mu Li, Alexander J. Smola (online book with code and formulas)
https://d2l.ai/ https://www.amazon.com/s/ref=dp_byline_sr_book_2?ie=UTF8&field-author=Zachary+C.+Lipton&text=Zachary+C.+Lipton&sort=relevancerank&search-alias=books

  • Micrograd by Andrej Karpathy
https://github.com/karpathy/micrograd

  • Andrej Karpathy builds GPT from scratch
https://www.youtube.com/watch?v=kCc8FmEb1nY

  • Scott Aaronson on LLM Watermarking
https://www.youtube.com/watch?v=YzuVet3YkkA


  • Probabilistic Machine Learning: An Introduction Kevin Patrick Murphy
https://probml.github.io/pml-book/book1.html

  • Probabilistic Machine Learning: Advanced Topics  Kevin Patrick Murphy
https://probml.github.io/pml-book/book2.html

  • Pattern Recognition and Machine Learning Christopher Bishop
https://www.microsoft.com/en-us/research/wp-content/uploads/2006/01/Bishop-Pattern-Recognition-and-Machine-Learning-2006.pdf


  • Deep Learning Ian Goodfellow, Yoshua Bengio, Aaron Courville
https://www.deeplearningbook.org/

  • Глубокое обучение: Погружение в мир нейронных сетей С. Николенко, А. Кадурин, Е. Архангельская
https://www.k0d.cc/storage/books/AI,%20Neural%20Networks/%D0%93%D0%BB%D1%83%D0%B1%D0%BE%D0%BA%D0%BE%D0%B5%20%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5%20(%D0%9D%D0%B8%D0%BA%D0%BE%D0%BB%D0%B5%D0%BD%D0%BA%D0%BE).pdf

  • Gonzo-обзоры ML статей Григорий Сапунов, Алексей Тихонов
https://t.me/gonzo_ML

  • Machine Learning Street Talk podcast
https://www.youtube.com/c/machinelearningstreettalk

  • Feedforward NNs, Autograd, Backprop (Datalore report, Denis Stepanov)
https://datalore.jetbrains.com/report/static/Ht_isxs4iB2.BNIqv-C3WUp/pEpNv2eMVU9tEkPsaboR9y

  • Softmax Regression, Adversarial Attacks (Datalore report, Denis Stepanov)
https://datalore.jetbrains.com/report/static/Ht_isxs4iB2.BNIqv-C3WUp/cIvd6zX1B5I3kULNiVCEyy

  • Dual Numbers, PINN (Datalore report, Denis Stepanov)
https://datalore.jetbrains.com/report/static/Ht_isxs4iB2.BNIqv-C3WUp/3oa1BNrPGpQ8uc82tCaz5d