Дистилляция знаний

WARNING: Качество звука, к сожалению, оставляет желать лучшего. Технологии удаленного выступления мы пока не отработали достаточно хорошо. Но доклад очень интересный, в связи с чем мы все равно приняли решение его выложить. Один из самых простых способов улучшить качество почти любого алгоритма машинного обучения - обучить много моделей на одних данных и усреднить предсказания. Однако, такой способ зачастую требует большого количество ресурсов, особенно если речь идет об ансабле больших нейронных сетей. Дистилляция знаний - это метод компрессии моделей, в котором нейронная сеть меньшего размера обучается мимикрировать предобученную большую модель. На семинаре мы обсудим этот подход, обсудим самые релевантные статьи на эту тему и посмотрим примеры кода. Докладчик: Кирилл Трусковский Ссылка на слайды: https://research.jetbrains.org/files/material/5c8e6d7a698e9.pdf Материалы: Cristian Bucila, Rich Caruana, and Alexandru Niculescu-Mizil. Model Compression. Geoffrey Hinton, Oriol Vinyals and Jeff Dean. Distilling the Knowledge in a Neural Network. Antonio Polino, Razvan Pascanu and Dan Alistarh. Model compression via distillation and quantization. Hokchhay Tann, Soheil Hashemi, Iris Bahar and Sherief Reda. Hardware-Software Codesign of Accurate, Multiplier-free Deep Neural Networks. Asit Mishra and Debbie Marr. Apprentice: Using Knowledge Distillation Techniques To Improve Low-Precision Network Accuracy. Anubhav Ashok, Nicholas Rhinehart, Fares Beainy and Kris M. Kitani. N2N learning: Network to Network Compression via Policy Gradient Reinforcement Learning. Lucas Theis, Iryna Korshunova, Alykhan Tejani and Ferenc Huszár. Faster gaze prediction with dense networks and Fisher pruning.