Иногда требуется получить данные, характерные для имеющейся нейронной сети. Такие данные нужны, например, при квантовании модели – т.е подборе новых целочисленных весов среди ограниченного количества дискретных значений. Для квантования полезно иметь исходную обучающую выборку, чтобы дообучить модель или хотя бы оценить характерный масштаб активаций в слоях. Однако доступа к обучающей выборке может и не быть. Тогда требуется по самой нейронной сети получить данные того же домена.
В докладе обсудим современные подходы к Data-Free Quantization: разберемся, как дистиллировать обучающие сэмплы из batch-norm статистик, как построить генератор данных, подойдут ли open-source данные из другого домена и можно ли вообще обойтись без данных при квантовании.
Доклад рассчитан на data-science специалистов, знакомых с нейросетями, но не знакомых с их квантованием, интересующихся узнать новое для себя направление.
Страница на PyCon 2023 и DataStart 2023
