10.14489/vkit.2025.01.pp.003-014

DOI: 10.14489/vkit.2025.01.pp.003-014

Гордеев Н. М., Сгибнев И. В., Вишняков Б. В.
ПРУНИНГ АРХИТЕКТУРЫ СВЕРТОЧНОЙ НЕЙРОННОЙ СЕТИ ДЛЯ ЗАДАЧ КЛАССИФИКАЦИИ, РЕГРЕССИИ, СЕГМЕНТАЦИИ И ДЕТЕКТИРОВАНИЯ
(c. 3-14)

Аннотация. С ростом размеров и сложности нейросетевых моделей возникает потребность в оптимизации их работы. Исследован новый алгоритм прунинга U-Pruner, направленный на эффективное сжатие нейросетевых моделей при сохранении их высокой точности. Применяя традиционные методы прунинга, специалисты часто сталкиваются с трудностями в сохранении точности или с необходимостью увеличения вычислительных ресурсов. В алгоритме U-Pruner используется последовательный прунинг блоков нейронной сети с последующим дообучением лучших экземпляров модели. При этом малозначимые параметры удаляются без потери ключевой информации, обеспечивается оптимальный баланс между степенью сжатия и точностью модели. Эксперимент показал, что U-Pruner превосходит традиционные методы прунинга на таких архитектурах, как MobileNetV2 и ResNet34. При сжатии модели на 10, 50 и 80 % этот алгоритм сохраняет высокую точность и демонстрирует наилучшие результаты среди аналогов. Благодаря своей универсальности и эффективности U-Pruner может быть применен для решения широкого спектра задач компьютерного зрения, включая классификацию, регрессию, сегментацию и детектирование. Предлагаемый подход открывает новые возможности для оптимизации нейросетевых моделей, делая их более доступными для использования в условиях ограниченных вычислительных ресурсов.

Ключевые слова: прунинг; сверточная нейронная сеть; классификация; регрессия; сегментация; детектирование.

Gordeev N. M., Sgibnev I. V., Vishniakov B. V.
PRUNING OF CONVOLUTIONAL NEURAL NETWORK ARCHITECTURE FOR CLASSIFICATION, REGRESSION, SEGMENTATION AND DETECTION TASKS
(pp. 3-14)

Abstract. With the increasing size and complexity of neural network models the optimization of their performance has become an increasingly relevant challenge. Traditional pruning methods often face difficulties in maintaining accuracy or require significant computational resources. In this paper, a new pruning algorithm, U-Pruner, is introduced, which is designed to efficiently compress neural network models while preserving their high accuracy. In U-Pruner, neural network blocks are sequentially pruned, followed by fine-tuning of the best instances of the model. This approach allows insignificant parameters to be removed without losing key information, ensuring that an optimal balance between compression ratio and model accuracy is achieved. Experimental results have shown that U-Pruner outperforms traditional pruning methods on architectures such as MobileNetV2 and ResNet34. When models are compressed by 10 %, 50 %, and 80 %, high accuracy is maintained by U-Pruner, demonstrating the best results among its peers. Notably, when ResNet34 is compressed by 80 %, a decrease in model accuracy of only 3 % is observed, which significantly surpasses the results of other methods. Due to its versatility and efficiency, U-Pruner can be applied to a wide range of computer vision tasks, including classification, regression, segmentation, and detection. New opportunities for optimizing neural network models are opened by the proposed approach, making them more accessible for use in resource-constrained environments.

Keywords: Pruning; Convolutional neural network; Classification; Regression; Segmentation; Detection.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

Н. М. Гордеев, И. В. Сгибнев, Б. В. Вишняков (Федеральное автономное учреждение «Государственный научно-исследовательский институт авиационных систем», Москва, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

Eng

N. M. Gordeev, I. V. Sgibnev, B. V. Vishniakov (State Research Institute of Aviation Systems, Moscow, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript

+ - Библиографический список (References) Click to collapse

Рус

1. Lee N., Ajanthan T., Torr P. H. S. Snip: Single-shot network pruning based on connection sensitivity //arXiv preprint arXiv:1810.02340. 2018.
2. Microsoft. Neural Network Intelligence (NNI). URL: https://nni.readthedocs.io/en/v2.6/index.html (дата обращения: 21.02.2024).
3. PyTorch: An Imperative Style, High-Performance Deep Learning Library: сайт / P. Adam, G. Sam, M. Francisco et al. URL: https://pytorch.org/ (дата обращения: 21.02.2024).
4. Kaiming He, Xiangyu Z., Shaoqing R., Jian S. Deep Residual Learning for Image Recognition // arXiv:1512.03385. 10 Dec 2015.
5. MobileNetV2: Inverted Residuals and Linear Bottlenecks / M. Sandler, A. Howard, M. Zhu et al. // arxiv.org/abs/1801.04381, 2019.
6. Jeremy Howard. Imagewang: сайт. The imagenette dataset. URL: https: //github.com/fastai/imagenette (дата обращения: 21.02.2024).
7. Griffin G., Holub A., Perona P. Caltech 256 (1.0) [Data set]. CaltechDATA: сайт. 2022. https://doi.org/10.22002/D1.20087
8. Zhou Y., Gregson J. Whenet: Real-time fine-grained estimation for wide range head pose // arXiv preprint arXiv:2005.10353. 2020.
9. Epic Games. Unreal Engine: сайт. URL: https://www.unrealengine.com/en-US (дата обращения: 21.02.2024).
10. Epic Games. MetaHuman: сайт. URL: https://www.unrealengine.com/en-US/metahuman (дата обращения: 21.02.2024).
11. Chen L.-C., Papandreou G., Schroff F., Adam H. Rethinking Atrous Convolution for Semantic Image Segmentation // arXiv:1706.05587v3 [cs.CV]. 5 Dec 2017.
12. CamVid (Cambridge-Driving Labeled Video Database): сайт. URL: http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/ (дата обращения: 21.02.2024).
13. Bochkovskiy A., Wang C. Y., Liao H. Y. M. Yolov4: Optimal speed and accuracy of object detection // arXiv preprint arXiv:2004.10934. 2020.
14. Road Sign Detection: сайт. URL: https://www.kaggle.com/datasets/andrewmvd/road-sign-detection (дата обращения: 21.02.2024).
15. ImageNet: A Large-Scale Hierarchical Image Database / J. Deng, W. Dong, R. Socher et al. // IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009). IEEE. 20–25 июня 2009. Miami, Florida. USA. P. 248–255.

Eng

1. Lee N., Ajanthan T., Torr P. H. S. Snip: Single-shot network pruning based on connection sensitivity. arXiv preprint arXiv:1810.02340. 2018.
2. Microsoft. Neural Network Intelligence. Retrieved from https://nni.readthedocs.io/en/v2.6/index.html (Accessed: 21.02.2024).
3. Adam P., Sam G., Francisco M. et al. PyTorch: An Imperative Style, High-Performance Deep Learning Library. Retrieved from https://pytorch.org/ (Accessed: 21.02.2024).
4. Kaiming He, Xiangyu Z., Shaoqing R., Jian S. (2015). Deep Residual Learning for Image Recognition. arXiv:1512.03385.
5. Sandler M., Howard A., Zhu M. et al. (2019). MobileNetV2: Inverted Residuals and Linear Bottlenecks. arxiv.org/abs/1801.04381.
6. Jeremy Howard. Imagewang. The imagenette dataset. Retrieved from https://github.com/fastai/imagenette (Accessed: 21.02.2024).
7. Griffin G., Holub A., Perona P. (2022). Caltech 256 (1.0). CaltechDATA. Retrieved from https://doi.org/10.22002/D1.20087
8. Zhou Y., Gregson J. (2020). Whenet: Real-time fine-grained estimation for wide range head pose. arXiv preprint arXiv:2005.10353.
9. Epic Games. Unreal Engine. Retrieved from https://www.unrealengine.com/en-US (Accessed: 21.02.2024).
10. Epic Games. MetaHuman. Retrieved from https://www.unrealengine.com/en-US/metahuman (Accessed: 21.02.2024).
11. Chen L.-C., Papandreou G., Schroff F., Adam H. (2017). Rethinking Atrous Convolution for Semantic Image Segmentation. arXiv:1706.05587v3 [cs.CV].
12. CamVid (Cambridge-Driving Labeled Video Database). Retrieved from http://mi.eng.cam.ac.uk/research/projects/VideoRec/CamVid/ (Accessed: 21.02.2024).
13. Bochkovskiy A., Wang C. Y., Liao H. Y. M. (2020). Yolov4: Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934.
14. Road Sign Detection. Retrieved from https://www.kaggle.com/datasets/andrewmvd/road-sign-detection (Accessed: 21.02.2024).
15. Deng J., Dong W., Socher R. et al. (2009). ImageNet: A Large-Scale Hierarchical Image Database. IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2009), 248 – 255. Miami.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

DOI: 10.14489/vkit.2025.01.pp.003-014

Скопируйте DOI статьи и перейдите по ссылке https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

В комментарии к заказу обязательно укажите DOI статьи.

Eng

This article is available in electronic format (PDF).

DOI: 10.14489/vkit.2025.01.pp.003-014

Copy the article DOI and follow the link https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

Please specify the article DOI in the order comments.