|
DOI: 10.14489/vkit.2026.11.pp.003-009
Коротких А. В., Потапов И. В.
ГЛУБОКИЕ И ПОВЕРХНОСТНЫЕ ML-МОДЕЛИ ДЛЯ ОЦЕНКИ ТРУДОЕМКОСТИ РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
(c. 3-9)
Аннотация. Представлены результаты, полученные в развитие научных работ, связанных с автоматизацией оценивания трудоемкости небольших задач разработки и корректировки программного кода по их текстовому описанию. Суть этих работ сводится к применению моделей машинной обработки естественных текстов малой длины. Проведены новые эксперименты на общеизвестном наборе данных, но полученные результаты не подтвердили выводы предыдущих исследователей. В данной работе выдвинута новая гипотеза относительно того, как формируются экспертные оценки задач по их текстовому описанию, которая проверена экспериментально. Проведено сравнение моделей глубокого и поверхностного машинного обучения в условиях новой гипотезы. Применения моделей поверхностного обучения достаточно для достижения точности прогнозирования, сопоставимой с моделями глубокого обучения. Статистически значимого отличия результатов прогнозирования двумя рассмотренными классами моделей не обнаружено.
Ключевые слова: автоматизация оценки трудоемкости; машинное обучение; обработка естественного языка.
Korotkikh A. V., Potapov I. V.
DEEP AND SHALLOW ML-MODELS FOR SOFTWARE EFFORT ESTIMATION
(pp. 3-9)
Abstract. This article deals with the topic related to automated techniques of agile software development effort estimation. These techniques based on the natural language processing models trained to operate with short texts called software issues. Using the well-known dataset, new experiments were performed but previous results did not prove out. This work represents a new hypothesis regarding to how experts estimate the effort of small software development tasks according with issues texts. This new hypothesis was checked empirically. With regard to the new hypothesis, a comparison of the deep and shallow machine learning models was performed. Sufficiency of shallow models to obtain prediction quality comparable with deep models is shown. Any statistically significance in prediction results performed by the two considered models were not found out.
Keywords: Effort estimation automation; Machine learning; Natural language processing.
А. В. Коротких, И. В. Потапов (Омский государственный технический университет, Омск, Россия) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
A. V. Korotkikh, I. V. Potapov (Omsk State Technical University, Omsk, Russia) E-mail:
Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
1. A Deep Learning Model for Estimating Story Points / M. Choetkiertikul, H. K. Dam, T. Tran et al. // IEEE Trans. Softw. Eng. 2019. Vol. 45, No 7. P. 637–656.
2. Estimating Story Points from Issue Reports / S. Porru, A. Muriga, S. Demeyer et al. // Proceedings of the 12th International Conference on Predictive Models and Data Analytics in Software Engineering. 9 September 2016. New York, NY, USA: Association for Computing Machinery, 2016. P. 1–10.
3. Fu M., Tantithamthavorn C. GPT2SP: A Trans¬former-Based Agile Story Point Estimation Approach // IEEE Trans. Software Eng. 2023. Vol. 49, No. 2. P. 611–625.
4. Tawosi V., Moussa R., Sarro F. Agile Effort Estimation: Have We Solved the Problem Yet? Insights From a Replication Study // IEEE Trans. Softw. Eng. 2023. Vol. 49, No. 4. P. 2677–2697.
5. Липаев В. В. Прогнозирование экономических характеристик производства заказных программных продуктов // Программная инженерия. 2012. № 3. С. 2–11.
6. К вопросу о метриках трудоемкости разработки мобильных приложений / И. В. Евдокимов, И. С. Байкалов, А. И. Зуденко и др. // Фундаментальные исследования. 2017. № 9. С. 54–58.
7. Подход к оценке трудоемкости задач в процессе разработки программного обеспечения на основе нейронных сетей / П. В. Дударин, В. Г. Тронин, К. В. Святов и др. // Автоматизация процессов управления. 2019. № 3(57). С. 65–72.
8. Пащенко Д. Э., Котельников Е. В. Адаптация словарного метода анализа тональности текстов на основе весов внимания нейросетевой языковой модели // Вестник компьютерных и информационных технологий. 2025. Т. 22, № 7(253). С. 55–64.
9. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. Новосибирск: Издательство института математики, 1999. 270 с.
10. Jurman G., Riccadonna S., Furlanello C. A Comparison of MCC and CEN Error Measures in Multi-Class Prediction // PLoS ONE. 2012. Vol. 7, No. 8.
11. Cohen J. A Coefficient of Agreement for Nominal Scales // Educ. Psychol. Meas. 1960. Vol. 20, No. 1. P. 37–46.
12. McNemar Q. Note on the Sampling Error of the Difference Between Correlated Proportions or Percentages // Psychometrika. 1947. Vol. 12, No. 2. P. 153–157.
13. Wilcoxon F. Individual Comparisons by Ranking Methods // Biometrics Bulletin. 1945. Vol. 1. P. 80–83.
14. Sun Y., Wong A. K. C., Kamel M. S. Classification of Imbalanced Data: A Review // Int. J. Pattern Recognit. Artif. Intell. 2009. Vol. 23, No. 4. P. 687–719.
1. Choetkiertikul, M., Dam, H. K., Tran, T., et al. (2019). A deep learning model for estimating story points. IEEE Transactions on Software Engineering, 45(7), 637–656.
2. Porru, S., Murgia, A., Demeyer, S., et al. (2016, September 9). Estimating story points from issue reports. In Proceedings of the 12th International Conference on Predictive Models and Data Analytics in Software Engineering (pp. 1–10). Association for Computing Machinery.
3. Fu, M., & Tantithamthavorn, C. (2023). GPT2SP: A transformer-based agile story point estimation approach. IEEE Transactions on Software Engineering, 49(2), 611–625.
4. Tawosi, V., Moussa, R., & Sarro, F. (2023). Agile effort estimation: Have we solved the problem yet? Insights from a replication study. IEEE Transactions on Software Engineering, 49(4), 2677–2697.
5. Lipaev, V. V. (2012). Forecasting the economic characteristics of custom software production. Programmnaya inzheneriya, (3), 2–11. [in Russian language].
6. Evdokimov, I. V., Baikalov, I. S., Zudenko, A. I., et al. (2017). On the issue of labor intensity metrics for mobile application development. Fundamental'nye issledovaniya, (9), 54–58. [in Russian language].
7. Dudarin, P. V., Tronin, V. G., Svyatov, K. V., et al. (2019). Approach to estimating task labor intensity in software development based on neural networks. Avtomatizatsiya protsessov upravleniya, (3), 65–72. [in Russian language].
8. Pashchenko, D. E., & Kotelnikov, E. V. (2025). Adaptation of the dictionary method for text sentiment analysis based on attention weights of a neural network language model. Vestnik komp'yuternykh i informatsionnykh tekhnologiy, 22(7), 55–64. [in Russian language].
9. Zagoruiko, N. G. (1999). Applied methods of data and knowledge analysis. Institute of Mathematics Publishing House. [in Russian language].
10. Jurman, G., Riccadonna, S., & Furlanello, C. (2012). A comparison of MCC and CEN error measures in multi-class prediction. PLoS ONE, 7(8).
11. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
12. McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153–157.
13. Wilcoxon, F. (1945). Individual comparisons by ranking methods. Biometrics Bulletin, 1, 80–83.
14. Sun, Y., Wong, A. K. C., & Kamel, M. S. (2009). Classification of imbalanced data: A review. International Journal of Pattern Recognition and Artificial Intelligence, 23(4), 687–719.
|
Текущий номер
Разработка концепции и создание сайта - ООО «Издательский дом «СПЕКТР»