DOI: https://doi.org/10.32515/2664-262X.2025.11(42).195-203

Моделювання стохастичної матриці станів виробничої лінії для оптимізації її експлуатаційної надійності за допомогою навчання з підкріпленням

С. Г. Ковальов, В. В. Аулін, А. В. Гриньків, Ю. Г. Ковальов

Про авторів

Ковальов Сергій Григорович, кандидат педагогічних наук, викладач кафедри вищої математики та фізики, Центральноукраїнський національний технічний університет, Кропивницький, Україна, ORCID: 0009-0002-3922-8697, e-mail: kovalyovserggr@ukr.net

Аулін Віктор Васильович, професор, доктор технічних наук, професор кафедри експлуатації та ремонту машин, Центральноукраїнський національний технічний університет, м. Кропивницький, Україна, ORCID: 0000-0003-2737-120X, e-mail: aulinvv@gmail.com

Гриньків Андрій Вікторович, старший дослідник, кандидат технічних наук, старший викладач кафедри експлуатації та ремонту машин, Центральноукраїнський національний технічний університет, м. Кропивницький, Україна, ORCID: https://orcid.org/0000-0002-4478- 1940, е-mail: AVGrinkiv@gmail.com

Ковальов Юрій Григорович , кандидат технічних наук, доцент, доцент кафедри безпілотних технологій та штучного інтелекту, Українська державна льотна академія, Кропивницький, Україна, ORCID: https://orcid.org/0000-0002-1729-2033, e-mail: kovalyovserggr@ukr.net

Анотація

Основною метою розробки моделі визначення стану виробничої лінії було створення універсального інструменту, здатного аналізувати та оптимізувати будь-яку промислову виробничу лінію. Модель розроблена для ефективної оцінки робочих станів виробничого обладнання, прогнозування потенційних збоїв та рекомендацій щодо коригувальних дій для підвищення надійності та ефективності. Завдяки використанню математичних методів та методів на основі штучного інтелекту, підхід забезпечує адаптивність до різних типів виробничих систем, що робить його застосовним у різних галузях промисловості. Модель використовує ланцюги Маркова для точного представлення послідовності виробничих станів, включаючи ймовірнісний характер переходів між операційними фазами. На відміну від традиційних детерміністичних моделей, запропонований підхід враховує реальні невизначеності, властиві виробничим процесам, що дозволяє точніше прогнозувати поведінку системи. Інтеграція стохастичного аналізу розширює можливості моделювання складних робочих процесів, покращуючи прийняття рішень та оцінку ризиків у промисловому середовищі. Метод формування матриці стохастичних станів забезпечує комплексну систему оптимізації для виробничих систем, використовуючи сучасну аналітику даних на основі штучного інтелекту. Цей підхід надає виробникам інструмент для покращення часу безвідмовної роботи, скорочення простоїв та більш ефективного розподілу ресурсів. Адаптивність моделі в режимі реального часу гарантує, що промислові системи залишаються чутливими до динамічних умов, оптимізуючи продуктивність та мінімізуючи перебої. Модель успішно оцінює ймовірності переходу на основі як історичних баз даних, так і даних датчиків у реальному часі, що дозволяє їй адаптуватися до широкого спектру типів обладнання та умов експлуатації. Ця адаптивність підвищує точність прогнозування потенційних збоїв та оптимізації виробничих робочих процесів. Крім того, методи навчання з підкріпленням допомагають покращити продуктивність системи шляхом постійного вдосконалення операційних стратегій, зниження ризиків та підтримки безперебійної роботи навіть за змінних виробничих сценаріїв. Завдяки інтеграції ланцюгів Маркова та аналітики на основі даних, запропонований підхід дозволяє ранньо виявляти потенційну неефективність та систематичні збої. Він допомагає виробникам прогнозувати критичні інциденти та оптимізувати процеси прийняття рішень, що призводить до підвищення продуктивності, зниження витрат на обслуговування та підвищення надійності на виробничих лініях. Зрештою, модель сприяє розробці високостійких промислових систем, забезпечуючи стабільну роботу та ефективність за різних умов експлуатації.

Ключові слова

виробнича лінія, штучний інтелект, автоматизація виробництва, ланцюги Маркова, стохастична матриця

Повний текст:

PDF

Посилання

1. Aulin V.V. (2020). Methodological foundations of design and operation of intelligent transport systems and production systems. Kropyvnytskyi,. [in Ukrainian].

2. Neves M., Vieira V., Neto P. (2021) A study on a Q-Learning algorithm application to a manufacturing assembly problem. Journal of Manufacturing Systems.. No. 59. https://doi.org/10.1016/j.jmsy.2021.02.014.

3. Zhao, M., Lu, H., Yang, S., Guo, F. (2020) The Experience-Memory Q-Learning Algorithm for Robot Path Planning in Unknown Environment. IEEE Access No. 8. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9022975

4. Palacio J.C., Jiménez Y.M., Schietgat, L., Van Doninck B., Nowé, A. A. (2022) Q-Learning algorithm for flexible job shop scheduling in a real-world manufacturing scenario. Procedia CIRP.No. 106, P 227–232. URL: https://doi.org/10.1016/j.procir.2022.02.183.

5. Ha D. Reinforcement learning for improving agent design. (2019). Artificial life. Vol. 25, No. 4. P. 352–365. URL: https://doi.org/10.1162/artl_a_00301.

6. Han R., Chen K., Tan C. (2020). Curiosity-driven recommendation strategy for adaptive learning via deep reinforcement learning. British journal of mathematical and statistical psychology. Vol. 73, No. 3. P. 522–540. URL: https://doi.org/10.1111/bmsp.12199.

7. Sun S. et al. (2020). A Inverse reinforcement learning-based time-dependent A* planner for human-aware robot navigation with local. Advanced robotics. Vol. 34, No. 13. P. 888–901. URL: https://doi.org/10.1080/01691864.2020.1753569.

8. L.A.P., Fu M.C. (2022) Risk-Sensitive reinforcement learning via policy gradient search. Foundations and trends® in machine learning. Vol. 15, No. 5. P. 537–693. URL: https://doi.org/10.1561/2200000091.

9. He S. (2019) Reinforcement learning and adaptive optimization of a class of Markov jump systems with completely unknown dynamic information. Neural computing and applications.. Vol. 32, No. 18. P. 14311–14320. URL: https://doi.org/10.1007/s00521-019-04180-2.

10. Moore B.L. and others. (2011) Reinforcement learning. Anesthesia & analgesia. Vol. 112, No. 2. P. 360–367. URL: https://doi.org/10.1213/ane.0b013e31820334a7.

11. Yan Y. et al. (2022) Reinforcement learning for logistics and supply chain management: methodologies, state of the art, and future opportunities. Transportation research part E: logistics and transportation review. Vol. 162. P. 102712. URL: https://doi.org/10.1016/j.tre.(2022).

12. Wu Y. et al. (2021) Dynamic handoff policy for RAN slicing by exploiting deep reinforcement learning. EURASIP journal on wireless communications and networking. Vol. 2021, No. 1. URL: https://doi.org/10.1186/s13638-021-01939-x.

13. Jesus J.C. et al. (2019) Deep deterministic policy gradient for navigation of mobile robots in simulated environments. 2019 19th international conference on advanced robotics (ICAR), P. 349 – 361. URL: https://doi.org/10.1109/icar46387.2019.8981638.

14. Hu H, Yang M, Yuan Q, You M,, Shi X, Sun Y. (2024). Sensors Direct Position Determination of Non-Gaussian Sources for Multiple Nested Arrays. Discrete Fourier Transform and Taylor Compensation Algorithm. Vol. 24. #12. 3801. https://doi.org/10.3390/s24123801.

15. Aulin V.V., Kovalov S.G., Hrynkiv A.V., Varvarov V.V. (2024). Increasing the reliability and efficiency of production lines using artificial intelligence methods with monitoring of acoustic signals. Central Ukrainian Scientific Bulletin. Technical Sciences: Collection of Scientific Works. Kropyvnytskyi: TsUNTU 10(41). https://doi.org/10.32515/2664-262X.2024.10(41).2.142-151 [in Ukrainian].

16. Aulin V.V., Kovalov S.G., Hrynkiv A.V., Varvarov V.V. (2024) Algorithm for optimizing the reliability and efficiency of production equipment using artificial intelligence methods. Central Ukrainian Scientific Bulletin. Technical Sciences. Kropyvnytskyi: TsUNTU. 10(41). https://doi.org/10.32515/2664-262X.2024.10(41).1.60-67 [in Ukrainian].

17. Kovalov, S.G. (2025.) Optimization of production time using reinforcement learning as a special case of increasing the efficiency of automated production lines. Central Ukrainian Scientific Bulletin. Technical Sciences: Collection of Scientific Works. Kropyvnytskyi: TsNTU 11(42). https://doi.org/10.32515/2664-262X.2025.11(42).1.198-205.[in Ukrainian].

18. Kovalov S.G., Kovalov Y.G. (2024). Features of the implementation of artificial neural network models using hardware solutions. "Science and Technology Today". No. 6(34). https://doi.org/10.52058/2786-6025-2024-6(34) [in Ukrainian].

Пристатейна бібліографія

1. Методологічні основи проектування та функціонування інтелектуальних транспортних систем та виробничих систем / В.В. Аулін та ін,; за рад. В.В. Аулін. Кропивницький, 2020. 451с.

2. Neves M., Vieira V., Neto P. A study on a Q-Learning algorithm application to a manufacturing assembly problem. Journal of Manufacturing Systems. 2021. № 59, P. 426–440. URL: https://doi.org/10.1016/j.jmsy.2021.02.014.

3. Zhao, M., Lu, H., Yang, S., Guo, F. The Experience-Memory Q-Learning Algorithm for Robot Path Planning in Unknown Environment. IEEE Access 2020, №8, P.47824–47844. URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9022975

4. Palacio J.C., Jiménez Y.M., Schietgat, L., Van Doninck B. , Nowé, A. A. Q-Learning algorithm for flexible job shop scheduling in a real-world manufacturing scenario. Procedia CIRP. 2022, №106, P 227–232. URL: https://doi.org/10.1016/j.procir.2022.02.183

5. Ha D. Reinforcement learning for improving agent design. Artificial life. 2019. Vol. 25, No. 4. P. 352–365. URL: https://doi.org/10.1162/artl_a_00301.

6. Han R., Chen K., Tan C. Curiosity-driven recommendation strategy for adaptive learning via deep reinforcement learning. British journal of mathematical and statistical psychology. 2020. Vol. 73, No. 3. P. 522–540. URL: https://doi.org/10.1111/bmsp.12199.

7. Sun S. et al. A Inverse reinforcement learning-based time-dependent A* planner for human-aware robot navigation with local. Advanced robotics. 2020. Vol. 34, No. 13. P. 888–901. URL: https://doi.org/10.1080/01691864.2020.1753569.

8. L.A.P., Fu M.C. Risk-Sensitive reinforcement learning via policy gradient search. Foundations and trends® in machine learning. 2022. Vol. 15, No. 5. P. 537–693. URL: https://doi.org/10.1561/2200000091.

9. He S. Reinforcement learning and adaptive optimization of a class of Markov jump systems with completely unknown dynamic information. Neural computing and applications. 2019. Vol. 32, No. 18. P. 14311–14320. URL: https://doi.org/10.1007/s00521-019-04180-2.

10. Moore B. L. and others. Reinforcement learning. Anesthesia & analgesia. 2011. Vol. 112, No. 2. P. 360–367. URL: https://doi.org/10.1213/ane.0b013e31820334a7.

11. Yan Y. et al Reinforcement learning for logistics and supply chain management: methodologies, state of the art, and future opportunities . Transportation research part E: logistics and transportation review. 2022. Vol. 162. P. 102712. URL: https://doi.org/10.1016/j.tre.(2022).

12. Wu Y. et al. Dynamic handoff policy for RAN slicing by exploiting deep reinforcement learning . EURASIP journal on wireless communications and networking. 2021. Vol. 2021, No. 1. URL: https://doi.org/10.1186/s13638-021-01939-x.

13. Jesus J. C. et al. Deep deterministic policy gradient for navigation of mobile robots in simulated environments. 2019 19th international conference on advanced robotics (ICAR), December 2–6. 2019, Belo Horizonte, Brazil. P. 349 – 361. URL: https://doi.org/10.1109/icar46387.2019.8981638

14. Hu H, Yang M, Yuan Q, You M,, Shi X, Sun Y Sensors Direct Position Determination of Non-Gaussian Sources for Multiple Nested Arrays. Discrete Fourier Transform and Taylor Compensation Algorithm. 2024, Vol. 24. №12. 3801. https://doi.org/10.3390/s24123801.

15. Аулін В.В., Ковальов С.Г., Гриньків А.В., Варваров В.В. Підвищення надійності та ефективності виробничих ліній з використанням методів штучного інтелекту з моніторингом акустичних сигналів. Центральноукраїнський науковий вісник. Технічні науки: Збірник наукових праць - Кропивницький: ЦУНТУ. 2024. Вип.10(41). Ч. 2. - Стор. 142-151. URL: https://doi.org/10.32515/2664-262X.2024.10(41).2.142-151

16. Аулін В.В., Ковальов С.Г., Гриньків А.В., Варваров В.В. Алгоритм для оптимізації надійності та ефективності виробничого обладнання з використанням методів штучного інтелекту. Центральноукраїнський науковий вісник. Технічні науки. Кропивницький: ЦУНТУ, 2024. Вип. 10(41). Ч. 1. С. 60-67. URL: https://doi.org/10.32515/2664-262X.2024.10(41).1.60-67

17. Ковальов, С.Г. Оптимізація виробничого часу з використанням навчання з підкріпленням як окремий випадок підвищення ефективності автоматизованих виробничих ліній. Центральноукраїнський науковий вісник. Технічні науки: Збірник наукових праць – Кропивницький: ЦУНТУ, 2025. Вип. 11(42). Ч. 1. С. 198-205. URL: https://doi.org/10.32515/2664-262X.2025.11(42).1.198-205

18. Ковальов С.Г., Ковальов Ю.Г. Особливості реалізації моделей штучних нейронних мереж з використанням апаратних рішень. "Наука і технології сьогодні". 2024. №6(34), С. 1131. URL: DOI: https://doi.org/10.52058/2786-6025-2024-6(34)


Copyright (c) 2025 С. Г. Ковальов, В. В. Аулін, А. В. Гриньків, Ю. Г. Ковальов v