DOI: https://doi.org/10.32515/2664-262X.2022.6(37).1.44-51
Development and Use of Web Applications for Optimization the Procedure of Conducting Educational Expertise Using the Delphi Method for Management Tasks
About the Authors
Olena Prysiazhniuk, Associate Professor, PhD in Technics (Candidate of Technics Sciences), Volodymyr Vynnychenko Central Ukrainian State Pedagogical University, Kropyvnytskyi, Ukraine, e-mail: elena_drobot@ukr.net, ORCID ID: 0000-0002-7135-3124
Olena Blyzniukova, PhD in Psychological (Candidate of Psychological Sciences), Volodymyr Vynnychenko Central Ukrainian State Pedagogical University, Kropyvnytskyi, Ukraine, e-mail: bllyus@yahoo.com, ORCID ID: 0000-0001-8159-2391
Abstract
The purpose of this article is to research the possibilities of optimization of the process of organizing and conducting educational expertise in conditions of remote interaction. The main task is the development of effective and convenient information technology for conducting expert evaluation in the form of a web application. Additional challenges include elucidating key features of the application architecture that can potentially ensure their educational effectiveness.
The technology of organizing expert evaluation in management tasks is assigned. The main stages of conducting an expertise using the Delphi method are characterised and the necessary formalizations are given. A range of technical and cognitive problems that arise in the process of teching students the skills of conducting expertise and processing the obtained results in the format of remote interaction has been identified. Information technology based on conducting collective surveys and processing expert evaluations has been developed. The key requirements for the software application, which can potentially ensure their educational effectiveness, have been clarified. Prototyping the application at the conceptual level using UML-modeling tools. The expediency of developing and implementing expert evaluation support systems in the form of web applications while learning decision-making theory disciplines is substantiated.
The implementation of the information technology of expert assessment developed by the authors in the form of a web application will allow students to master the methods of conducting an expertise at a substantive and technical level. The prospect of further research is the creation of a complete software complex covering most of the formalized methods of collective decision-making and placing it in the Internet for free access.
Keywords
expert evaluation, Delphi method, web application development
Full Text:
PDF
References
1. Hnatiienko, H. M. & Snytiuk, V. Ye. (2008). Ekspertni tekhnolohii pryjniattia rishen'. [Expert decision-making technologies]. Kyiv: LCC «Maklaut» [in Ukraine].
2. Hnatiienko, H. M. & Snytiuk, V. Ye. (2010). Matematychne ta prohramne zabezpechennia zadach obrobky ekspertnoï informatsiï pry provedenni ispytiv [Mathematical and software support for expert information processing problems during exams ]. Shtuchnyi intelekt – Аrtificial intelligence, Vol.3, 638-647 [in Ukraine].
3. Tsyhanok, V.V., Kachanov, P.T., Kadenko, S.V., Andriichuk, O.V. & Homeniuk, H.A. (2012). Eksperymentalnyi analiz tekhnolohii ekspertnoho otsiniuvannia [Experimental analysis of expert evaluation technology]. Reiestratsiia, zberihannia i obrobka danykh – Data Recording, Storage & Processing, Vol. 14, 1, 91-100 [in Ukraine].
4. Kadenko, S.V. & Tsyhanok, V.V. (2019). Pidkhody do otsinky efektyvnosti ekspertnykh metodiv [Approaches to evaluating the effectiveness of expert methods ]. Reiestratsiia, zberihannia i obrobka danykh – Data Recording, Storage & Processing, Vol. 14, 1, 91-100 [in Ukraine].
5. Pankratova, N.D. & Malafieieva, L.Iu. (2012). Formalyzatsyia sohlasovanyia ekspertnykh otsenok pry realyzatsyy metoda Delfy [Formalization of coordination of expert assessments in the implementation of the Delphi method]. Kybernetyka y sistemnyi analiz – Сybernetics and systemі analysis, Vol. 48, 5, 82-94 [in Russian].
6. Kolodnyi, V.V., Zelinska, D.O. & Hirdvainis, V.A. (2021). Informatsiina tekhnolohiia kolektyvnoho pryiniattia rishen z vyborom indyvidualnykh instrumentiv otsiniuvannia alternatyv [Information technology of collective decision-making with the choice of individual alternative evalution tools]. Informatsiini tekhnolohii ta kompiuterna inzheneriia – Information technology and computer engineering, Vol 50, 1, 22-30 [in Ukraine].
7. Petiak, Yu. F. (2015). Metodyka opytuvannia ekspertiv dlia vyiavlennia faktoriv informatsiinoi bezpeky mobilnykh prystroiv [Method of an expert survey to identify the information security factors for mobile devices]. Naukovi zapysky Ukrainskoi akademii drukarstva. Seriia : Tekhnichni nauky – Scientific Papers Ukrainian Academy of Printin. Series Technical sciences, 1, 23-29 [in Ukraine].
8. Tena-Chollet, F., Tixier, Jr., Dandrieux, A. & Slangen, P. (2016). Training decision-makers: Existing strategies for natural and technological crisis management and specifications of an improved simulation-based tool. Safety Sciencer, Vol. 97, 144-153 [in English].
9. Simkute, A., Luger, E., Jones, B., Evans, M. & Jones, R. (2021). Explainability for experts: A design framework for making algorithms supporting expert decisions more explainable. Journal of Responsible Technolog, Vol. 7-8. Article 100017 [in English].
10. Prysiazhniuk, O.V. (2018). Praktykum z teorii pryiniattia rishen [Workshop on the theory of decision-making]. Kropyvnytskyi: CUSPU [in Ukraine].
Citations
- Гнатієнко Г.М., Снитюк В.Є. Експертні технології прийняття рішень: Монографія. Київ: ТОВ «Маклаут», 2008, 444 с.URI: http://dspace.nbuv.gov.ua/handle/123456789/56847 (дата звернення: 28.08.2022).
- Гнатієнко Г.М., Снитюк В.Є. Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів. Штучний інтелект. 2010. № 3. С. 638-647. URI:http://dspace.nbuv.gov.ua/handle/123456789/56847 (дата звернення: 28.08.2022).
- Циганок В.В., Качанов П.Т., Каденко С.В., Андрійчук О.В., Гоменюк Г.А. Експериментальний аналіз технології експертного оцінювання. Реєстрація, зберігання і обробка даних. 2012. Т. 14. № 1. С. 91-100. URI:http://dspace.nbuv.gov.ua/handle/123456789/50564 (дата звернення: 26.08.2022).
- Каденко С.В., Циганок В.В. Підходи до оцінки ефективності експертних методів. . Реєстрація, зберігання і обробка даних. 2019. Т. 21. № 2. С. 56-71. DOI: https://doi.org/10.35681/1560-9189.2019.21.2.180456.
- Панкратова Н.Д., Малафеева Л.Ю. Формализация согласования экспертных оценок при реализации метода Делфи. Кибернетика и системный анализ. 2012. Т. 48. № 5. С. 82-94. URI: http://www.kibernetika.org/volumes/2012/numbers/05/articles/07/7.pdf (дата звернення: 29.08.2022).
- Колодний В.В., Зелінська Д.О., Гірдвайніс В.А. Інформаційна технологія колективного прийняття рішень з вибором індивідуальних інструментів оцінювання альтернатив. Інформаційні технології та комп’ютерна інженерія. 2021. Т.50. № 1.C. 22-30.DOI: https://doi.org/10.31649/1999-9941-2021-50-1-22-30.
- Петяк Ю. Ф. Методика опитування експертів для виявлення факторів інформаційної безпеки мобільних пристроїв. Наукові записки [Української академії друкарства]. Серія : Технічні науки. 2015. № 1. С. 23-29. - URL: http://nbuv.gov.ua/UJRN/Nztexn_2015_1_5. (дата звернення 28.08.2022).
- Tena-Chollet F., TixierJr., Dandrieux A. Slangen P. Training decision-makers: Existing strategies for natural and technological crisis management and specifications of an improved simulation-basedtool. Safety Sciencer. 2016. Vol. 97. P.144-153. URL: https://hal.archives-ouvertes.fr/hal-01534398/document (Lastaccessed: 27.11.2020).
- Simkute A., Luger E., B. Jones, M. Evans, R. Jones Explainability for experts: A design framework for making algorithms supporting expert decisions more explainable. Journal of Responsible Technology. 2021. Vol. 7-8. Article 100017. DOI: https://doi.org/10.1016/j.jrt.2021.100017.
- Присяжнюк О.В. Практикум з теорії прийняття рішень: навч. посіб. Кропивницький: ЦДПУ імені Володимира Винниченка, 2018. 76 с.
Copyright (c) 2022 Olena Prysiazhniuk, Olena Blyzniukova
Development and Use of Web Applications for Optimization the Procedure of Conducting Educational Expertise Using the Delphi Method for Management Tasks
About the Authors
Olena Prysiazhniuk, Associate Professor, PhD in Technics (Candidate of Technics Sciences), Volodymyr Vynnychenko Central Ukrainian State Pedagogical University, Kropyvnytskyi, Ukraine, e-mail: elena_drobot@ukr.net, ORCID ID: 0000-0002-7135-3124
Olena Blyzniukova, PhD in Psychological (Candidate of Psychological Sciences), Volodymyr Vynnychenko Central Ukrainian State Pedagogical University, Kropyvnytskyi, Ukraine, e-mail: bllyus@yahoo.com, ORCID ID: 0000-0001-8159-2391
Abstract
Keywords
Full Text:
PDFReferences
1. Hnatiienko, H. M. & Snytiuk, V. Ye. (2008). Ekspertni tekhnolohii pryjniattia rishen'. [Expert decision-making technologies]. Kyiv: LCC «Maklaut» [in Ukraine].
2. Hnatiienko, H. M. & Snytiuk, V. Ye. (2010). Matematychne ta prohramne zabezpechennia zadach obrobky ekspertnoï informatsiï pry provedenni ispytiv [Mathematical and software support for expert information processing problems during exams ]. Shtuchnyi intelekt – Аrtificial intelligence, Vol.3, 638-647 [in Ukraine].
3. Tsyhanok, V.V., Kachanov, P.T., Kadenko, S.V., Andriichuk, O.V. & Homeniuk, H.A. (2012). Eksperymentalnyi analiz tekhnolohii ekspertnoho otsiniuvannia [Experimental analysis of expert evaluation technology]. Reiestratsiia, zberihannia i obrobka danykh – Data Recording, Storage & Processing, Vol. 14, 1, 91-100 [in Ukraine].
4. Kadenko, S.V. & Tsyhanok, V.V. (2019). Pidkhody do otsinky efektyvnosti ekspertnykh metodiv [Approaches to evaluating the effectiveness of expert methods ]. Reiestratsiia, zberihannia i obrobka danykh – Data Recording, Storage & Processing, Vol. 14, 1, 91-100 [in Ukraine].
5. Pankratova, N.D. & Malafieieva, L.Iu. (2012). Formalyzatsyia sohlasovanyia ekspertnykh otsenok pry realyzatsyy metoda Delfy [Formalization of coordination of expert assessments in the implementation of the Delphi method]. Kybernetyka y sistemnyi analiz – Сybernetics and systemі analysis, Vol. 48, 5, 82-94 [in Russian].
6. Kolodnyi, V.V., Zelinska, D.O. & Hirdvainis, V.A. (2021). Informatsiina tekhnolohiia kolektyvnoho pryiniattia rishen z vyborom indyvidualnykh instrumentiv otsiniuvannia alternatyv [Information technology of collective decision-making with the choice of individual alternative evalution tools]. Informatsiini tekhnolohii ta kompiuterna inzheneriia – Information technology and computer engineering, Vol 50, 1, 22-30 [in Ukraine].
7. Petiak, Yu. F. (2015). Metodyka opytuvannia ekspertiv dlia vyiavlennia faktoriv informatsiinoi bezpeky mobilnykh prystroiv [Method of an expert survey to identify the information security factors for mobile devices]. Naukovi zapysky Ukrainskoi akademii drukarstva. Seriia : Tekhnichni nauky – Scientific Papers Ukrainian Academy of Printin. Series Technical sciences, 1, 23-29 [in Ukraine].
8. Tena-Chollet, F., Tixier, Jr., Dandrieux, A. & Slangen, P. (2016). Training decision-makers: Existing strategies for natural and technological crisis management and specifications of an improved simulation-based tool. Safety Sciencer, Vol. 97, 144-153 [in English].
9. Simkute, A., Luger, E., Jones, B., Evans, M. & Jones, R. (2021). Explainability for experts: A design framework for making algorithms supporting expert decisions more explainable. Journal of Responsible Technolog, Vol. 7-8. Article 100017 [in English].
10. Prysiazhniuk, O.V. (2018). Praktykum z teorii pryiniattia rishen [Workshop on the theory of decision-making]. Kropyvnytskyi: CUSPU [in Ukraine].
Citations
- Гнатієнко Г.М., Снитюк В.Є. Експертні технології прийняття рішень: Монографія. Київ: ТОВ «Маклаут», 2008, 444 с.URI: http://dspace.nbuv.gov.ua/handle/123456789/56847 (дата звернення: 28.08.2022).
- Гнатієнко Г.М., Снитюк В.Є. Математичне та програмне забезпечення задач обробки експертної інформації при проведенні іспитів. Штучний інтелект. 2010. № 3. С. 638-647. URI:http://dspace.nbuv.gov.ua/handle/123456789/56847 (дата звернення: 28.08.2022).
- Циганок В.В., Качанов П.Т., Каденко С.В., Андрійчук О.В., Гоменюк Г.А. Експериментальний аналіз технології експертного оцінювання. Реєстрація, зберігання і обробка даних. 2012. Т. 14. № 1. С. 91-100. URI:http://dspace.nbuv.gov.ua/handle/123456789/50564 (дата звернення: 26.08.2022).
- Каденко С.В., Циганок В.В. Підходи до оцінки ефективності експертних методів. . Реєстрація, зберігання і обробка даних. 2019. Т. 21. № 2. С. 56-71. DOI: https://doi.org/10.35681/1560-9189.2019.21.2.180456.
- Панкратова Н.Д., Малафеева Л.Ю. Формализация согласования экспертных оценок при реализации метода Делфи. Кибернетика и системный анализ. 2012. Т. 48. № 5. С. 82-94. URI: http://www.kibernetika.org/volumes/2012/numbers/05/articles/07/7.pdf (дата звернення: 29.08.2022).
- Колодний В.В., Зелінська Д.О., Гірдвайніс В.А. Інформаційна технологія колективного прийняття рішень з вибором індивідуальних інструментів оцінювання альтернатив. Інформаційні технології та комп’ютерна інженерія. 2021. Т.50. № 1.C. 22-30.DOI: https://doi.org/10.31649/1999-9941-2021-50-1-22-30.
- Петяк Ю. Ф. Методика опитування експертів для виявлення факторів інформаційної безпеки мобільних пристроїв. Наукові записки [Української академії друкарства]. Серія : Технічні науки. 2015. № 1. С. 23-29. - URL: http://nbuv.gov.ua/UJRN/Nztexn_2015_1_5. (дата звернення 28.08.2022).
- Tena-Chollet F., TixierJr., Dandrieux A. Slangen P. Training decision-makers: Existing strategies for natural and technological crisis management and specifications of an improved simulation-basedtool. Safety Sciencer. 2016. Vol. 97. P.144-153. URL: https://hal.archives-ouvertes.fr/hal-01534398/document (Lastaccessed: 27.11.2020).
- Simkute A., Luger E., B. Jones, M. Evans, R. Jones Explainability for experts: A design framework for making algorithms supporting expert decisions more explainable. Journal of Responsible Technology. 2021. Vol. 7-8. Article 100017. DOI: https://doi.org/10.1016/j.jrt.2021.100017.
- Присяжнюк О.В. Практикум з теорії прийняття рішень: навч. посіб. Кропивницький: ЦДПУ імені Володимира Винниченка, 2018. 76 с.