Melike TEKİNDAL, Mustafa Agah TEKİNDAL, Zeynep ÖZEL, Mert DEMİRSÖZ

Klinik çalışmalarda yapay zekâ uygulamalarının raporlanmasında CONSORT-AI protokolünün kullanımı

Amaç: Yapay zekâ 21. Yüzyılda teknolojinin gelişimi ile tıpta dahil olmak üzere birçok bilim dalında kullanılmaya başlanmıştır. Yapılan araştırma sonuçlarının uluslararası standartlara uygun nitelikte raporlanması, söz konusu araştırmaları anlama, yorumlama ve eleştirel olarak değerlendirme sürecine anlamlı katkılar sağlayacaktır. CONSORT-AI (Consolidated Standards of Reporting Trials- Artificial Intelligence [Araştırma Raporlamada Konsolide Standartlar- Yapay Zekâ]) sayısı hızla artan yapay zekâ uygulamalarına bağlı olarak tıp ve sağlık alanında kullanımı yaygınlaşan bir raporlama protokolüdür. Bu araştırmada Türkçe uyarlaması yapılan CONSORT-AI protokolünün araştırmacılar tarafından doğru bir şekilde anlaşılıp anlaşılmadığını değerlendirmek amaçlanmıştır. Gereç ve Yöntem: TR Dizin dergilerden seçilen 22 makale CONSORT-AI protokolü ile değerlendirici konumunda bulunan yazarlar tarafından değerlendirilmiş ve değerlendirme sonuçları yazarlar arası uyum analizi ile test edilmiştir. Bulgular: Elde edilen bulgular, değerlendiriciler arası uyumun istatistiksel olarak anlamlı olduğunu göstermiştir. Bununla birlikte incelenen araştırmalarda CONSORT-AI protokolündeki ilkeleri tümüyle gözeten bir makaleye de rastlanamamıştır. Öneri: Çalışmanın yapay zekâ odaklı araştırma çıktılarında izlenmesi gereken ilkelere dikkat çekerek tıp ve sağlık alanında görev yapan bilgi profesyonellerine, konuyla ilgili araştırmacılara ve araştırmaları değerlendirme konumunda bulunan editör ve hakemlere katkı sağlaması beklenmektedir.

Use of the CONSORT-AI protocol in reporting artificial intelligence applications in clinical trials

Aim: Artificial intelligence has begun to be used in many branches of science, including medicine, with the development of technology in the 21st century. However, these studies are reported outside of a certain standard and this situation causes the studies to have a complex structure. Reporting the research results in accordance with international standards will make meaningful contributions to the process of understanding, interpreting and critically evaluating the research in question. CONSORT-AI (Consolidated Standards of Reporting Trials- Artificial Intelligence) is a reporting protocol that has become widespread in medicine and health due to the rapidly increasing number of artificial intelligence applications. In this study, it was aimed to evaluate whether the CONSORT-AI protocol, which was adapted into Turkish, was correctly understood by the researchers. Materials and Methods: 22 articles selected from TR Index journals were evaluated by the authors who were in the evaluator position with the CONSORT-AI protocol, and the evaluation results were tested with interauthor agreement analysis. Results: The obtained findings showed that the agreement between raters was statistically significant. However, in the studies examined, no article was found that fully observes the principles in the CONSORT-AI protocol. Conclusion: It is expected that the study will contribute to information professionals working in the field of medicine and health, researchers related to the subject, and editors and referees who are in the position of evaluating research by drawing attention to the principles to be followed in artificial intelligence-oriented research outputs.

PDF

___

Ahuja AS, 2019. The impact of artificial intelligence in medicine on the future role of the physician. Peer J, 7, 1-19
Amisha MP, Pathania M, Rathaur VK, 2019. Overview of artificial intelligence in medicine. Journal of Family Medicine and Primary Care, 8(7), 2328–2331.
Ateş C, Öztuna D, Genç Y, 2009. Sağlık araştırmalarında sınıf içi korelasyon katsayısının kullanımı. Türkiye Klinikleri J Biostat, 1(2), 59-64.
Balak T, Günay F, Kaymaz Ö, Çevrimli MB et al., 2018. Reporting observational studies in veterinary research: Turkish adaptation of the STROBE-VET criterias. Eurasian J Vet Sci, 34(4), 257-264.
CONSORT, 2021. Welcome to the CONSORT website. http:// www.consort-statement.org/, Erişim Tarihi: 25.08.2021
Densen P, 2011. Challenges and opportunities facing medical education. Trans Americ Clin Climat Assoc, 122, 48.
EQUATOR Network, 2021. About us website. https://www. equator-network.org/about-us/, Erişim Tarihi:30.08.2021
Genç Y, Albayrak R, Ateş C, Tekindal MA et al., 2012. Tanı doğruluğu çalışmalarının kalitelerinin değerlendirilmesi: STARD kriterlerinin Türkçe uyarlaması. Ankara Üniversitesi Tıp Fakültesi Mecmuası, 65(3), 137–46.
Ibrahim H, Liu X, Rivera SC, Moher D, Chan et al., 2021. Reporting guidelines for clinical trials of artificial intelligence interventions: The SPIRIT-AI and CONSORT-AI guidelines. Trials, 22(11), 1-5.
Ioannidis JP, Evans SJ, Gøtzsche PC, O’Neill RT et al., 2004. CONSORT Group: Better reporting of harms in randomized trials: an extension of the CONSORT statement. Annals of internal medicine, 141(10), 781-788
Hopewell S, Clarke M, Moher D, Wager E et al., 2008. CONSORT Group: CONSORT for reporting randomised trials in journal and conference abstracts. The Lancet, 371(9609), 281-283.
Lee J, Koh D, Ong CN, 1989. Statistical evaluation of agreement between two methods for measuring a quantitative variable. Comp bio medi, 19(1), 61-70.
Liu X, Cruz RS, Moher D, Calvert MJ et al., 2020. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: The CONSORT-AI extension. Nat Med, 26, 1364–1374.
Masic I, Miokovic M, Muhamedagic B, 2008. Evidence based Medicine – new approaches and challenges. Acta Informatica Medica, 16(4), 219–225. DOI: 10.5455/ aim.2008.16.219-225
McGraw KO, Wong SP, 1996. Forming inferences about some intraclass correlation coefficients. Psychol Methods, 1(1), 30-46.
Medical Library Association, 2021. Health information profession website. https://www.mlanet.org/page/profession, Erişim Tarihi: 18.09.2021 Sackett DL, 2007. Commentary: Measuring the success of blinding in RCTs: don’t, must, can’t or needn’t? International journal of epidemiology, 36(3), 664-665.
Schmidt ME, Steindorf K, 2006. Statistical methods for the validation of questionnaires. Met of Inform in Medicine, 45(4), 409-413.
Schulz KF, Altman DG, Moher D, 2010. CONSORT 2010 statement: Updated guidelines for reporting parallel group randomized trials. Trials, 11(1), 1-8.
Serhatlıoğlu S, Hardalac F, 2009. Yapay zekâ teknikleri ve radyolojiye uygulanması. Fırat Tıp Dergisi, 14(1), 1-6.
Sinsky C, Colligan L, Li L, Prgomet M et al., 2016. Allocation of physician time in ambulatory practice: A time and motion study in 4 specialities. Annals of Internal Med, 165(11), 753‑60.
Tekindal MA, Ateș C, Yavuz Y, Albayrak R et al., 2015. Tanı doğruluğu çalışmalarının stard kriterlerine göre türk tıp dizini özelinde değerlendirilmesi. Ankara Üniversitesi Tıp Fakültesi Mecmuası, 68(2), 49-53.