Alborz University Medical Journal

fa تحلیل کیفیت آزمون عینی ساختارمند بالینی در دانشگاه علوم پزشکی البرز Analyzing the Quality of Objective Structured Clinical Examination in Alborz University of Medical Sciences تخصصي Special پژوهشي Research مقدمه: یکی از روشهای ارزشیابی مبتنی بر عملکرد، آزمون های عینی ساختارمند می باشد. گذراندن این آزمون جهت فراغت از تحصیل دانشجویان پزشکی، انجام طبابت و شرکت در دوره تخصصی ضروری است. این مطالعه  به منظور  تحلیل کیفیت این آزمون ها با استفاده از شاخص های سایکومتریک طراحی شده است. روش‌ها ‌: در این مطالعه توصیفی مقطعی آزمون های سه دوره صلاحیت بالینی 31 و 32 و 33 مورد تحلیل قرار گرفتند. شاخص های میانگین (انحراف معیار)، نمره حدنصاب (به روش رگرسیون مرزی)، میزان ردی، ضریب تعیینR2 ، ریشه میانگین مربعات خطا برای تخمین میزان خطای حد نصاب همچنین ضریب دشواری و ضریب تمیز در تک تک ایستگاه ها و کل آزمون ها محاسبه شد. نتایج: 64 دانشجوی پزشکی سال آخر پزشکی  به همراه 26 نفر آزمونگر متخصص هر ایستگاه در این آزمون ها حضور داشتند. با توجه به نمره حد نصاب رگرسیون مرزی در آزمون 31 ام همه دانشجویان نمره قبولی را کسب کرده و مردود نداشتیم. RMSE کل معادل 55/0 بود و مقدار  R2در ایستگاه های مختلف از 45/0تا 85/0 بدست آمد. سخت ترین و آسانترین ایستگاهها براساس ضریب دشواری به ترتیب زنان، پزشکی اجتماعی و ارتوپدی بود. در آزمون 32ام میزان ردی یک نفر(3/4درصد) بود. RMSE کل 57/0 و مقدار R2 در ایستگاه های مختلف از 38/0تا 87/0 بدست آمد. سخت ترین و آسانترین ایستگاهها بر اساس ضریب دشواری به ترتیب ایستگاه رادیولوژی، طب اورژانس و جراحی  بود. در آزمون 33ام همه دانشجویان نمره قبولی را کسب کردند. RMSE  کل معادل 77/0 بود و مقدارR2  در ایستگاه های مختلف از 39/0 تا 95/ 0 بدست آمد. سخت ترین و آسانترین ایستگاهها بر اساس ضریب دشواری به ترتیب داخلی، غدد و جراحی بود. نتیجه‌گیری: برای ارتقای کیفیت آزمونOSCE  سنجش کیفیت آن حیاتی است. استفاده از شاخصهای سایکومتریک می تواند گامی مهم در تعیین کیفیت آزمون باشد. نتایج به دست آمده در طول سه دوره آزمون حاکی از آن است که در بیشتر ایستگاه ها کیفیت آزمون قابل قبول بوده و در چند مورد نیز نیازمند بازنگری و بهبود وضعیت هستند. Introduction: One of the evaluation methods is based on the performance of objective structured clinical examination. Passing this exam is necessary for medical students to graduate, practice medicine and participate in a specialized course. This study is designed to analyze the quality of these tests using psychometric indicators. Methods: In this cross-sectional descriptive study, the test of three periods of clinical competence, respectively, were analyzed. Average (standard deviation), the cut-off score was (by borderline regression method), rejection rate, R2 determination coefficient, root mean square error to estimate the the cut-off score, difficulty coefficient, neatness coefficient were calculated in individual stations and the whole test. Findings: 64 medical students along with 26 expert examiners from each station were present in this exam. According to the cut-off score in the 31st exam, all students got a passing grade and we did not fail. The total RMSE was equal to 0.55 and the value of R2 in different stations was obtained from 0.46 to 0.85. The hardest and easiest stations based on the difficulty coefficient were gynecology, social medicine and orthopedics respectively. In the 32nd exam, the rejection rate was one person (0.23%). The total RMSE was 0.57 and the value of R2 in different stations was obtained from 0.38 to 0.87. The most difficult and the easiest stations based on the difficulty coefficient were radilogy, emergency medicine and surgery respectively. In the 33rd exam, all students got a passing grade. Total RMSE was equal to 0.76 and R2 value was obtained in different stations from 0.39 to 0.95. The most difficult and easiest stations based on the difficulty coefficient were internal glands and surgery respectively. Conclusion: To improve the quality of the OSCE exam, measuring its quality is vital. The use of several psychometric indicators can be an important step in determining the quality of the test. The results obtained during the three test periods indicate that the quality of the test is acceptable in most of the stations and some cases need to be reviewed and improved. تحلیل آزمون, آزمون ساختارمند بالینی, صلاحیت بالینی, سایکومتریک, رگرسیون مرزی Test analysis, Objective Structured Clinical Examination, clinical competency, psychometrics, border Regression 485 495 http://aums.abzums.ac.ir/browse.php?a_code=A-10-1444-1&slc_lang=fa&sid=1 Suleiman Ahmadi سلیمان احمدی 100319475328460011351 100319475328460011351 No Department of medical education, Virtual School of Medical Education, Shahid Beheshti university of Medical sciences, Tehran, Iran. گروه آموزش پزشکی، دانشکده مجازی آموزش پزشکی ، دانشگاه علوم پزشکی شهید بهشتی، تهران، ایران. Amin Habibi امین حبیبی 100319475328460011352 100319475328460011352 No Department of medical education, smart university of Medical sciences, Tehran, Iran گروه آموزش پزشکی، دانشگاه هوشمند علوم پزشکی ، تهران، ایران. Mitra Rahimzadeh میترا رحیم زاده 100319475328460011353 100319475328460011353 No Social Determinants of Health Research Center, Biostatistics and Epidemiology Department. Public Health School, Alborz,Iran. مرکز تحقیقات عوامل اجتماعی مؤثر بر سلامت،گروه آمار زیستی و اپیدمیولوژی، دانشکده بهداشت، دانشگاه علوم پزشکی البرز، کرج، ایران. Shahla Bahrami شهلا بهرامی 100319475328460011354 100319475328460011354 Yes Masters student in medical education, Virtual School of Medical Education, Shahid Beheshti university of Medical sciences, Tehran, Iran. دانشجوی کارشناسی ارشدآموزش پزشکی، دانشکده مجازی آموزش پزشکی ، دانشگاه علوم پزشکی شهید بهشتی، تهران، ایران.