Sering ditemukannya kesulitan dalam membandingkan outcomes atau standar lulusan antar fakultas kedokteran mendorong peneliti untuk meneliti pengaruh bias pemeriksa (examiner) pada OSCE terstandar. Adanya keprihatinan pada tingginya variabilitas OSCE (konten, checklist dan keluaran, efek terkait penguji ) yang mempunyai dampak bermakna dalam luaran kandidat, mendorong peneliti untuk meneliti faktor - faktor yang menjadi faktor biasnya.
Pada kesempatan belajar bersama dengan pendampingan dosen (Critical Appraisal) oleh mahasiswa Program Magister Ilmu Pendidikan Kedokteran dan Kesehatan FK - KMK UGM pada 6 Mei 2019 di Ruang Kuliah Gd. Radioputro Lt. 6 FK - KMK UGM, dilakukan diskusi pada salah satu jurnal yang diterbitkan oleh BMC Medical Education secara open source yang berjudul “Examiner Effect on the Objective Structured Clinical Exam- a Study at Five Medical Schools.”. Metodologi yang digunakan adalah meneliti bias pemeriksa (examiner) pada OSCE bedah terstandar untuk pemeriksaan lutut dan bahu di 5 sekolah kedokteran yang berbeda dengan alat checklist oleh 1 orang reference examiner yang memberikan skor secara independen dan pemeriksa lokal. Hasilnya dianalisis untuk reliabilitas antar penilai dan korelasi dengan tingkat pengalaman klinis dan pengaruh bias gender.
Hasil penelitian menyimpulkan bahwa secara keseluruhan terjadi bias terkait gender di sekolah kedokteran yang berbeda, terdapat kesesuaian skor yang rendah antar penguji yang berbeda yang dapat menyebabkan kesalahan dalam peringkat atau error penilaian terhadap performa mahasiswa. Variabilitas penguji ini dapat dikurangi melalui pelatihan, dimana penguji harus dibuat sadar akan potensi - potensi bias yang mungkin muncul. Keunggulan penelitian yang dilakukan adalah terdapat reference examiner sebagai kontrol dari penilaian OSCE, adapun kelemahan penelitian tersebut adalah inkonsistensi dari checklist lokal. Perbedaan detil penilaian pada tiap item penilaian membuat kesulitan untuk membandingkan hasil antara penguji lokal dengan reference examiner.
