Screening Artikel Systematic Review Bersama Tim

Screening artikel systematic review yang dikerjakan bersama tim paling dapat dipertanggungjawabkan bila setiap record disaring oleh dua reviewer secara independen, diawali pilot screening untuk menyamakan pemahaman, dan ditutup dengan rekonsiliasi serta pelaporan sesuai PRISMA 2020. Panduan ini membahas langkah-langkahnya secara praktis, mulai dari menyusun pertanyaan screening, mengukur kesepakatan dengan Cohen’s kappa, hingga menulis paragraf metode untuk tesis atau artikel jurnal Sinta dan Scopus. Di bagian akhir, Anda juga akan melihat bagaimana ruang kerja kolaboratif JurnalFlow dapat membantu tim menerapkan kriteria yang sama.

Mengapa Screening Artikel Systematic Review Sebaiknya Dikerjakan Lebih dari Satu Orang

Screening adalah proses memilah literatur hasil pencarian berdasarkan kriteria yang telah ditetapkan, sehingga hanya studi yang relevan yang masuk ke tahap analisis. Dalam systematic literature review (SLR), screening umumnya berlangsung dalam dua tahap:

1. Screening judul dan abstrak, untuk menyaring record yang jelas tidak relevan.
2. Screening full-text, untuk memeriksa kelayakan laporan lengkap terhadap seluruh kriteria.

Pertanyaannya, cukupkah satu orang? Kajian metodologis Waffenschmidt dkk. (2019) membandingkan single screening dengan double screening konvensional. Hasilnya, single screening judul dan abstrak tidak setara dengan double screening: median proporsi studi yang terlewat sekitar 5%, dengan rentang 0 hingga 58% (Waffenschmidt dkk., 2019). Karena itu, penggunaan dua reviewer independen umumnya direkomendasikan. Single screening mungkin dapat diterima pada rapid review, selama dikerjakan oleh reviewer yang berpengalaman.

Bagi mahasiswa S2/S3 yang mengerjakan SLR bersama pembimbing, atau dosen yang menjalankan penelitian hibah bersama rekan, temuan ini menjadi alasan kuat untuk merancang screening sebagai kerja tim sejak awal.

Sebelum Mulai: Samakan Kriteria dan Alat Screening

Dua reviewer hanya bisa konsisten bila mereka menilai dengan “penggaris” yang sama. Langkah pertama adalah mengubah kriteria inklusi dan eksklusi yang tertulis di protokol menjadi daftar pertanyaan screening yang operasional.

Polanin dkk. (2019) dalam pedoman praktik terbaik screening abstrak menyarankan agar pertanyaan screening (Polanin dkk., 2019):

• jelas, ringkas, dan objektif;
• hanya menanyakan satu hal per pertanyaan (single-barreled);
• memakai struktur kalimat yang seragam;
• hanya dapat dijawab dengan “ya”, “tidak”, atau “ragu”.

Contoh pertanyaan screening (ilustratif)

Misalkan tim Anda mengerjakan SLR dengan topik ilustratif berikut: pengaruh gamifikasi terhadap motivasi belajar siswa SMP. Pertanyaan screening dapat disusun seperti ini:

1. Apakah studi ini melibatkan siswa jenjang SMP atau setara?
2. Apakah studi ini menerapkan gamifikasi sebagai intervensi pembelajaran?
3. Apakah studi ini mengukur motivasi belajar sebagai variabel hasil?
4. Apakah studi ini merupakan penelitian empiris (bukan opini atau editorial)?
5. Apakah studi ini terbit pada rentang tahun yang ditetapkan protokol?

Setiap pertanyaan berdiri sendiri dan dijawab ya/tidak/ragu. Record lolos bila tidak ada jawaban “tidak” pada pertanyaan wajib.

Langkah 1: Pilot Screening untuk Kalibrasi Tim

Jangan langsung membagi ribuan record ke anggota tim. Polanin dkk. menyarankan agar seluruh anggota menyaring 20 sampai 30 abstrak yang sama terlebih dahulu, lalu mendiskusikan setiap perbedaan keputusan. Proses ini diulang sampai tim mencapai konsensus.

Dari pilot screening, biasanya akan muncul kriteria yang ternyata ambigu. Misalnya, apakah studi pada siswa madrasah tsanawiyah termasuk “SMP atau setara”? Apakah aplikasi kuis daring dengan papan peringkat sudah dihitung sebagai gamifikasi? Perbaiki redaksi pertanyaan screening, lalu catat setiap kesepakatan sebagai aturan keputusan tertulis. Dokumen ini menjadi rujukan bersama selama screening berjalan dan sangat membantu saat Anda menulis bab metode.

Langkah 2: Screening Judul dan Abstrak secara Independen

Setelah kalibrasi selesai, setiap record disaring oleh dua reviewer yang bekerja tanpa saling melihat keputusan satu sama lain. Independensi inilah yang membuat perbedaan keputusan bisa terdeteksi.

Beberapa praktik yang membantu:

• Gunakan tiga label: ya, tidak, ragu. Record berlabel “ragu” tidak langsung dibuang, tetapi diteruskan ke tahap full-text atau dibahas dalam diskusi.
• Rekonsiliasi berkala, bukan hanya di akhir. Polanin dkk. menyarankan rekonsiliasi setelah sekitar 20–30% abstrak tersaring, lalu dilanjutkan secara berkala pada interval serupa.
• Jadwalkan pertemuan rutin. Pertemuan mingguan atau dua mingguan membantu mencegah coder drift, yaitu pergeseran cara reviewer menafsirkan kriteria seiring waktu.

Langkah 3: Menyelesaikan Ketidaksepakatan

Perbedaan keputusan antar-reviewer adalah hal wajar. Yang penting adalah prosedurnya jelas dan konsisten. Salah satu opsi prosedur yang umum dipakai:

1. Kedua reviewer mendiskusikan record yang berbeda keputusan dengan merujuk aturan keputusan tertulis.
2. Bila tetap buntu, reviewer ketiga, misalnya dosen pembimbing atau ketua tim, berperan sebagai penengah.
3. Alasan keputusan akhir didokumentasikan, termasuk bila aturan keputusan perlu diperbarui.

Dokumentasi ini bukan formalitas. Penjelasan dan elaborasi (E&E) PRISMA 2020 meminta penulis melaporkan proses yang dipakai untuk menyelesaikan ketidaksepakatan (Page dkk., 2021, E&E).

Mengukur Kesepakatan: Percent Agreement vs Cohen’s Kappa

Cara paling sederhana mengukur kesepakatan adalah percent agreement, yaitu proporsi record yang diputuskan sama oleh kedua reviewer. Menurut McHugh (2012), ukuran ini mudah dihitung, tetapi tidak memperhitungkan kemungkinan kesepakatan yang terjadi karena kebetulan atau tebakan. Cohen’s kappa dikembangkan untuk mengoreksi hal tersebut (McHugh, 2012).

Rumusnya: kappa = (po − pe) / (1 − pe), dengan po adalah proporsi kesepakatan yang teramati dan pe adalah proporsi kesepakatan yang diharapkan karena kebetulan.

Contoh hitung (angka ilustratif)

Misalkan dua reviewer menyaring 100 abstrak yang sama dengan hasil berikut:

• po = (15 + 70) / 100 = 0,85, artinya percent agreement 85%.
• pe = (0,20 × 0,25) + (0,80 × 0,75) = 0,05 + 0,60 = 0,65.
• kappa = (0,85 − 0,65) / (1 − 0,65) = 0,20 / 0,35 ≈ 0,57.

Kesepakatan 85% terlihat tinggi, tetapi setelah dikoreksi faktor kebetulan, kappa hanya sekitar 0,57. Ini terjadi karena sebagian besar record memang dieksklusi oleh kedua reviewer, sehingga peluang “sepakat secara kebetulan” cukup besar.

Interpretasi menurut McHugh (2012)

Dengan tabel ini, kappa 0,57 pada contoh di atas tergolong lemah, sinyal bahwa tim perlu kembali mendiskusikan aturan keputusan sebelum melanjutkan.

Satu catatan dari Polanin dkk.: rekonsiliasi berkala memang menyulitkan perhitungan statistik reliabilitas konvensional, karena keputusan reviewer saling memengaruhi setelah diskusi. Namun, menurut mereka, manfaatnya bagi efisiensi dan reliabilitas lebih besar. Karena itu, laporkan dengan jelas pada titik mana kappa dihitung, misalnya pada data pilot atau pada batch sebelum rekonsiliasi pertama.

Langkah 4: Screening Full-Text dan Alasan Eksklusi

Pola yang sama berlaku pada tahap full-text: dua reviewer menilai setiap laporan secara independen, lalu melakukan rekonsiliasi. Bedanya, pada tahap ini Anda wajib mencatat alasan eksklusi untuk setiap laporan, misalnya “populasi bukan siswa SMP” atau “tidak mengukur motivasi belajar”.

Catatan ini akan menjadi isi kotak eksklusi pada diagram PRISMA 2020. Setelah daftar studi final terkumpul, tim dapat melanjutkan ke tahap ekstraksi data systematic literature review.

Cara Melaporkan Proses Screening Sesuai PRISMA 2020 Item 8

Item 8 (selection process) PRISMA 2020 meminta penulis menjelaskan metode yang dipakai untuk menentukan apakah sebuah studi memenuhi kriteria inklusi, termasuk berapa reviewer yang menyaring setiap record dan setiap laporan yang diambil, apakah mereka bekerja secara independen, dan bila relevan, detail alat otomasi yang digunakan (Page dkk., 2021).

Dokumen E&E menambahkan dua hal: laporkan proses penyelesaian ketidaksepakatan, dan bila memakai alat otomasi, jelaskan bagaimana alat itu diintegrasikan, misalnya apakah record dikeluarkan hanya berdasarkan penilaian mesin atau penilaian mesin dipakai untuk memeriksa ulang keputusan manusia.

Contoh paragraf metode (template)

Anda dapat menyesuaikan template berikut untuk bab metodologi tesis, disertasi, atau naskah jurnal:

Screening dilakukan dalam dua tahap, yaitu judul dan abstrak, kemudian full-text. Sebelum screening, kedua reviewer (penulis pertama dan penulis kedua) melakukan pilot screening terhadap [jumlah] abstrak yang sama untuk menyamakan penafsiran kriteria. Setiap record dan setiap laporan full-text disaring oleh dua reviewer secara independen. Ketidaksepakatan diselesaikan melalui diskusi; bila konsensus tidak tercapai, reviewer ketiga [nama/peran] memberikan keputusan akhir. Kesepakatan antar-reviewer pada tahap [pilot/judul dan abstrak] diukur dengan Cohen’s kappa (κ = [nilai]). [Sebutkan aplikasi yang digunakan dan perannya dalam proses screening.]

Screening Bersama Tim di JurnalFlow

Protokol yang dibahas di atas membutuhkan ruang kerja tempat seluruh anggota tim mengakses data yang sama. JurnalFlow menyediakan fitur Screening dan Kolaborasi Antar Tim untuk kebutuhan ini. Anda dapat berkolaborasi dengan tim riset pada proyek yang sama dengan satu sumber: bagikan proyek, lalu terapkan kriteria inklusi dan eksklusi secara konsisten bersama seluruh anggota tim.

Setiap tahap tersambung dalam satu ruang kerja, sehingga keputusan tim tetap konsisten dan proses review mudah dipertanggungjawabkan.

Perlu ditegaskan, keputusan inklusi dan eksklusi tetap berada di tangan reviewer. Protokol independen, pilot screening, rekonsiliasi, dan perhitungan kappa tetap dijalankan oleh tim sesuai panduan di atas, lalu dilaporkan di bab metode.

Kolaborator tim dan metode PRISMA sudah termasuk dalam paket Starter Rp0 (3 proyek). Bila tim Anda membutuhkan proyek tanpa batas dan sintesis AI, tersedia paket Pro Rp98.500/bulan. Jika Anda sedang membandingkan aplikasi screening, ulasan alternatif Rayyan dapat menjadi bahan pertimbangan.

Coba Gratis Sekarang dan undang rekan peneliti Anda ke proyek pertama.

Kesalahan Umum Saat Screening Bersama Tim

• Langsung membagi record tanpa pilot. Perbedaan tafsir kriteria baru ketahuan setelah ratusan abstrak tersaring.
• Reviewer saling melihat keputusan sebelum selesai. Independensi hilang dan perbedaan keputusan tidak lagi terdeteksi.
• Rekonsiliasi hanya di akhir. Coder drift sempat menumpuk dan pekerjaan ulang menjadi besar.
• Tidak mencatat alasan eksklusi full-text. Diagram PRISMA sulit diisi dan penguji atau reviewer jurnal sulit menelusuri keputusan Anda.
• Tidak melaporkan jumlah reviewer dan independensi di bab metode. Padahal informasi ini diminta secara eksplisit oleh PRISMA 2020 item 8.

Pertanyaan yang Sering Diajukan

Berapa jumlah reviewer yang dibutuhkan untuk screening artikel systematic review?

Umumnya dua reviewer independen untuk setiap record dan laporan. Waffenschmidt dkk. (2019) menunjukkan single screening judul dan abstrak tidak setara dengan double screening. Reviewer ketiga dapat disiapkan sebagai penengah.

Apakah mahasiswa S1/S2 boleh melakukan screening sendirian?

Single screening mungkin dapat diterima pada rapid review bila dikerjakan reviewer berpengalaman, tetapi risikonya adalah studi relevan terlewat. Bila memungkinkan, libatkan pembimbing atau rekan sebagai reviewer kedua, setidaknya pada sebagian record, dan laporkan prosedurnya secara jujur sesuai ketentuan program studi Anda.

Apa itu pilot screening dan berapa abstrak yang perlu diuji?

Pilot screening adalah uji coba bersama untuk menyamakan penafsiran kriteria. Polanin dkk. (2019) menyarankan seluruh anggota tim menyaring 20–30 abstrak yang sama, mendiskusikan perbedaan, dan mengulanginya sampai tercapai konsensus.

Bagaimana jika dua reviewer berbeda keputusan?

Diskusikan dengan merujuk aturan keputusan tertulis. Bila tetap buntu, libatkan reviewer ketiga sebagai penengah. Catat alasan keputusan akhir dan laporkan prosedurnya di bab metode.

Apa beda percent agreement dan Cohen’s kappa?

Percent agreement hanya menghitung proporsi keputusan yang sama. Cohen’s kappa mengoreksi kesepakatan yang mungkin terjadi karena kebetulan, sehingga nilainya tidak pernah melebihi percent agreement (McHugh, 2012). Seperti pada contoh di atas, kesepakatan 85% dapat menghasilkan kappa yang tergolong lemah.

Apa saja yang harus dilaporkan tentang proses screening menurut PRISMA 2020?

Metode penentuan kelayakan, jumlah reviewer per record dan per laporan, apakah mereka bekerja independen, proses penyelesaian ketidaksepakatan, serta detail alat otomasi bila digunakan.

Sumber

• Page MJ, dkk. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021.
• Page MJ, dkk. PRISMA 2020 explanation and elaboration. BMJ. 2021.
• Waffenschmidt S, dkk. Single screening versus conventional double screening for study selection in systematic reviews: a methodological systematic review. BMC Medical Research Methodology. 2019.
• Polanin JR, dkk. Best practice guidelines for abstract screening large-evidence systematic reviews and meta-analyses. Research Synthesis Methods. 2019.
• McHugh ML. Interrater reliability: the kappa statistic. Biochemia Medica. 2012;22(3):276–282.

Coba Gratis Sekarang — jurnalflow.com