Quality Assessment Systematic Literature Review: Panduan

Quality assessment systematic literature review adalah tahap menilai seberapa layak dipercaya setiap studi yang sudah lolos screening, sebelum hasilnya Anda sintesis. Panduan ini membahas perbedaan quality assessment, critical appraisal, dan risiko bias, alat yang sesuai untuk tiap desain studi, jalur untuk SLR non-kesehatan, langkah kerja, template tabel siap salin, serta cara melaporkannya sesuai PRISMA 2020.

Apa Itu Quality Assessment Systematic Literature Review?

Quality assessment adalah penilaian terhadap desain, pelaksanaan, dan analisis setiap studi yang disertakan dalam review, untuk menentukan sejauh mana temuannya dapat dipercaya. Dalam praktik, tahap ini sering disebut juga penilaian kualitas studi.

Posisinya dalam alur SLR berada setelah screening teks lengkap berdasarkan kriteria inklusi dan eksklusi, berjalan paralel atau setelah ekstraksi data SLR, dan sebelum sintesis.

Mengapa penting? Studi yang lolos screening belum tentu kuat secara metodologis. Jika studi dengan kelemahan serius diperlakukan setara dengan studi yang dirancang baik, kesimpulan review Anda bisa ikut bias. Karena itu, penguji skripsi atau tesis dan reviewer jurnal Sinta maupun Scopus lazim menanyakan: alat apa yang dipakai, siapa yang menilai, dan bagaimana hasilnya digunakan.

Quality Assessment, Critical Appraisal, dan Risiko Bias: Apa Bedanya?

Ketiga istilah ini sering dipertukarkan, padahal maknanya berbeda. Delavari dkk. dalam editorial What Quality Assessment Tool Should I Use? (Iranian Journal of Medical Sciences, 2023) membedakannya sebagai berikut:

• Kualitas pelaporan (reporting): seberapa lengkap studi melaporkan metode dan hasilnya, biasanya dinilai dengan pedoman pelaporan dari jaringan EQUATOR. Delavari dkk. menegaskan bahwa pelaporan yang baik tidak menjamin validitas temuan.
• Risiko bias: penilaian formal terhadap kemungkinan deviasi sistematis dalam hasil studi, dengan kategori yang bergantung pada alatnya (misalnya rendah, tidak jelas, atau tinggi; RoB 2 memakai low risk, some concerns, dan high risk). Pendekatan ini lebih disukai untuk meta-analisis.
• Critical appraisal: penilaian kualitas metodologis tanpa menimbang seberapa besar kelemahan tersebut memengaruhi hasil. Pendekatan ini menjadi alternatif bila alat risiko bias untuk desain studi tertentu tidak tersedia.

Cochrane Handbook bab 8 juga memaknai “risk of bias” sebagai risiko bias yang material, yaitu kelemahan yang cukup berarti untuk memengaruhi hasil, bukan sekadar kekurangan pelaporan.

Satu hal lagi yang perlu dibedakan: penilaian di atas berlaku untuk studi tunggal. Penilaian kepastian bukti seperti GRADE berlaku untuk kumpulan studi per outcome, dan dibahas di bagian akhir.

Apa Kata PRISMA 2020 tentang Penilaian Risiko Bias

Jika SLR Anda mengikuti metode PRISMA, ada dua item yang wajib dipenuhi menurut pernyataan PRISMA 2020 (Page dkk., BMJ 2021;372:n71):

• Item 11 (Metode): jelaskan metode penilaian risiko bias pada studi yang disertakan, termasuk alat yang digunakan, berapa reviewer yang menilai tiap studi dan apakah mereka bekerja independen, serta detail alat otomasi bila dipakai.
• Item 18 (Hasil): sajikan penilaian risiko bias untuk setiap studi yang disertakan.

Item terkait lainnya: item 14 dan 21 (bias pelaporan akibat hasil yang hilang), item 15 dan 22 (kepastian bukti), serta item 20a yang meminta Anda meringkas karakteristik dan risiko bias studi yang berkontribusi pada setiap sintesis. Jumlah studi yang dinilai harus konsisten dengan angka “studies included” pada diagram PRISMA 2020 Anda.

Memilih Alat Penilaian Kualitas Sesuai Desain Studi

Prinsip utamanya, menurut panduan UNC Health Sciences Library: pilih alat yang dikembangkan dan divalidasi untuk desain studi yang Anda nilai, lalu tetapkan pilihan itu di protokol.

Beberapa catatan penting:

• RoB 2 menilai lima domain: proses randomisasi, penyimpangan dari intervensi yang dimaksud, data outcome yang hilang, pengukuran outcome, dan pemilihan hasil yang dilaporkan. Penilaian keseluruhannya: low risk of bias, some concerns, atau high risk of bias. Versi saat ini (Agustus 2019) untuk uji acak individual paralel; tersedia juga versi cluster-randomized dan crossover.
• ROBINS-I dipakai untuk studi non-acak tentang efek intervensi. ROBINS-I V2 dirilis sebagai draf pada November 2025 dengan enam domain: confounding, klasifikasi intervensi, seleksi ke dalam studi, data yang hilang, pengukuran outcome, dan pemilihan hasil yang dilaporkan. Karena masih draf, periksa status terbarunya sebelum menetapkan di protokol.
• Newcastle-Ottawa Scale menilai studi kohort dan kasus-kontrol dari tiga perspektif: seleksi kelompok, komparabilitas kelompok, serta penetapan paparan (kasus-kontrol) atau outcome (kohort), dengan sistem bintang.
• CASP dan JBI menyediakan checklist critical appraisal per desain studi yang dapat diunduh.
• MMAT dirancang untuk menilai dan/atau mendeskripsikan studi kualitatif, kuantitatif, dan mixed methods dalam satu review. Ikuti aturan pemakaian di panduan resminya.
• STROBE kadang tercantum di daftar alat, tetapi sebenarnya pedoman pelaporan studi observasional, bukan alat penilaian risiko bias.

Untuk AMSTAR 2 sebagai alat menilai systematic review, lihat ringkasannya di artikel standar mutu systematic literature review.

Quality Assessment untuk SLR Non-Kesehatan (Informatika, Manajemen, Pendidikan)

Di bidang informatika, sistem informasi, manajemen, atau pendidikan, banyak SLR mengikuti pedoman Kitchenham dan menyusun daftar pertanyaan quality assessment sendiri (QA1, QA2, dan seterusnya). Romi Satria Wahono dalam pengantar SLR-nya mengutip contoh parameter dari Kitchenham dkk. (2007), antara lain ketepatan analisis data, analisis residual dan sensitivitas, akurasi statistik dari data mentah, kualitas komparasi metode, dan ukuran dataset.

Contoh daftar pertanyaan untuk tesis informatika tentang deteksi berita hoaks dengan machine learning:

• QA1: Apakah tujuan penelitian dinyatakan dengan jelas?
• QA2: Apakah dataset dijelaskan, termasuk ukurannya?
• QA3: Apakah metode analisis data tepat untuk tujuan penelitian?
• QA4: Apakah metode yang diusulkan dibandingkan dengan metode lain secara memadai?
• QA5: Apakah keterbatasan penelitian dibahas?

Skema skor yang sering dipakai, misalnya Ya = 1, Sebagian = 0,5, Tidak = 0, adalah contoh ilustratif yang ditetapkan peneliti di protokol, bukan standar baku. Jika Anda memakai ambang batas, misalnya hanya menyertakan studi dengan skor tertentu, ambang itu wajib dijustifikasi.

Susun pertanyaan berdasarkan pertanyaan penelitian Anda (kerangka PICO membantu di sini), lalu uji coba pada beberapa studi sebelum dipakai untuk semua studi.

Langkah-Langkah Melakukan Quality Assessment

Langkah berikut merangkum praktik umum, termasuk lima tips dari blog Covidence:

1. Tetapkan alat dan aturan keputusan di protokol sebelum review dimulai, lalu ikuti rencana tersebut.
2. Uji coba (pilot) formulir pada beberapa studi agar semua reviewer menafsirkan setiap domain atau pertanyaan dengan cara yang sama.
3. Dua reviewer menilai secara independen. Di JurnalFlow, fitur Kolaborasi Antar Tim membantu dua reviewer bekerja di satu ruang kerja proyek yang sama, sehingga keputusan tim tetap konsisten dan mudah dipertanggungjawabkan.
4. Selesaikan perbedaan lewat diskusi hingga konsensus, atau libatkan reviewer ketiga.
5. Hubungi penulis studi bila penilaian sulit dilakukan karena pelaporan tidak jelas.
6. Dokumentasikan alasan setiap penilaian, termasuk kutipan bagian atau halaman studi yang menjadi dasar.
7. Tentukan cara memakai hasil: mengeksklusi studi berkualitas rendah (harus sudah disebut di protokol), melakukan analisis sensitivitas dengan dan tanpa studi tersebut, atau menimbangnya dalam narasi sintesis.

Template Tabel Quality Assessment (Siap Disalin)

Salin struktur berikut ke spreadsheet. Ketiga studi di bawah adalah studi fiktif dan skornya hanya ilustrasi memakai skema Ya/Sebagian/Tidak dari bagian sebelumnya.

Untuk SLR kesehatan dengan RoB 2 atau ROBINS-I, ganti kolom QA dengan domain alat tersebut dan isi dengan kategori penilaiannya (misalnya low risk / some concerns / high risk untuk RoB 2), bukan angka.

Untuk visualisasi, banyak review menyajikan plot “traffic light” per studi dan grafik ringkasan per domain. Robvis sering dipakai untuk itu, tetapi situs riskofbias.info menyatakan tidak lagi mendukung robvis, jadi periksa kecocokannya sebelum dipakai.

Dari Kualitas Studi ke Kepastian Bukti: Sekilas GRADE

GRADE menilai kepastian bukti untuk setiap outcome dengan kategori tinggi, sedang, rendah, atau sangat rendah. Faktor yang dapat menurunkan kepastian adalah risiko bias, inkonsistensi, ketidaklangsungan (indirectness), imprecision, dan bias publikasi. Faktor yang dapat menaikkannya adalah efek yang besar, gradien dosis-respons, dan bias perancu residual yang masuk akal. Hasil quality assessment Anda menjadi masukan untuk domain risiko bias dalam GRADE.

Pembahasan GRADE dan AMSTAR 2 yang lebih lengkap tersedia di artikel standar mutu systematic literature review.

Kesalahan Umum saat Menilai Kualitas Studi

• Memakai satu alat untuk semua desain studi. Checklist RCT tidak tepat untuk studi kualitatif.
• Menjumlahkan skor menjadi satu angka lalu langsung mengeksklusi tanpa justifikasi ambang batas di protokol.
• Menyamakan reputasi jurnal dengan kualitas studi. Kuartil jurnal Scopus dan ciri jurnal predator adalah isu tentang jurnal, bukan pengganti penilaian metodologi tiap studi.
• Menilai sendirian tanpa reviewer kedua dan tanpa catatan alasan.
• Tidak melaporkan hasil per studi, padahal item 18 PRISMA 2020 memintanya.

Mengelola Studi Terpilih dan Penilaian Tim di JurnalFlow

JurnalFlow adalah platform systematic literature review berstandar PRISMA dengan alur empat langkah: Identifikasi, Hubungan dan Tren, Screening & Kelayakan, serta AI Extraction (Sintesis AI). Setiap tahap tersambung dalam satu ruang kerja, sehingga tim Anda memulai quality assessment dari hasil screening yang sama.

Fitur Kolaborasi Antar Tim memudahkan dua reviewer bekerja di satu ruang kerja. Pada paket Pro, Sintesis AI dapat menjadi asisten untuk merangkum karakteristik dan metode studi. Ringkasan dari AI tetap wajib Anda verifikasi terhadap teks lengkap sebelum menilai kualitas; keputusan penilaian sepenuhnya ada di tangan peneliti.

Paket Starter gratis (Rp0) mencakup 3 proyek, kolaborator tim, dan metode PRISMA. Paket Pro (Rp98.500/bulan) menambahkan proyek tanpa batas dan sintesis AI.

Pertanyaan yang Sering Diajukan

Apa itu quality assessment dalam systematic literature review?

Tahap menilai desain, pelaksanaan, dan analisis setiap studi yang disertakan untuk menentukan seberapa layak dipercaya temuannya, sebelum sintesis.

Apa beda quality assessment, critical appraisal, dan risiko bias?

Quality assessment adalah istilah payung. Risiko bias menilai kemungkinan deviasi sistematis pada hasil, sedangkan critical appraisal menilai kualitas metodologis tanpa menimbang seberapa besar kelemahan memengaruhi hasil.

Sebaiknya memakai CASP atau JBI?

Keduanya menyediakan checklist per desain studi yang dapat diunduh. Pilih yang sesuai desain studi Anda dan konsisten dengan protokol, lalu pakai secara konsisten.

Apakah studi berkualitas rendah harus dikeluarkan dari SLR?

Tidak selalu. Eksklusi hanya sah bila aturannya sudah ditetapkan di protokol. Alternatifnya adalah analisis sensitivitas atau menimbang kualitas studi dalam narasi sintesis.

Berapa orang yang sebaiknya melakukan quality assessment?

Praktik yang dianjurkan adalah dua reviewer yang menilai secara independen, dengan perbedaan diselesaikan lewat konsensus atau reviewer ketiga. PRISMA 2020 item 11 meminta Anda melaporkan hal ini.

Apakah SLR non-kesehatan juga wajib melakukan quality assessment?

PRISMA 2020 tetap meminta penilaian risiko bias dilaporkan. Di informatika, manajemen, atau pendidikan, tahap ini lazim dilakukan dengan daftar pertanyaan quality assessment gaya Kitchenham yang disusun sesuai pertanyaan penelitian.

Coba Gratis Sekarang — jurnalflow.com