Survei-survei yang dilakukan untuk mencari tahu kemungkinan hasil Pemilu di Indonesia belakangan ini dipersoalkan. Masalahnya, survei-survei tersebut dilakukan pada waktu yang relatif bersamaan, namun hasilnya berbeda-beda. Logisnya, jika survei-survei itu hendak mengukur hal yang sama dan memiliki validitas yang tinggi semestinya hasilnya tidak berbeda secara signifikan satu sama lain. Ini patut dicurigai: Sungguhkah survei-survei tersebut mengukur apa yang hendak diukur dan dilakukan dengan cara yang memadai?
Beberapa pelaku survei berdalih dengan menunjuk metodologi sebagai biang keladi perbedaan itu. Ini mengherankan bagi saya, sebab metodologi bukan ihwal yang ditujukan untuk menghasilkan hasil yang berbeda. Metode yang digunakan dalam penelitian bentuk apapun, termasuk survei, semestinya merupakan cara paling tepat digunakan untuk memahami gejala yang hendak diteliti. Metode penelitian bukan sesuatu yang berdiri sendiri, lepas dari gejala dan tujuan penelitian. Sebuah metode yang dipilih berdasarkan pertimbangan yang cermat dan hati-hati dinilai merupakan cara yang paling memungkinkan untuk mendapatkan pemahaman terhadap suatu gejala. Jika beberapa metode digunakan sekaligus dalam penelitian dan hasilnya berbeda satu sama lain, maka kesimpulannya: salah satu metode itu benar atau semua metode itu salah. Dengan dasar ini, menanggapi kasus perbedaan hasil survei-survei terkait Pemilu 2009 di Indonesia, saya menyimpulkan bisa jadi salah satu dari survei itu metodenya benar atau semuanya salah.
Cukup sering saya dengar melalui televisi para pengguna jasa atau pihak yang berkepentingan dengan survei-survei bertanya, “Mana hasil yang dapat dipercaya?” Ada jawaban yang menurut penilaian saya tidak tepat, yaitu “Lihat saja kenyataannya, mana yang terbukti sesuai dengan hasil pemilu di lapangan, itulah yang benar.” Dalam hemat saya, jawaban semacam itu kontra-produktif. Apa gunanya survei jika tidak punya daya meramalkan hasil pemilu atau memberikan semacam diagnosis tentang apa yang perlu diperbaiki oleh sebuah partai untuk dapat memperoleh hasil yang lebih baik dalam pemilu?
Sebuah penelitian, juga survei, secara umum bertujuan untuk memahami, menjelaskan, meramalkan dan mengendalikan gejala. Jika pemahaman dan penjelasan tidak memadai, maka peramalan tak dapat dilakukan, apalagi pengendalian. Dengan biaya yang tidak murah, sebuah survei mengenai kemungkinan posisi partai atau tokoh politik selayaknya memberikan manfaat besar bagi kehidupan politik di Indonesia. Survei yang tidak memberikan daya peramalan dan implikasi perbaikan, tidak bisa diandalkan untuk memberikan manfaat itu.
Saya tergugah untuk mengajukan semacam kerangka penilaian terhadap survei-survei yang dilaksanakan untuk mengetahui kemungkinan hasil Pemilu Legislatif dan Pemilu Presiden 2009 di Indonesia, baik yang sudah maupun yang akan dilakukan. Dalam melakukan survei-survei semacam itu, ada dua persoalan metodologis utama yang dihadapi, yaitu (1) menentukan dan merancang stimulus yang memadai untuk membuat responden mau menampilkan respon yang diharapkan; dan (2) memilih sampel yang mewakili populasi.
Menentukan dan Merancang Stimulus yang Memadai
Stimulus di sini dipahami sebagai situasi yang menyerupai atau mewakili secara memadai situasi nyata yang nantinya akan dihadapi oleh para pemilih pada saat pemilu berlangsung sesungguhnya. Pada kenyataannya, situasi yang sesungguhnya dihadapi oleh pemilih merupakan situasi yang sangat kompleks. Meskipun yang teramati hanya perilaku masuk ke bilik suara untuk memilih kontestan pemilu dengan cara menusuk atau mencoret gambar, pada kenyataannya ada banyak sekali faktor yang ikut berperan di situ. Latar belakang pemahaman pemilih tentang konstestan pemilu, tingkat pendidikan, kepedulian terhadap politik, harapan, ketakutan, instruksi yang diberikan kepada pemilih, dan banyak lagi faktor lain ikut berperan dalam tampilnya perilaku memilih kontestan pemilu.
Bagaimana situasi kompleks itu dapat diwakili atau disimulasikan agar respon yang tampil saat survei menyerupai perilaku yang akan ditampilkan saat pemilu, sesungguhnya sangat menentukan ketepatan hasil survei. Setiap faktor punya derajat pengaruh yang berbeda-beda. Ada faktor yang berpengaruh besar dan dapat digolongkan sebagai faktor utama dan ada faktor yang pengaruhnya kecil, bahkan ada yang dapat diabaikan karena pengaruhnya sangat kecil. Untuk menentukan mana faktor utama, perlu dilakukan studi tersendiri. Studi itu bertujuan menghasilkan model yang menjelaskan perilaku memilih kontestan pemilu yang nantinya menentukan disain penelitian apa yang perlu digunakan. Dengan model itu, dapat dibuat kerangka situasi atau simulasi yang membuat responden seolah-olah sedang berada dalam situasi pemilu yang sesungguhnya. Simpleks atau kompleksnya model itu tergantung dari bagaimana dinamika hubungan antara faktor yang berperan dalam perilaku memilih dalam pemilu.
Dengan menggunakan model tertentu sebagai kerangka yang mewakili situasi tempat terjadinya perilaku memilih dalam pemilu, survei yang dilakukan akan memberikan hasil yang dapat ditafsirkan. Model yang digunakan akan membentuk dan membatasi penafsiran terhadap hasil survei. Pemodelan itu juga memberikan pemahaman tentang kemungkinan error (kesalahan) yang menyertai survei. Kemungkinan error itu ikut dipertimbangkan dalam penafsiran terhadap hasil survei dan ikut menentukan daya penjelasan, peramalan, dan pengedalian gejala. Jika model yang digunakan tidak memadai, maka kemungkinan content error, yaitu kesalahan karena ketidakmampuan mengenali gejala yang diteliti, tidak dapat ditentukan sehingga daya penjelas, peramal, dan pengendalian gejala dari survei pun tak dapat ditentukan. Artinya, hasil survei tak dapat ditafsirkan secara memadai atau tak dapat dimanfaatkan.
Memilih Sampel yang Mewakili Populasi
Soal berikutnya, memilih sampel yang mewakili populasi, ditentukan berdasarkan pemahaman tentang karakteristik populasi. Penentuan ini mensyaratkan adanya pemahaman tentang profil pemilih di Indonesia. Untuk mendapatkan profil itu diperlukan data tentang populasi. Data demografi dan faktor-faktor yang mempengaruhi perilaku memilih dalam pemilu menjadi bahan dasar pemaparan profil pemilih di Indonesia. Tanpa profil dari pemilih di Indonesia yang merupakan populasi dari yang menjadi target survei, sampel yang representatif tak dapat diperoleh. Peneliti bisa saja berspekulasi menentukan kriteria sampel tetapi error yang menyertai spekulasi itu akan sangat besar. Error sampling (kesalahan pengambilan sampel) tak dapat diketahui sehingga daya peramalan, juga daya pengendalian, tidak dapat ditentukan. Artinya, survei yang dilakukan pun tak dapat mencapai tujuan memahami, menjelaskan, meramalkan dan mengendalikan gejala.
Berdasarkan karakteristik populasi, mencakup jumlah orang di dalamnya, karakteristik demografi, dan faktor-faktor yang berperan dalam perilaku memilih, dapat dipahami teknik-teknik sampling apa saja yang dapat digunakan serta proporsi kemungkinan error yang menyertai setiap teknik. Pemilihan teknik sampling disesuaikan dengan tujuan survei dengan mempertimbangkan besaran error masing-masing. Dengan demikian, sesuai dengan tujuan dan pemahaman tentang berbagai error yang mungkin menyertai survei; daya penjelasan, peramalan dan pengendali gejala yang dimiliki hasil survei dapat diperkirakan, sehingga penafsiran terhadap hasil itu dilakukan secara lebih pasti dengan mempertimbangkan keterbatasan-keterbatasannya.
Dengan dasar model dan teknik sampling yang digunakan, selayaknya hasil survei-survei tentang perilaku memilih dalam pemilu dapat digunakan untuk menjelaskan, meramalkan, dan dijadikan dasar bagi perbaikan oleh kontestan pemilu. Jika ada perbedaan hasil antara satu survei dan survei lain karena perbedaan metode, dapat dijelaskan mengapa perbedaan itu ada dan apa maknanya. Hasil berbagai survei dapat diperbandingkan satu sama lain berdasarkan pemahaman terhadap metode yang digunakan dan keterbatasan-keterbatasannya. Sejauh metode yang digunakan memadai dan apa yang hendak diukur sama, hasil survei-survei yang dilakukan seharusnya tidak bertentangan. Perbedaan hasil antar survei dapat dijelaskan dan dipertemukan dengan memanfaatkan kerangka teoritis dan metodologis yang digunakan setiap survei. Setiap survei tetap dapat digunakan untuk menjelaskan, meramalkan, dan mengendalikan gejala dalam batas-batas tertentu. Dengan mempertimbangkan keterbatasan survei masing-masing, hasil survei-survei yang dilakukan dapat saling melengkapi dan perpaduannya dapat memberikan gambaran yang lebih komprehensif. Tetapi, perbandingan dan pemaduan hasil-hasil itu tidak dapat dilakukan jika metode yang digunakan tidak memadai.
Mencermati Hasil Survei
Penilaian terhadap hasil survei yang mencari tahu kemungkinan hasil Pemilu di Indonesia perlu mempertimbangkan: (1) disain penelitian yang didasari oleh model yang menjadi kerangka situasi terjadinya gejala; dan (2) teknik sampling yang digunakan. Apakah hasil suatu survei dan penafsirannya memadai atau tidak dalam menjelaskan, meramalkan, dan mengendalikan gejala, sangat tergantung dari dua hal itu. Survei yang modelnya tidak jelas atau tidak mewakili situasi terjadinya gejala, tak dapat diandalkan. Survei semacam itu tidak jelas hendak mengukur apa sehingga hasilnya pun tak jelas. Survei yang teknik sampling-nya tidak jelas juga tidak dapat diandalkan, karena tidak jelas target dari pengukurannya dan tidak punya daya generalisasi yang signifikan.
Secara umum, pertanyaan yang perlu diajukan berkaitan dengan disain penelitian mencakup:
1. Secara operasional, apa yang hendak diukur oleh survei?
2. Bagaimana dan apa yang hendak diukur itu ditampilkan dalam survei sehingga dapat dikenali dan diberi skor atau bobot yang mengindikasikan kuantitas atau kualitas tertentu yang relevan? Apakah indikator-indikator yang digunakan secara koheren menunjukkan gejala apa yang hendak diukur?
3. Siapa yang menjadi target pengukuran? Mengapa? Bagaimana sampel ditentukan dan apa dasarnya?
4. Bagaimana prosedur pelaksanaan survei?
5. Bagaimana responden diperoleh dan diperlakukan dalam proses perolehan data survei?
6. Bagaimana skor yang diperoleh pengukuran dalam survei ditafsirkan?
7. Apa keterbatasan-keterbatasan dari survei? Kemungkinan kesalahan-kesalahan apa yang menyertai survei dan berapa besar kemungkinan kesalahan itu?
8. Sejauh mana hasil survei dapat digeneralisasi?
9. Bagaimana hasil survei itu dapat dibandingkan dengan hasil survei lain? Penafsiran apa yang dapat diperoleh dari hasil perbandingan itu?
10. Apakah hasil survei dan penafsirannya sesuai dengan dengan tujuan dari survei?
Sebuah survei yang baik semestinya dapat menjawab pertanyaan-pertanyaan tersebut secara memadai. Jika ada pertanyaan yang tidak terjawab, maka survei itu belum memadai untuk dimanfaatkan. Secara khusus ada banyak pertanyaan yang dapat diajukan dalam usaha mencermati hasil sebuah survei. Pertanyaan-pertanyaan khusus dapat diturunkan dari jawaban kesepuluh pertanyaan umum itu dan disesuaikan dengan tujuan survei.
Kembali ke soal perbedaan hasil survei-survei yang selama ini ditampilkan oleh beberapa lembaga survei di Indonesia. Dalam hemat saya, jika apa yang hendak diukur jelas dan metode yang digunakan memadai, maka perbedaan hasil itu dapat diperbandingkan dan saling-melengkapi. Jika tidak, maka ada persoalan dengan survei-survei itu. Seperti yang sudah saya sebutkan, bisa jadi salah satu dari survei itu benar atau semua survei itu salah. Jika seperti itu, betapa sia-sia biaya besar yang dibayarkan untuk itu. Semoga tidak demikian adanya dan hasil survei-survei itu dapat ditafsirkan secara lebih proporsional masing-masing, dapat diperbandingkan satu sama lain, dan dimanfaatkan untuk memperoleh gambaran gejala secara lebih komprehensif.