LITBANG KOMPAS JAWARA QUICK COUNT PILKADA DKI 2007

Hasil resmi Pilkada DKI Jakarta telah dikumandangkan oleh KPUD DKI Jakarta sehari sebelum perayaan hari kemerdekaan RI ke-62. Seperti yang telah diramalkan, pemenangnya adalah “Bang Kumis” alias Fauzi Bowo dan pasangannya Prijanto. Fauzi-Prijanto meraih 57,87% suara sedangkan rivalnya pasangan Adang-Dani meraih sisanya, 42,13%. Persentase ini diperoleh dari 3.645.066 suara sah yang tersebar di 11.202 TPS.

Kemenangan Fauzi-Prijanto berhasil “ditebak” melalui metode quick count beberapa jam setelah perhitungan suara selesai dilakukan di masing-masing TPS. Ada tiga lembaga penelitian dan satu media cetak yang mempublish hasil perhitungan quick countnya secara resmi di media massa. Mereka adalah LP3ES (Lembaga Penelitian, Pendidikan dan Penerangan Ekonomi dan Sosial), Lingkaran Survei Indonesia (LSI), Lembaga Survei Indonesia (LSI) dan Litbang KOMPAS.

Para pelaku quick count di atas mengambil sampel dengan jumlah berbeda, sehingga nilai sampling error-nya juga berbeda-beda. Meskipun tehnik samplingnya sama menggunakan tehnik penarikan sampel multitahap tapi saya yakin strategi pembentukan strata atau clusternya berbeda-beda. Strategi ini didasarkan pada pemahaman mereka terhadap karakteristik populasi dalam hal ini pemilih terdaftar /potensial Pilkada DKI 2007. Banyak faktor yang berpeluang menjadi pertimbangan pemilihan strata atau cluster, misalnya kepadatan penduduk, wilayah kekuasan partai politik, proporsi jenis kelamin, proporsi pendatang dengan penduduk asli, dll. Nah, kemampuan mendeteksi variasi karakter popoluasi ini yang berperan signifikan menentukan presisi hasil quick count, selain faktor-faktor non sampling error. Strategi pembentukan strata atau cluster ini merupakan rahasia dapur masing-masing pelaku quick count yang hampir dipastikan tidak akan pernah dipublikasikan, top secret man!

Pada Pilkada DKI 2007 LP3ES mengambil sampel sebanyak 400 TPS, LSI (Lingkaran) sebanyak 260 TPS, LSI (Lembaga) sebanyak 400 TPS dan Litbang KOMPAS sebanyak 250 TPS. Dengan asumsi tingkat kepercayaan 95%, proporsi populasi 50:50 (sangat heterogen), jumlah populasi 11.202 maka sampling error dari penarikan sampel tersebut berturut-turut adalah : ± 4,8%, ± 6%, ± 4,8%, dan ± 6,1%. Terlihat bahwa semakin banyak jumlah sampel semakin kecil nilai sampling errornya, secara teori statistika berarti pelaku quick count dengan nilai sampling error terkecil diharapkan memiliki tingkat presisi tinggi. Namun kenyataan berbicara lain, ternyata Litbang KOMPAS yang tampil dengan sampling error terbesar menghasilkan tebakan terpresisi. Lha, kok bisa? Sebelum menjawab pertanyaan tersebut mari kita lihat perbandingan hasil quick count dengan hasil resmi perhitungan KPUD DKI :

LP3ES = Adang-Dani 42,40%, Fauzi-Prijanto 57,60% ; LSI (Lembaga) = Adang-Dani 43,88%, Fauzi-Prijanto 56,12% ; LSI (Lingkaran) = Adang-Dani 41,41%, Fauzi-Prijanto 58,59% ; Litbang KOMPAS = Adang-Dani 42,24%, Fauzi-Prijanto 57,76% dan hasil resmi KPUD DKI = Adang-Dani 42,13%, Fauzi-Prijanto 57,87%.

Selisih perolehan suara masing-masing pasangan kandidat adalah sebesar : LP3ES = 15,20% ; LSI (Lembaga) = 12,24% ; LSI (Lingkaran) = 17,18% ; dan Litbang KOMPAS = 15,52%. Sedangkan hasil resmi menunjukkan selisih sebesar 15,74%. Jika dihitung selisih dari selisih perolehan suara masing-masing pasangan kandidat versi para pelaku quick count dengan selisih hasil resmi KPUD DKI, hasilnya adalah : LP3ES = 0,54% LSI (Lembaga) = 3,50% ; LSI (Lingkaran) = 1,44% ; dan Litbang KOMPAS = 0,22%. Terlihat Litbang KOMPAS memiliki selisih nilai terkecil alias paling mendekati hasil resmi alias paling presisi!

Menarik sekali mencermati fenomena di atas, Litbang KOMPAS dengan jumlah sampel terkecil berhasil meraih angka presisi tertinggi! Padahal secara teori statistika dengan jumlah sampel yang lebih sedikit Litbang KOMPAS berpeluang lebih besar mengalami error dalam menebak hasil Pilkada DKI. Hmm berarti teorinya salah donk, tidak! teori statistika tidak salah karena hasil quick count Litbang KOMPAS masih dalam range sampling error-nya, yaitu sebesar ± 6,1%. Sampling error adalah perbedaan antara nilai sampel (statistik) dengan nilai populasi (parameter) sebagai konsekuensi dari tidak disurveinya seluruh anggota populasi. Seandainya kita tidak mengetahui hasil sebenarnya dari Pilkada DKI maka berdasarkan data sampel, hasil quick count Litbang KOMPAS dapat diinterpretasikan sebagai berikut : bahwa Litbang KOMPAS yakin 95% berdasarkan quick count selisih perolehan suara pasangan kandidat Pilkada DKI antara 9.42% (15,52%-6,1%) s.d. 21,62% (15,52%+6,1%), sedangkan peluang selisih perolehan suara di luar range tersebut hanyalah 5%. Ternyata, selisih resmi adalah sebesar 15,74%, masih dalam range bukan?.

Lalu apa yang membuat hasil quick count Litbang KOMPAS lebih presisi daripada tiga “rival-nya”? Saya yakin ini adalah masalah non sampling error, Litbang KOMPAS berhasil menekan kontribusi non sampling error dalam kegiatan quick countnya kali ini. Terutama dalam mendisain strategi penarikan sampel, Litbang KOMPAS sepertinya lebih memahami karakter populasi calon pemilih DKI Jakarta sehingga berhasil menyusun suatu disain sampling yang representatif. Sayangnya memang non sampling error tidak dapat dihitung seperti halnya sampling error, tapi jangan dianggap remeh justru non sampling error adalah biang kerok utama alias kontributor terbesar terhadap total error dalam suatu kegiatan penelitian.

Selamat untuk Litbang KOMPAS! Kita tunggu hasil-hasil quick count berikutnya dengan tingkat presisi yang semakin tinggi…

MENGGAGAS PENGUKURAN KONSEP STATUS SOSIAL DAN EKONOMI

Selama ini pengguna data lembaga riset AC Nielsen telah “dikerjai” dalam hal pengukuran status sosial dan ekonomi (SSE) masyarakat Indonesia. AC Nielsen tidak melakukan pengukuran konsep SSE dengan benar-benar benar! Pengukuran yang dilakukan tidak memenuhi syarat validitas isi!. Saya kurang yakin bahwa tidak ada akademisi atau praktisi riset yang menyadari dan pernah mengkritisi kesalahan fatal ini, bisa jadi ada tapi tidak terpublish di media massa, seperti yang dilakukan oleh pakar komunikasi politik UI, Effendy Ghazali yang menabuh genderang perang dengan AC Nielsen dalam soal pengukuran rating TV (Kompas, 29 September 2006).

Melalui tulisan ini saya ingin mengkritisi dan membongkar “penyesatan” yang telah dilakukan AC Nielsen. Bagaimana AC Nielsen melakukan “penyesatan” dalam mengukur konsep SSE? Mari kita cermati ilustrasi berikut :

…Anda pasti setuju bahwa di mata masyarakat Paijo yang berprofesi sebagai tukang bakso di terminal Pulo Gadung, tidak tamat SD lebih rendah “derajatnya” dibandingkan Paul seorang store manager fast food restaurant masakan Jepang di Mal Ciputra lulusan akedemi pariwisata. Atau A Liang tukang martabak bangka di bilangan Pasar Minggu hanya berijasah SMA tidak lebih tinggi “derajatnya” dibandingkan Acong yang berprofesi sebagai research executive di lembaga riset AC&DC, pemegang gelar Master of Science. Padahal dari segi penghasilan keempat orang ini bisa jauh berbeda. Saya pernah menanyakan penghasilan seorang teman yang berprofesi sebagai store manager sebuah restoran pizza, dia mengaku take home pay-nya berkisar 2.5 – 3 juta rupiah perbulan. Sedangkan seorang tukang bakso, jika racikan baksonya mak nyuss bisa menjual puluhan bahkan ratusan mangkok bakso dalam sehari, artinya omsetnya bisa mencapai ratusan ribu per hari bahkan jutaan. Nah, jika dikumulatifkan dalam sebulan jelas penghasilan si store manager kalah jauh. Demikian juga dengan si tukang martabak, saya pernah membaca kisah sukses seorang tukang martabak beromset puluhan juta rupiah perbulan, jelas penghasilan tukang martabak tersebut jauh lebih besar dibandingkan si research executive yang paling bergaji 5 – 7 juta rupiah perbulan…

Menjadi masalah ketika mereka terpilih sebagai responden survei media index/readership survey AC Nielsen, ke empat orang ini bisa berada dalam “SSE” yang sama, yaitu kategori A1 ( pengeluaran di atas > Rp 3 juta per bulan). Padahal secara sosial mereka tidak setara! Saya selalu miris jika menakar diri berdasarkan pengukuran “SSE” versi AC Nielsen, karena saya memiliki SSE yang sama dengan GM bahkan direktur perusahaan, padahal sang GM berkendara sedan merek BMW seri 7, tinggal di komplek perumahan mewah sedangkan saya sebagai staf baru mampu berkendara motor bebek dan tinggal di rumah studio (istilah keren untuk rumah petak, he…he…he…).

Jelas alat ukur yang dibuat oleh AC Nielsen gagal total dalam mengkategorikan masyarakat Indonesia. Ini merupakan hal yang serius karena data AC Nielsen menjadi acuan sebagian besar pengambil keputusan. Acap kali kita mendengar orang dengan semangat mengatakan : “kami akan membuat produk baru dengan target SSE A+”. Ini berarti saya dan direktur perusahaan tempat saya bekerja termasuk target mereka! Bukankah itu kesalahan fatal? Karena jika pengukuran SSE dilakukan dengan secara valid, saya tidak akan se “kasta” dengan beliau. Hal ini terlepas dari diikut sertakannya variabel lain, psikografis dan behaviour misalnya. Tapi minimal telah terjadi kesalahan dalam mendeteksi target berdasarkan SSE nya. Dan hal ini bisa berdampak fatal terhadap keputusan yang akan diambil.

Lalu adakah solusi untuk permasalahan ini? Jelas ada! Dan tidak sulit. Pertama, AC Nielsen harus menghentikan penggunaan istilah SSE, dan mesosialisasikan istilah HHE (house hold expenditure) sehingga tidak terjadi kesalahan penafsiran terhadap ukuran SSE. Kedua, AC Nielsen membuat instrumen pengukuran konsep SSE yang valid, cukup dengan membuat indeks dari variabel pekerjaan, pendidikan, dan pengeluaran. Indeks inilah yang kemudian menjadi alat untuk mengkategorikan SSE seseorang. Namun sebaiknya untuk pengukuran dimensi status sosial perlu melibatkan ahli sosiologi dan atau antropologi yang memahami karakteristik masyarakat Indonesia, misalnya menentukan jenis pekerjaan dan “derajat” nya. Masing-masing budaya/negara memiliki cara pandang tersendiri terhadap jenis pekerjaan/profesi, di Amerika mungkin profesi pengacara menduduki kasta tertinggi, tapi di Indonesia mungkin profesi dokter lah yang menduduki kasta tertinggi.

ANTARA SKALA, INDEKS DAN UKURAN

Jika kita membaca buku-buku pengantar metode penelitian terutama di bidang sosial dan psikologi maka kita pasti menemukan istilah-istilah berikut, tercantum lengkap atau hanya sebagian : SKALA NOMINAL, SKALA ORDINAL, SKALA INTERVAL, SKALA RASIO, SKALA LIKERT, SKALA THURSTONE, SKALA BORGADUS, SKALA GUTTMAN

Istilah nominal, ordinal, interval, dan rasio dikembangkan oleh S.S. Stevens. Empat istilah lainnya dinamai berdasarkan penemunya (Likert, Borgadus, Thurstone, Guttman). Semua istilah di atas merupakan bagian dari apa yang dikenal dalam dunia penelitian sebagai konsep pengukuran. Pengukuran merupakan upaya menghubungkan konsep dengan realitas (Masril Singarimbun, 1989). Ke delapan istilah di atas diawali dengan kata skala, sehingga mengesankan ada kesetaraan di antara mereka. Padahal tidak demikan, “skala S.S. Stevens” berbicara soal ukuran, skala Likert sering digunakan dalam pembuatan indeks, skala Borgadus, Thurstone, dan Guttman adalah skala yang “sebenarnya”.

Skala, indeks dan ukuran sering dipertukarkan dan disalahartikan. Ukuran mengacu pada hirarki pengukuran suatu konsep, dimana kasta terendah diduduki oleh nominal, disusul oleh ordinal, interval, dan kasta tertinggi diduduki oleh rasio. Jika kita mengukur suatu konsep hanya bertujuan menggolongkan atau membedakan subjek atau objek penelitian maka ukuran yang tepat adalah nominal (eg. konsep jenis kelamin, kategori pekerjaan, jenis hobi, agama, dll.). Tujuan mengurutkan atau merangking maka ukuran yang tepat adalah ordinal (eg. konsep status ekonomi, tingkat pendidikan, dll.). Tujuan mengukur jarak antar kategori dalam suatu variabel maka ukuran yang tepat adalah interval (eg. konsep usia, indeks prestasi , skor IQ, dll.). Tujuan mengukur rasio maka ukuran yang tepat adalah rasio (eg. konsep angka mortalitas, angka natalitas, angka kemiskinan, besar income, besar pengeluaran, dll.). Namun jika Anda perhatikan dalam program SPSS ukuran interval dan rasio tidak dibedakan, kedua ukuran ini dilebur dalam istilah lain yaitu ukuran scale. Artinya dalam perhitungan stastika tidak penting membedakan kedua ukuran ini, pembedaan kedua ukuran ini hanyalah “bermakna” dalam kepentingan argumentasi teoritis.

Lalu bagaimana dengan indeks dan skala? Dalam konteks metode penelitian, Indeks dan skala disebut juga sebagai ukuran gabungan, digunakan untuk mengukur konsep-konsep kompleks yang memiliki banyak dimensi. Misalnya konsep status sosial dan ekonomi (SSE). Untuk mengukur konsep ini tidaklah cukup menggunakan satu variabel saja, hanya dengan menanyakan “berapa pengeluaran Anda/keluarga perbulan?”. Konsep SSE minimal diukur dengan tiga variabel : variabel pendidikan, variabel pekerjaan, dan variabel pendapatan/pengeluaran. Indeks dan skala memiliki tingkat kemanfaatan berbeda. Skala lebih “bermanfaat” daripada indeks, skala lebih lengkap, selain mampu menunjukkan jarak antara subjek/objek penelitian dalam konsep tertentu, skala juga dapat menentukan “posisi” si subjek/objek penelitian tersebut. Namun dalam prakteknya indeks lebih populer dibandingkan skala, karena lebih mudah membuatnya, indeks dihitung cukup dengan menjumlahkan skor dari masing-masing atribut/variabel yang mengukur konsep tertentu. Hal ini dapat dilakukan karena masing-masing atribut/variabel diasumsikan memiliki bobot yang sama. Sedangkan pada skala, masing-masing atribut/variabel memiliki bobot yang berbeda.

Sangat sulit mengerti perbedaan indeks dengan skala tanpa menggunakan ilustrasi. Mari kita perhatikan ilustrasi berikut untuk memahami perbedaan keduanya :

…Anda misalnya ingin mengukur konsep tingkat pemanfaatan media cetak berkategori consumer guide. Anda ingin mengkategorikan para pembaca media ini berdasarkan perilaku mereka memanfaatkan media-media tersebut. Jika Anda menggunakan indeks, maka kira-kira bentuk instrumennya sebagai berikut :

Bagaimana Anda memanfaatkan media”X” ?

                                                                                                   Tidak pernah    Sesekali    Selalu

Mempraktekkan minimal satu artikel setiap edisi                      0                       1              2

Merekomendasikan pada teman/kerabat                                    0                       1              2

Menjadikannya sebagai sumber insipirasi                                 0                       1              2

Menjadikannya sebagai referensi ketika membeli barang      0                       1              2

Anda akan mendapatkan variasi skor antara 0 s.d. 8. Makin tinggi skor seorang pembaca, makin tinggi pula tingkat pemanfaatannya terhadap media yang bersangkutan. Lalu bagaimana jika Anda mengukur tingkat pemanfaatan media cetak menggunakan skala? Kira-kira bentuk instrumennya sebagai berikut

Bagaimana Anda memanfaatkan media ”X” ? 

                                                                                                                                          Ya          Tidak

                                                                             
(1) Sekedar untuk menambah wawasan dan pengetahuan                ….             …

(2) Sekedar untuk sumber inspirasi                                                         ….              …

(3) Mempraktekkannya                                                                                ….              …

(4) Merekomendasikannya pada teman/kerabat                                   ….              …

Terlihat bahwa ada gradasi, ada perbedaan rasa, perbedaan bobot antar atribut pada skala diatas. Pembaca yang menjawab ya untuk atribut (4) kita harapkan juga menjawab ya untuk atribut (1) s.d. (3). Mereka yang memang hanya menjadikan media “X” sebagai penambah wawasan dan pengetahuan dapat kita asumsikan tidak menjadikannya sebagai sumber inspirasi, pernah mempraktekkan minimal salah satu artikel di dalamnya apalagi sampai merekomendasikannya pada teman/kerabatnya.

Dari ilustrasi di atas kita dapat mencermati bahwa dengan skala pemanfaatan media cetak kita tidak hanya bisa mengetahui jarak antar pembaca, misalnya pembaca dengan skor 1 berjarak 3 satuan dengan pembaca dengan skor 4. Namun kita dapat mengetahui dan mendefenisikan posisi pembaca dengan skor 4 dan skor 1 dalam konsep pemanfaatan media. Pembaca dengan skor 4 adalah pembaca yang paling maksimal memanfaatkan media “X” karena dia berani merekomendasikan isi media “X” pada teman/kerabatnya, sedangkan pembaca dengan skor 1 adalah yang paling rendah pemanfaatannya terhadap media “X”.

Sedangkan dengan indeks pemanfaatan media cetak kita hanya dapat mengetahui jarak antar pembaca tapi tidak dapat mendefenisikan posisinya. Pembaca dengan skor 1 berjarak 7 satuan dengan pembaca berskor 8, that’s all! Kita tidak dapat mendefenisikan setiap skor seperti pada skala. Inilah kelemahan indeks, namun indeks lebih mudah dibuat karena kita tidak perlu pusing tujuh turunan membobot setiap atribut.

TEHNIK SAMPLING, ANALISIS OPINI PUBLIK

Tidak lama lagi PILKADA DKI Jakarta akan digelar (8 Agustus 2007), bagi Anda yang ber KTP Jakarta dan bekerja di sektor formal berbahagialah! Karena Anda dihadiahi libur selama 1 hari oleh PEMDA DKI. Terlepas dari semua dinamika yang terjadi selama proses pesta demokrasi “rakyat” Jakarta ini, ada satu hal yang mungkin dinanti-nantikan oleh sebagian orang –mereka yang tidak sabar menunggu hasil PILKADA diumumkan secara resmi oleh KPUD DKI—yaitu “bocoran” hasil PILKADA yang selama ini populer dengan sebutan hasil perhitungan quick count. Istilah quick count mungkin sudah tidak asing lagi di telinga kita, istilah ini menaik popularitasnya pada saat pemilihan presiden tahun 2004 lalu, dimana sejumlah lembaga survei berlomba-lomba unjuk tingkat presisi dalam meramalkan hasil pemilu presiden tersebut. Bukan hanya meramalkan siapa kandidat yang menang tapi juga persentase suara yang diperoleh. Luar biasa memang, sebelum matahari beranjak ke peraduannya di ufuk barat kita sudah disodori hasilnya. Dan terbukti semua “ramalan” tersebut benar adanya, semua “meramal” bahwa pasangan SBY-JK keluar sebagai pemenang, variasi “ramalan” hanya terjadi pada persentase suara yang diperoleh. Dan sekali lagi luar biasa, hasilnya tidak meleset jauh dari persentase resmi yang dikeluarkan oleh KPU! Selisihnya rata-rata kurang dari 10%, miracle? No!, IT IS THE POWER OF SAMPLING!

Kekuatan sampling inilah yang coba dipaparkan oleh Sdr. Eriyanto dalam buku terbarunya, “TEHNIK SAMPLING, ANALISIS OPINI PUBLIK”, yang diterbitkan oleh LKIS Yogyakarta, cetakan I tahun 2007. Kembali Sdr. Eryanto menghasilkan sebuah magnum opus yang luar biasa. Sepengetahuan saya, berdasarkan koleksi yang saya miliki, buku ini adalah buku kedua beliau tentang panduan melakukan penelitian menggunakan pendekatan kuantitatif, sebelumnya ada buku “METODOLOGI POLLING, MEMBERDAYAKAN SUARA RAKYAT, diterbitkan oleh Remaja Rosda Karya Bandung. Dua buku panduan penelitiaan lainnya yang menggunakan pendekatan kualitatif adalah “ANALISIS WACANA : PENGANTAR ANALISIS ISI MEDIA”, diterbitkan oleh LKIS Yogyakarta, dan “ANALISIS FRAMING : KONSTRUKSI, IDEOLOGI, DAN POLITIK MEDIA, yang juga diterbitkan oleh LKIS Yogyakarta.

Saya adalah salah seorang penggemar buku-buku karangan Sdr. Eriyanto. Komprehensif, dalam, detil, namun sangat enak dibaca, banjir contoh dalam konteks Indonesia. Unique Selling Proposition ini masih tetap mewarnai buku terbaru Sdr. Eryanto tersebut. Sebuah buku yang memaparkan tentang sampling dari teori hingga aplikasi praktisnya plus contoh-contoh yang sangat “indonesiawi”. Biasanya pembahasan tentang sampling dalam buku-buku metode penelitian dan statistik hanya mendapat porsi sekitar 10-20 halaman, namun di buku yang sangat segmented ini Anda akan dikenyangkan oleh 300an halaman khusus membahas 5W+1H ilmu penarikan sampling. Buku ini nyaris steril dari rumus statistik, Anda tidak perlu berpusing-pusing ria akibat ulah “oknum-oknum” rumus statistik yang bikin puyeng tujuh turunan, Anda bisa jadi ahli “persampelan” tanpa harus khatam “jurus-jurus” statistik tentang sampling. Seperti yang disarankan dalam buku ini, bahwa saat ini telah begitu banyak software yang mempermudah perhitungan statistik, sehingga Anda tidak perlu melakukannya secara manual, serahkanlah pada ahlinya (seperti salah satu slogan kandidat gubernur DKI, ).

Buku ini memang membahas sampling dalam konteks survei opini publik alias jajak pendapat, alias polling. Tapi sangat tidak menutup kemungkinan diaplikasikan pada bidang lain misalnya pemasaran, karena buku ini tetap disusun atas dasar teori sampling yang universal.