TAK PERCAYA SAMPEL

Saat ini saya sedang mengikuti topik menarik pada sebuah milis tentang kredibilitas data yang dikeluarkan oleh lembaga riset AC Nielsen di Indonesia. Seperti yang telah banyak diketahui, lembaga ini merupakan “the only one” sumber data khususnya untuk rating televisi. Selain rating, AC Nielsen juga mengeluarkan data kepembacaan alias readership. Namun yang terakhir ini tidak dimonopoli oleh AC Nielsen, ada lembaga riset mulitnasional lain yang mengeluarkan data yang sama, Roy Morgan Research. Sebuah perusahaan riset asal negeri kangguru yang sedang berupaya mati-matian mengimbangi dominasi AC Nielsen, walaupun setelah lebih dari dua tahun mencoba peruntungan di Indonesia belum ada tanda-tanda “kemenangan”.

Kali ini saya sedang tidak ingin “serius” mendebat metode yang digunakan oleh AC Nielsen, padahal saya sangat bersemangat jika membahas topik tersebut. Saya ingin mengekspos sebuah guyonan tentang konsep sampel yang kerap menjadi sasaran “hujatan” pengkritik AC Nielsen (termasuk saya ). Sebenarnya tempatnya adalah di rubrik “Jokes” tapi saya ingin menayangkannya secara khusus pada rubrik “Blog” karena dari pantauan saya terhadap statistik blog ini, rubrik “Jokes” jarang sekali diakses, jangan-jangan banyak pembaca yang tidak mengetahuinya. Jadi itung-itung promo rubrik nih…

Begini ceritanya …

Pada sebuah kelas statistika di sebuah universitas negeri di bilangan Depok, seorang profesor statistika sedang menjelaskan teori sampling. Dia menjelaskan bagaimana penelitian terhadap sampel dapat digunakan untuk menggeneralisasi karateristik populasi. Salah seorang mahasiwa yang duduk pada bagian belakang kelas menggeleng-gelengkan kepalanya.

Profesor : ada apa anak muda?

Mahasiswa : saya tidak percaya! Mengapa tidak langsung meneliti keseluruhan populasi?

Sang profesor kembali meneruskan perkuliahan dengan menjelaskan konsep random dan sampel yang representatif. Namun si mahasiswa masih terus menggelengkan kepalanya. Sang profesor tetap melanjutkan penjelasannya, kali ini dia memaparkan mekanisme penarikan sampel bertahap secara proposional, klaster, kesalahan baku rata-rata dan teorema limit pusat.

Mahasiswa : ahh teori! Terlalu beresiko, saya tidak dapat mempercayai hanya dengan sejumlah kecil sampel dapat mewakili total populasi!

Dengan sabar sang profesor berusaha menjelaskan dengan menggunakan contoh praktis. Dia mencontohkan penarikan sampel yang ilmiah dan ketat oleh lembaga rating AC Nielsen dalam menghasilkan rating televisi yang banyak digunakan para pemasang iklan untuk menentukan berapa milyar rupiah harus dikeluarkan untuk sebuah program iklan.

Mahasiswa : maksud profesor, hanya dengan sampel beberapa ribu orang dapat menggambarkan apa yang dipikirkan dan dilakukan oleh total 200 juta orang Indonesia? Ha..ha..ha.. sungguh sebuah lelucon!

Akhirnya sang profesor naik pitam.

Profesor : begini saja. Lain kali kalau kau pergi ke klinik kampus dan mereka perlu melakukan tes darah dengan mengambil sebagian darahmu sebagai sampel, katakan pada mereka kenapa hanya sebagian? kenapa TIDAK SEMUA!!!

Mahasiswa : ?#@!%*

Lucu ngga sih? Semoga bisa menjadi bahan renungan bagi yang tidak percaya pada sampel

MITOS JUMLAH SAMPEL MINIMUM

Jumlah sampel yang dirasa cukup sehingga dapat diklaim mewakili populasi merupakan masalah klasik yang dihadapi oleh peneliti kuantitatif. Dan jawaban klasik yang sering diberikan pada mereka adalah : minimum 30 sampel! Saya tertarik untuk mengkritisi “angka keramat” ini karena saya tidak pernah mendapatkan penjelasan di buku-buku pengantar statistika yang jamak beredar, mengapa harus 30, tidak 10, 15, 20, atau 25?

Pada berbagai literatur pengantar statistika disebutkan bahwa angka 30 merupakan pembatas untuk mengkategorikan jumlah sampel. Jika sampel > 30 maka kategorinya adalah sampel besar, jika <= 30 kategorinya sampel kecil. Kategori ini berimplikasi pada rumus statistika yang digunakan jika ingin melakukan pendugaan parameter (nilai populasi, rata-rata dan proporsi), beda kategori beda rumusnya.

Kembali ke pertanyaan utama, mengapa harus 30? benarkah sampel berjumlah minimum 30 pasti mewakili karakter populasi? Setelah sekian tahun akhirnya saya menemukan jawaban yang cukup masuk akal dan ilmiah. Bukan dari literatur, tapi dari sebuah milis dan dan diskusi dengan seorang teman yang pernah melakukan eksperimen terhadap angka “keramat” tersebut (sebenarnya terpaksa karena ditugaskan oleh dosen )

Teman di milis memberikan argumennya bahwa jumlah sampel 30 berasal dari “tingkat ketelitian” pada sebagian besar tabel-tabel statistika yang mengisi halaman-halaman lampiran pada sejumlah textbook statistika. Tabel-tabel tersebut adalah tabel distribusi t, tabel chi square, dan tabel distribusi F. Yang dimaksud dengan “tingkat ketelitian” adalah detail nilai “n” alias jumlah sampel yang digunakan untuk mencari nilai masing-masing distribusi. Pada tabel-tabel tersebut nilai “n” mulai dari 1-30 ditampilkan detil (n=1,n=2,n=3,n=4,…dst.) untuk “n” di atas 30 langsung melompat ke 40, 60, 120 sampai tak hingga. Jadi angka 30 merupakan nilai kritis! Untuk n>30 nilai masing-masing distribusi tersebut sudah tidak terlalu “penting” untuk dirinci. Terus terang saya tetep tidak puas dengan paparan tersebut. Tetap saja tidak mampu menjelaskan mengapa harus di atas 30!

Nah paparan langsung dari teman saya yang pernah melakukan “eksperimen” terhadap angka 30 ini lebih memuaskan, ya cukup “ilmiah” lah karena dia melakukan riset terhadap angka tersebut. Dia mengatakan bahwa setelah mencoba beberapa kombinasi jumlah sampel misalnya 5, 10, 15, 20, 25, 30, 31, dst… secara berulang-ulang dari sebuah populasi yang menggunakan data berukuran rasio hingga lebih dari 100 kali menunjukkan kecenderungan distribusi sampel yang terbentuk mendekati asumsi distribusi normal ketika jumlah sampel mencapai 30. Semakin besar jumlah sampelnya semakin normal distribusinya.

Bisa jadi penentuan angka 30 ini berdasarkan pada “eksperimen” ini, bahwa pada saat jumlah sampel lebih besar dari 30 peluang distribusi yang dihasilkan bentuk mirip genta alias distribusi normal semakin besar.

Persoalannya “aturan 30″ ini cenderung berlaku bagi analisis statistika yang menuntut terpenuhinya asumsi distribusi normal. Agar distribusi data bisa normal syaratnya adalah data harus random, dan jumlah sampel besar. Jika jumlah sampel “kecil” seperti yang telah dibuktikan oleh “eksperimen” teman saya di atas, bentuk genta tidak tercipta dengan baik, bisa rada menceng ke kanan, atau kekiri, atau bergelombang.

Kembali pada pesan yang ingin saya sampaikan melalui tulisan ini adalah : bukan jumlah yang menentukan suatu sampel mewakili atau tidak mewakili karakter suatu populasi. Ada banyak faktor yang menentukan tingkat representasi sampel misalnya tehnik penarikan sampel, ketersediaan kerangka sampel, heterogenitas populasi dll. Jika sampel ditarik secara random maka menurut teori probabilita bisa dianggap mewakili, namun jika kerangka sampelnya tidak lengkap data yang dihasilkan bisa bias karena ada anggota populasi yang tidak ikut menjadi “peserta”, dan jika populasinya homogen murni bisa jadi satu sampel sudah cukup mewakili. Bukankah untuk mencoba sepanci sup sebelum dihidangkan Anda tak perlu menghabiskannya? Cukuplah sesendok dicicip, membuktikan apakah sopnya berhak mendapatkan “gelar” mak nyuss

SO….SIZE DOES’NT MATTER, DOES IT?

10 TIPS JITU HASILKAN RISET RENDAH MUTU

Anda ingin menghasilkan suatu proyek riset pemasaran yang hanya memboroskan uang perusahaan dan memberi hasil tidak maksimal bahkan menyesatkan? Praktekkan sejumlah tips berikut :

1. Prioritaskan hanya riset berbujet besar. Banyak “orang pasar” alias marketer dan pengambil keputusan di perusahaan masih memiliki pandangan kalau tidak survei minimal 1000 responden rasanya ngga afdol, ngga “bunyi”, ngga “nendang”! Sehingga apapun masalahnya, survei alias riset kuantitatif adalah harga mati. Padahal tidak harus demikian, riset berbujet kecil atau bahkan nirbujet bisa menjadi sangat ampuh menyelesaikan management decision problem (MDP). Hanya dengan sedikit “menyelami” alam pikiran sejumlah kecil konsumen, terbersitlah ide dan solusi yang dahsyat. Daripada angka mati yang tidak bisa menjelaskan lebih jauh maksudnya majalah yang disukai 90% responden adalah yang temanya “lucu”, lucu yang bagimane maksud lo?
2. Jadikan gejala alias simtom sebagai masalah. …”Apa masalah yang sedang dihadapi oleh tabloid Anda saat ini?…tanya seorang konsultan riset pada seorang manajer pemasaran sebuah penerbitan. “Sales turun, jumlah pembaca menurun, dan pendapatan iklan jauh dibawah sales oplah”…jawabnya dengan sangat percaya diri. Sambil tersenyum si konsultan menjelaskan pada sang manajer bahwa apa yang disebutkan sebagai masalah tadi adalah gejala dari masalah yang sebenarnya. Sales turun, jumlah pembaca turun, pendapatan iklan turun bisa disebabkan oleh kegiatan promosi yang berkurang, semakin baiknya performa kompetitor, isi tabloid sudah tidak menarik, atau kenaikan harga yang cukup drastis. Ibarat mengobati demam yang menjadi gejala jamak sebagian besar penyakit dengan hanya memberi obat penurun panas tanpa mengobati sumber penyakit yang sesungguhnya, demam reda, tapi bisa kambuh lagi karena penyakitnya belum diobati. Demikian juga halnya dalam dunia bisnis jika hanya “mengobati” gejala tanpa menyentuh akar permasalahan yang sebenarnya maka tidak akan pernah ada perbaikan. Solusi yang dihasilkan hanya bersifat jangka pendek, bisa jadi sales “agak” naik karena program diskon digencarkan, tapi tak lama akan “kambuh” lagi ketika program tersebut ditiadakan
3. Abaikan aspek kekinian dan relevansi sumber data. Tanpa “meriset” asal muasal atau sumber data riset yang akan diolah menjadi informasi maka besar kemungkinan informasi tersebut mengandung bias. Terkait dengan dimensi kekinian, misalnya seorang peneliti yang menjadikan buku telepon sebagai kerangka sampel suatu kegiatan polling tapi buku telepon yang digunakan bukanlah versi terbaru. Atau dia menyusun kerangka sampel dari daftar kepala keluarga (KK) versi kantor kelurahan, bukan daftar KK yang dimiliki oleh ketua RT yang umumnya lebih update. Terkait dimensi relevansi, misalnya penelitian tentang preferensi aliran musik remaja Jakarta namun yang dijadikan sebagai responden adalah para pengunjung “Jazz Goes to Campus” di kampus FEUI Depok, jelas saja hasilnya mudah ditebak, bahwa 99.9% remaja Jakarta memilih Jazz sebagai aliran musik favoritnya!
4. Jangan memberi perhatian besar pada aspek kompetisi. Semakin banyak informasi yang didapatkan tentang kompetisi pasar maka semakin efektif perusahaan dalam menghasilkan keunggulan bersaing (competitive advantage). Dengan mengabaikan informasi bagaimana kompetitor menjalankan bisnisnya, harga produk, kekuatan, dan kelemahan si kompetitor maka segala strategi bisnis yang dijalankan bisa sia-sia, apalagi jika industri sudah dalam kategori hiperkompetisi manakala bisnis sudah dijalankan bukan dalam hitungan hari, jam, atau menit tapi sudah dalam hitungan detik.
5. Abaikan aspek customer value. Sadar atau tidak sadar setiap kali konsumen melakukan transaksi ada dua hal yang selalu mempengaruhinya yaitu presepsi kualitas dan presepsi resiko terhadap produk/jasa yang akan dibelinya . Presepsi resiko adalah presepsi terhadap biaya yang harus dibayar oleh konsumen dalam memperoleh suatu produk/jasa, presepsi kualitas merupakan presepsi terhadap manfaat yang dapat diberikan produk/jasa jika konsumen mengkonsumsi atau menggunakannya. Presepsi resiko dan kualitas ini merupakan bahan baku pembentuk customer value, semakin besar customer value semakin besar juga peluang si konsumen melakukan transaksi alias membeli produk. Tanpa memperhatikan customer value maka perusahan bisa bertindak gegabah saat menaikkan harga produk, karena tujuannya hanya ingin mempertahankan sales! Perusahaan tidak menyadari akibat kebijakan membabibuta tersebut presepsi kualitas produknya semakin menciut. Karena presepsi kualitas dan harga produk (presepsi resiko) ditakdirkan berbanding terbalik, otomatis customer value juga mengecil. Sudah dapat dipastikan terjadi kebocoran pelanggan besar-besaran
6. Abaikan prinsip-prinsip pendefenisian poulasi. Pendefenisian populasi penelitian yang tidak detil menunjukkan bahwa pelaku riset pemasaran sebenarnya gelap alias tidak mengenal dengan baik subjek/objek penelitiannya. Rumusan populasi penelitian yang baik dan benar harus mencakup tiga unsur, yaitu isi, cakupan, dan waktu. Isi merupakan karakter spesifik dari subjek/objek penelitian (misalnya : pengguna telepon genggam merek NOKIA seri 3, pembaca majalah seputar rumah dan arsitektur, pemilik motor berkapasitas mesin di atas 250 cc, dll.). Cakupan merupakan batasan lingkup kegiatan riset, bisa berupa batas nyata misalnya geografis dan atau batasan abstrak misalnya sumber data atau perilaku khas subjek/objek penelitian (misalnya : pengguna telepon genggam merek NOKIA seri 3 yang berdomisili di Jakarta, Surabaya dan Medan, pembaca majalah seputar rumah dan arsitektur dengan cara beli eceran rutin atau berlangganan di wilayah Jabodetabek, pemilik motor berkapasitas mesin di atas 250 cc anggota komunitas “THE GIANT” cabang Jakarta Selatan). Waktu merupakan keterangan kapan penelitian tersebut dilakukan sehingga dapat menjadi semacam rambu bagi pengguna data agar tidak terlanjur menggunakan hasil yang telah kadaluwarsa (misalnya : pengguna telepon genggam merek NOKIA seri 3 yang berdomisili di Jakarta, Surabaya dan Medan pada tahun 2007, pembaca majalah seputar rumah dan arsitektur dengan cara beli eceran rutin atau berlangganan di wilayah Jabodetabek dengan masa berlanggan sejak tahun 2003 hingga 2007 tanpa terputus, pemilik motor berkapasitas mesin di atas 250 cc anggota komunitas “THE GIANT” cabang Jakarta Selatan yang bergabung sejak tahun 2005 dan masih tercatat sebagai anggota aktif pada tahun 2007)
7. Jangan lakukan uji validitas dan reliabilitas instrumen penelitian (kuesioner, riset kuantitatif). Uji validitas dan reliabilitas instrumen (kuesioner) merupakan keharusan dalam suatu kegiatan survei. Ibarat motor atau mobil yang hendak diajak berjalan jauh agar perjalanan berlangsung aman dan nyaman maka kondisi motor atau mobil harus dicek terlebih dahulu, apakah oli perlu diganti, kampas rem atau kopling masih layak, lampu tidak ada yang mati, ban luar tidak ada yang botak, dsb. Demikian juga pada kegiatan survei, instrumen yang telah di “tune up” akan berpeluang menghasilkan data yang “benar-benar benar” dan handal. Uji validitas dan reliabilitas dapat mereduksi bahkan mengeliminir butir-butir pertanyaan yang membingungkan responden, membuang butir-butir pertanyaan yang ternyata tidak relevan dengan faktor pembentuk konstruk konsep yang hendak diukur (misalnya, faktor kualitas roti di gerai Breadspeech diukur dengan menggunakan 2 faktor, rasa dan bentuk. Faktor rasa dioperasionalkan dalam butir pertanyaan tentang tingkat kerenyahan, tingkat keempukan, dan preferensi rasa (manis, pedas, asin, dll.). Ternyata setelah diuji reliabilitasnya tingkat kerenyahan tidak mengukur dengan baik faktor kualitas roti, jadi butir pertanyaan ini harus dikeluarkan atau dicarikan penggantinya)
8. Jangan peduli dengan tingkat respon rendah dari responden (no response error). Tingkat respon yang rendah bisa disebabkan oleh instrumen penelitian, misalnya, butir pertanyaannya membingungkan atau terlalu banyak sehingga menghilangkan mood si responden, atau responden mengalami kelelahan sehingga pertanyaan-pertanyaan di bagian akhir dilewatkan. Bisa juga karena pilihan metode pengumpulan data, umumnya hal ini terjadi jika metode yang digunakan adalah mail survey. Responden sebenarnya tertarik mengisi angket tapi dia langsung malas begitu membayangkan harus ke kantor pos atau harus memasukkannya di kotak angket di suatu tempat nun jauh dari kediamannya. Mengabaikan tingkat respon dari responden dapat menghasilkan data yang bias, perusahaan akan kehilangan banyak informasi, atau sampel menjadi bias karena hanya orang dengan semangat juang 45 saja yang mengisi angket! Tingkat respon ini dapat ditingkatkan misalnya dengan mengingatkan si responden atau mengambil langsung angket di tempat tinggalnya. Atau mendisain angket yang ringkas dan nyaman dibaca
9. Sebisa mungkin jangan menerapkan prinsip triangulasi. Triangulasi merupakan konsep dalam penelitian kualitatif sebagai counter terhadap tuduhan bahwa penelitian kualitatif sangat subjektif sehingga hasilnya berpeluang besar bias. Kaum kualitatif menolak label subjektif terhadap riset kualitatif, mereka lebih senang menggunakan istilah intersubjektif. Intersubjektif merupakan bagian dari triangulasi, yaitu triangulasi sumber data (informan). Bentuk triangulasi lainnya adalah triangulasi metode dan triangulasi peneliti. Sederhananya triangulasi merupakan upaya untuk cek dan ricek dalam suatu kegiatan riset (kualiatif). Artinya peneliti jangan hanya puas dengan menggunakan satu sumber data, satu metode pengumpulan data, atau hanya menyajikan intrepretasi pribadinya saja tanpa melakukan cross check dengan peneliti lain. Meskipun dilahirkan di kubu kualitatif, prinsip trianggulasi ini juga dapat diberlakukan di kubu kuantitatif, khususnya triangulasi metode. Misalnya menggabungkan metode survei dengan FGD, IDI atau etnografi.
10. Abaikan hasil riset yang kesimpulan dan rekomendasinya tidak sesuai dengan asumsi awal para pengambil keputusan . Sebagus apapun suatu hasil riset kadangkala terbentur oleh cara pandang pengambil keputusan. Ketika hasil riset menemukan hal lain atau bahkan bertolak belakang dengan apa yang diyakininya selama ini, maka hasil riset tersebut dianggap tidak valid, sekedar “nice to know” aja. Akibatnya rekomendasi riset tidak dijalankan karena dianggap ngawur, tidak mendukung asumsi yang telah sangat diyakini oleh sang pengambil keputusan.

So, jangan ragu menerapkan tips-tips di atas, dijamin proyek riset Anda bakalan GAGAL TOTAL!

NON SAMPLING ERROR : THE SILENT KILLER!

…Pengumpulan pendapat melalui telepon ini diselenggarakan Litbang “Kompas” 24-25 Oktober 2007. Sebanyak 830 responden berusia minimal 17 tahun dipilih secara acak menggunakan metode pencuplikan sistematis dari buku telepon terbaru. Responden berdomisili di Jakarta, Yogyakarta, Surabaya, Medan, Padang, Pontianak, Banjarmasin, Makassar, Manado, dan Jayapura. Jumlah responden di setiap kota ditentukan secara proposional. Menggunakan metode ini, pada tingkat kepercayaan 95 persen, nirpencuplikan penelitian +/- 3,4 persen. Meskipun demikian, kesalahan di luar pencuplikan dimungkinkan terjadi. Hasil jajak pendapat ini tidak dimaksudkan untuk mewakili pendapat seluruh masyarakat di negeri ini…

Kutipan di atas selalu dicantumkan pada setiap laporan hasil jajak pendapat yang dilakukan oleh Litbang KOMPAS. Selain KOMPAS, media massa nasional lain juga selalu mencantumkan catatan metode pada setiap hasil jajak pendapat yang mereka publikasikan, misalnya majalah TEMPO, koran TEMPO, MEDIA INDONESIA, METRO tv, JAWA POS, dll. Namun di antara catatan-catatan metode tersebut, sejauh pengamatan saya hanya Litbang KOMPAS yang mencantumkan : …. “Meskipun demikian, kesalahan di luar pencuplikan dimungkinkan terjadi” … Apa yang dimaksud dengan kesalahan di luar “pencuplikan” ini? Apa bedanya dengan konsep “nirpencuplikan”?

Alkisah Litbang KOMPAS-lah yang pertama kali mempopulerkan istilah “nirpencuplikan”, namun terdengar tak nyaman di telinga saya. Karena jika dianalisis kombinasi kata yang digunakan, “nir“ dengan “pencuplikan”, rasanya kurang pas untuk menggusur istilah sampling error. Sebaliknya istilah “pencuplikan” yang menyingkirkan istilah sampling lebih terdengar enak di telinga saya. Istilah-istilah tersebut sebenarnya belum baku (belum dikamuskan di KBBI), dan belum tentu para empu riset di negara ini menyetujui penggunaannya di ranah metode penelitian. Menurut KBBI “nir” berarti bentuk terikat tidak atau bukan, jadi misalnya frasa nirlaba artinya bersifat tidak mengutamakan pemerolehan keuntungan, nirkabel artinya tanpa menggunakan kabel…dll.

Lha kalo “nirpencuplikan”, apa artinya tanpa melakukan pencuplikan alias tanpa mengambil sampel? Kok ya rasane jauh dari yang dimaksud dalam terminologi aslinya, sampling error. Kata error berarti kesalahan alias penyimpangan alias ketidaktepatan! Kemana bersembunyinya istilah tersebut dalam frasa “nirpencuplikan”? Aduh koran secerdas KOMPAS kok iso ngawur yo?

Tapi saya sedang tak ingin membahas “kengawuran” Litbang KOMPAS, saya sedang ingin membahas soal non sampling error, yang telah digusur oleh Litbang KOMPAS dengan istilah kesalahan di luar pencuplikan. Hanya saja agar saya lebih “sejahtera” membahasnya, saya akan menggunakan istilah-istilah tersebut dalam “habitat” aslinya.

Setiap kali kita melakukan kegiatan riset, ada dua “monster” yang selalu menghantui kegiatan riset, yaitu sampling error dan non sampling error. Monster yang berjuluk sampling error sangat mudah dijinakkan bahkan bisa “dituntashabiskan” sampai tas…tas…tas…. Caranya, tinggal menambah jumlah sampel maka dia akan menciut dengan sendirinya. Jika seluruh populasi diteliti maka dia akan hilang lenyap bak ditelan lumpur Lapindo. Hantu sampling error wujudnya jelas, dia menampil ujud dalam sosok angka persentase (+/- 3.4%, +/- 5%, +/- 0.03%, dst.). Terciptanya monster sampling error merupakan konsekuensi logis dari penelitian yang meneliti hanya sebagian saja anggota populasi penelitian, alias hanya mensampling tidak mensensus.

Lebih jelasnya perhatikan ilustrasi berikut, misalnya kita punya populasi berat badan 5 (n) orang balita, A=5 kg, B=7 kg, C= 10 kg, D= 11 kg, dan E=15 kg. Kalau kita hitung rata-ratanya (rata-rata= (A+B+C+D+E)/n), maka kita mendapatkan angka 9.6 kg. Jika kita mensampling dengan n=3, terambil secara random misalnya balita A, C, dan D. Maka rata-rata berat mereka adalah : 8.6 kg. Kemudian kita sampling lagi masih dengan n=3, dapat misalnya B, C, E. Maka rata-rata berat mereka adalah : 10.6 kg. Demikian seterusnya jika kita melakukan sampling berulang-ulang terhadap populasi tersebut secara acak, hasilnya tidak akan pernah persis sama dengan 9.6 kg! Bisa lebih, bisa kurang atau nyaris mendekati, misalnya kombinasi B, C, dan D, hasilnya 9.3 kg! Ketidaktepatan hasil sampling inilah yang disebut sebagai sampling error. Error tidak diartikan sebagai kesalahan, tetapi dimaknai sebagai ketidaktepatan dalam batas-batas yang telah disepakati sebelumnya.

Statistika tidak mengenal hasil “pasti”, adanya adalah hasil “kira-kira”. Sangat wajar karena ilmu Statistika dibangun di atas ilmu “ketidakpastian” yaitu prinsip-prinsip probabilitas alias kemungkinan. Sehingga sampling error akan dibaca juga sebagai hasil “kira-kira”. Yang dimaksud dengan batas-batas yang telah disepakati adalah tingkat kepercayaan (confidence level/CL) “subjektif” si peneliti terhadap hasil risetnya, biasanya telah ditentukan di awal penelitian. Umumnya CL yang digunakan adalah 90%, 95% dan 99%. CL dan jumlah sampel merupakan bahan baku untuk menghasilkan sampling error. Misalnya hasil jajak pendapat Litbang KOMPAS di awal tulisan ini menyebutkan bahwa mereka menggunakan tingkat kepercayaan 95 persen dan jumlah sampel sebesar 830 responden, sehingga dihasilkan sampling error sebesar +/- 3.4 %. Jadi jika hasil jajak pendapat tersebut menyebutkan bahwa terdapat 80% responden yang tidak mendukung kenaikan BBM, 15% mendukung dan 5% tidak bisa menentukan sikap. Maka hasilnya harus dibaca, bahwa Litbang KOMPAS yakin sebesar 95%, jika seluruh populasi pemilik telepon di kota-kota tersebut diteliti (sensus) maka mereka yang tidak mendukung kenaikan bbm berkisar 76.6% s.d. 83.4% (80%-3.4% s.d. 80%+3.4%) demikian seterusnya perhitungan untuk yang mendukung dan tidak bisa menentukan sikap.

Sesederhana itu kah persoalannya? Hanya dengan mengetahui sejauh mana hasil riset kita “menyimpang” sudah cukup untuk meyakinkan diri akan kebenaran hasil riset? He, he.. tunggu dulu! Tak segampang itu masalahnya. Seperti yang telah saya sebutkan sebelumnya, monster sampling error mudah dijinakkan. Tapi monster satunya lagi yang berjuluk non sampling error sangat sulit dikendalikan, dia tidak berujud, dan tidak dapat dihilangkan sampai tas…tas…tas…. Mo sampling kek, mo sensus kek, monster ngeyel ini terus berusaha “mengganggu” selama kegiatan riset berlangsung. Monster non sampling error mengancam di setiap tahapan penelitian, mulai dari perumusan masalah, penentuan disain riset, pengumpulan data, pengolahan data, hingga pada tahap analisis dan penyajian hasil.

Karena tak berujud, non sampling error sulit diantisipasi kehadirannya. Non sampling error bukan akibat penarikan sampel namun dia mewujud karena error yang terjadi selama proses penelitian bersumber dari ulah “oknum-oknum” yang terlibat dalam penelitian ini sendiri. Mereka adalah : responden/informan, tenaga lapangan (surveyor, interviewer, observer) dan peneliti sendiri!

Mari kita telisik satu per satu sumber-sumber penyebab non sampling error tersebut! (sumber : Marketing Research: An Applied Orientation, Naresh K. Malhotra)

PENELITI

Sebagai sang empunya proyek riset, peneliti tidak serta merta memiliki kuasa penuh menentukan hitam putih hasil risetnya. Banyak hal yang dapat lolos dari perhatian si peneliti, sehingga memicu bergentayangannya hantu non sampling error.

Pertama, surrogate information error, akibat dari adanya gap antara informasi yang dibutuhkan dengan informasi yang dikumpulkan si peneliti. Misalnya informasi yang dibutuhkan adalah preferensi bermedia cetak namun yang dikumpulkan oleh si peneliti adalah brand awareness media cetak.

Kedua, measurement error, akibat tidak validnya alat ukur yang digunakan oleh peneliti dalam mengukur subjek/objek penelitian, sehingga terjadi gap antar informasi yang telah dikumpulkan dengan informasi yang dihasilkan. Misalnya : kalau yang diukur konsep SES, maka jangan hanya mengukur pengeluaran saja, tapi ukur juga tingkat pendidikan dan jenis pekerjaaannya.

Ketiga, population defenition error, akibat dari ketidaktepatan pendefenisian populasi penelitian atau populasi target. Suatu defenisi populasi target yang benar harus mencakup 3 unsur yaitu : isi, cakupan, dan waktu. Misalnya : Pembaca INTISARI (isi) yang berlangganan INTISARI melalui Unit Layanan Jual Gramedia Majalah (cakupan) dari Januari 2006 s.d. Desember 2006.

Keempat, sampling frame error, masih terkait dengan error ketiga. Sampling frame merupakan daftar seluruh anggota populasi. Error jenis ini akan terjadi ketika ada anggota populasi yang tidak terdaftar, atau daftar yang telah kadaluwarsa. Hal ini sering terjadi di Indonesia, karena data kependudukannya masih amburadul dan instansi pemerintahan terkait yang tidak tertib administrasi.

Kelima, data analysis error, terkait dengan proses analisis data, hal ini sangat tergantung pada kompetensi si peneliti. Misalnya : peneliti menerapkan analisis parametrik terhadap data yang tidak berdistribusi normal, yang seharusnya dianalisis dengan tehnik non parametrik

SURVEYOR/INTERVIEWER/OBSERVER

Tenaga kolektor data (TKD) juga berperan besar dalam menambah “kekuatan” non sampling error yang bergentayangan. Mereka adalah “penyelia” antara pemilik riset dan sumber data. Error-error yang ditimbulkan oleh mereka adalah :

Pertama, questioning error, TKD salah dalam bertanya, over interpretasi terhadap panduan pertanyaan, atau malah kebalikannya tidak menggali lebih dalam (probing) jawaban responden/informan. Misalnya, responden mengatakan : “tips dari tabloid motor itu malah bikin mesin brebet”… kata “brebet” mungkin istilah lokal (bahasa daerah) atau bahasa “slank” di komunitas responden. Jika tidak diprobing maka peneliti akan kesulitan pada saat menganalisis (mengakategorikan jawaban responden).

Kedua, recording error, TKD melakukan kesalahan dalam pencatatan respon yang diberikan oleh responden/informan. Hal ini bisa disebabkan TKD tidak berkonsentrasi pada proses interview, atau salah dalam menginterpretasi jawaban-jawaban responden/informan.

Ketiga, cheating error, hal ini berkaitan dengan moralitas TKD. TKD berbohong dengan “mengisi” sebagian atau seluruh kuesinoer (survei, polling). Untuk indepth interview peluang cheating error ini lebih kecil terutama jika proses wawancara direkam.

RESPONDEN/INFORMAN

Terakhir adalah error yang bersumber dari subjek/objek penelitian. Responden/informan berpartisipasi menyumbangkan tiga jenis error yaitu : inability error, unwillingness error dan no response error.

Error jenis pertama terjadi jika responden/informan tidak memberikan informasi yang benar atau tepat. Hal ini bisa disebabkan oleh bias memory, responden/informan sudah tidak ingat peristiwa atau pengalaman yang ditanyakan. Saya sering menjumpai fenomena ini ketika melakukan retail audit pengecer media cetak, berskala nasional. Responden pada penelitian ini sebagian besar tidak memiliki catatan penjualan, sehingga ketika menanyakan penjualan di kios mereka, ya, hanya mengandalkan ingatan. Ketika dikunjungi kembali untuk validasi lapangan, sebagian besar jawaban mereka tidak konsisten dengan jawaban sebelumnya… Atau bisa juga karena kendala psikis dan fisik. Responden/informan sudah kelelahan dibombardir dengan berlembar-lembar kusioner atau diajak ngobrol berjam-jam. Menurut sejumlah pakar riset pemasaran, idealnya waktu untuk wawancara dengan metode survei maksimal 20 menit, dan untuk wawancara mendalam sekitar 2 jam. Lebih dari waktu itu jawaban-jawaban responden/informan mulai ngawur dan ngaco.

Kedua, terjadi jika responden/informan “gengsi” atau “takut” memberikan jawaban yang sebenarnya. Misalnya ketika ditanyakan pengeluaran keluarga per bulan, umumnya cenderung memilih kategori sedang ke kecil. Atau mengaku-ngaku menggunakan sejumlah produk branded agar terkesan berkelas. Atau merasa tidak enak dengan si interviewer, sehingga jawaban yang diberikan sekedar buat nyenengin si interviewer. Ketiga, terjadi karena responden/informan menolak mentah-mentah mengikuti kegiatan riset, bisa karena masalah privacy, topik yang kurang menarik, belum lama berselang pernah menjadi responden/informan, dll. Error ini tidak berpengaruh langsung pada kualitas hasil riset karena responden/informan belum terlibat jauh, namun akan terasa berpengaruh jika peneliti tidak memiliki cadangan sampel yang banyak, sehingga persyaratan minimum jumlah sampel untuk analisis lanjutan tidak terpenuhi.

Melalui paparan panjang lebar di atas, pesan yang hendak saya usung kepada pembaca adalah, ketika melakukan penelitian, peneliti harus mengantisipasi dan memberikan perhatian lebih pada aspek non sampling error! Non sampling error bersifat “pengecut”, karena dia tidak pernah menampakkan diri, non sampling error lebih bepotensi menghancurkan, “membunuh” hasil riset kita secara diam-diam tanpa kita menyadarinya, dibandingkan dengan sampling error yang bersifat kesatria karena berani menunjukkan ujudnya.

FOCUS GROUP DISCUSSION

Focus group discussion alias FGD adalah metode sejuta umat! Seandainya dilakukan survei “research method awareness” terhadap para praktisi pemasaran dan periklanan, saya yakin FGD akan meraih tingkat awareness sebesar 99,9%! Namun tingkat awareness yang tinggi belum tentu diikuti dengan pemahaman dan penerapan benar terhadap metode FGD. Selain puja dan puji, metode FGD belakangan ini sering mendapat hujatan dan kritik tajam dari mereka yang merasa enek dan butuh metode alternatif saat melakukan riset kualitatif. Walaupun daftar dosanya semakin panjang tapi tetap saja metode FGD masih menjadi pilihan para praktisi di bidang pemasaran dan periklanan ketika riset kualitatif menjadi pilihan. Saking melekatnya metode FGD dengan pendekatan kualitatif, beberapa orang awam riset menganggap riset kualitatif ya FGD! Qualitative research is FGD, FGD is Qualitative research!

Saya sedang tidak membahas kelemahan metode FGD, saya justru ingin menginformasikan kepada pembaca keberadaan sebuah panduan merancang dan melakukan FGD secara benar berdasarkan prinsip-prinsip ilmiah. Ya, panduan tersebut berupa sebuah buku saku, sangat mungil ukurannya, hanya seukuran 15 cm x 11 cm. Buku yang sangat handy ini dikarang oleh Irwanto Ph.D., seorang dosen dan peneliti di Unika Atmajaya, Jakarta. Diterbitkan oleh Yayasan Obor Indonesia, edisi pertama dicetak pada bulan April 2006.

Apa keistimewaan buku ini selain dari bentuknya yang mungil? (…sepengetahuan saya, ini adalah buku tentang metode riset berbahasa Indonesia terkecil yang pernah ada…). Buku ini sangat cocok bagi mereka yang baru mengenal dan ingin mempelajari metode FGD karena bahasanya praktis, lugas, jauh dari bahasa teoritis dan gaya penulisan texbook, namun tidak terlalu cetek bagi mereka yang sudah berpengalaman menggunakan metode FGD. Pertama saya menemukannya, jujur, saya meremehkan buku ini! Sindrom “men-judge the book from it’s cover” menjangkiti saya, karena saya merasa diri sudah “sepuh” dalam metode FGD, saya sudah bertahun-tahun melakoni metode FGD, sudah puluhan mendekati ratusan kelompok FGD yang sudah saya moderatori, dan sudah puluhan juga report yang telah saya hasilkan. Tapi semuanya itu sirna ketika saya membaca lembar demi lembar halaman buku tersebut, saya langsung tersadar beberapa hal-hal prinsip dalam metode FGD yang kadang kala saya abaikan. Prinsip-prinsip tersebut adalah :

1. FGD adalah kelompok diskusi bukan wawancara atau obrolan. Ciri khas metode FGD yang tidak dimiliki oleh metode riset kualitaif lainnya (wawancara mendalam atau observasi) adalah interaksi! Hidup mati sebuah FGD terletak pada ciri ini. Tanpa interaksi sebuah FGD berubah wujud menjadi kelompok wawancara terfokus (FGI-Focus Group Interview). Hal ini terjadi apabila moderator cenderung selalu mengkonfirmasi setiap topik satu per satu kepada seluruh peserta FGD. Semua peserta FGD secara bergilir diminta responnya untuk setiap topik, sehingga tidak terjadi dinamika kelompok. Komunikasi hanya berlangsung antara moderator dengan informan A, informan A ke moderator, lalu moderator ke informan B, informan B ke moderator, dst…Yang seharusnya terjadi adalah moderator lebih banyak “diam” dan peserta FGD lebih banyak omong alias “cerewet”. Kondisi idealnya, Informan A merespon topik yang dilemparkan moderator, disambar oleh informan B, disanggah oleh informan C, diklarifikasi oleh informan A, didukung oleh informan D, disanggah oleh informan E, dan akhirnya ditengahi oleh moderator kembali. Diskusi seperti itu sangat interaktif, hidup, dinamis!
2. FGD adalah group bukan individu. Prinsip ini masih terkait dengan prinsip sebelumnya. Agar terjadi dinamika kelompok, moderator harus memandang para peserta FGD sebagai suatu group, bukan orang per orang. Selalu melemparkan topik ke “tengah” bukan melulu tembak langsung ke peserta FGD.
3. FGD adalah diskusi terfokus bukan diskusi bebas. Prinsip ini melengkapi prinsip pertama di atas. Diingatkan bahwa jangan hanya mengejar interaksi dan dinamika kelompok, kalau hanya mengejar hal tersebut diskusi bisa berjalan ngawur. Selama diskusi berlangsung moderator harus fokus pada tujuan diskusi, sehingga moderator akan selalu berusaha mengembalikan diskusi ke “jalan yang benar”. Moderator memang dituntut untuk mencairkan suasana (ice breaking) agar diskusi tidak berlangsung kaku, namun kadang-kadang proses ice breaking ini kelamaan, moderator ikut larut dalam “keceriaan” kelompok, ber ha-ha-hi-hi, dan baru tersadar ketika masih banyak hal yang belum tergali, sementara para peserta sudah mulai kehilangan “energi”.

 

Selain paparan prinsip-prinsip di atas, penulis buku ini juga mengemukakan mitos-mitos seputar FGD dan mematahkannya secara rasional. Misalnya FGD itu cepat dan murah, harus dengan moderator profesional (seperti saya… ), memerlukan fasilitas khusus, peserta harus tidak saling kenal, dan FGD tidak cocok untuk topik-topik yang sensitif. Pembaca akan dituntun secara step by step mulai dari merencanakan, melaksanakan, menganalisis dan membuat laporan hasil FGD.

Pembaca akan diajarkan beberapa tehnik memoderatori FGD (Pak Irwanto menyebutnya sebagai ketrampilan proses), misalnya tehnik blocking, tehnik distribusi, tehnik refocus, dan tehnik reframing. Semuanya disertai dengan contoh-contoh yang mudah diterapkan.

Hanya sangat disayangkan buku ini tidak memberi porsi yang memadai untuk tahapan analisis, padahal menurut saya ini juga merupakan bagian penting dalam metode FGD. Apalagi tidak seperti analisis data kuantitatif yang sangat taat aturan dan sudah terstandardisasi, analisis FGD menggunakan tehnik analisis data kualitatif yang nyaris tidak terstandar dan beragam versinya, dan cenderung bergantung pada jam terbang penelitinya. Pak Irwanto hanya memaparkan langkah-langkah analisis hasil FGD secara umum, tanpa penjelasan yang lebih teknis.

Terlepas dari kekurangan tersebut saya sangat mengapresiasi upaya Pak Irwanto Ph.D untuk mencurahkan setetes air pelepas dahaga di tengah gurun pasir literatur metodologi riset berbahasa Indonesia.