WATCH, LISTEN, ASK AND LEARN…

Belum lama ini saya mengikuti sebuah workshop bertema “ETHNOGRAPHY FOR MARKETERS”, mumpung masih fresh saya ingin berbagi dengan pembaca (sebagian besar materi tulisan ini merupakan resume dari materi workshop tersebut). Pembicara utama pada workshop ini adalah Amalia E. Maulana Phd, seorang brand consultant & etnographer. Saya sangat tertarik dengan workshop ini karena menawarkan suatu metode kontemporer di tengah stagnasi metode-metode riset khususnya dalam bidang pemasaran. Etnografi identik dengan kajian Antropologi. Memang demikian adanya, etnografi adalah salah satu metode dalam Antropologi. Yang menurut DR. Amri Marzali MA. secara harafiah bermakna ganda, bisa berarti laporan atau tulisan (grafi) budaya (etno) atau merupakan metode penelitian seperti analisis wacana, analisis isi, dll. Nah, pada workshop ini yang dimaksud dengan etnografi adalah berupa metode penelitian.

Penerapan metode etnografi dalam bidang pemasaran dipicu oleh ketidakpuasan para marketer terhadap metode riset kualitatif yang sudah sedemikian mapan yaitu Focus Group Discussion (FGD). FGD merupakan metode yang sangat populer, paling banyak menjadi pilihan jika suatu kegiatan riset pemasaran memutuskan menggunakan pendekatan kualitatif, selain indepth interview atau observasi. Adapun kritik yang sering dialamatkan ke metode FGD adalah :

• FGD sangat rentan terhadap “vokalis” alias anggota kelompok yang doyan ngomong sehingga membungkam suara anggota lainnya

• FGD juga sangat rentan terhadap “ketidakjujuran” anggota kelompoknya untuk berbagi perasaan atau pengalaman di depan seluruh anggota kelompok, mungkin karena malu atau jaim alias jaga image. Misalnya FGD yang membahas “pola pemberian makanan untuk anak”, pesertanya ibu-ibu. Moderator menanyakan apa saja jenis sarapan yang sering diberikan oleh ibu-ibu tersebut kepada anaknya. Karena jaga gengsi agar jangan terkesan kere atau tidak peduli pada anak maka mereka akan menyebutkan jenis-jenis makanan berkategori “atas”, misalnya cereal atau quacker. Padahal kenyataannya anaknya cuma diberi roti tawar atau roti manis yang dibawa oleh abang-abang dengan gerobak sambil bernyanyi …”beli dong, beli dong, gua kan cape dorong…”

• FGD acap kali gagal menggali pengalaman-pengalaman dengan produk yang memang sulit diperkatakan. Misalnya pengalaman menikmati es krim yang dikemas dalam cup, biasanya sebagian isinya melekat pada tutup kemasan, karena sayang biasanya orang-orang menjilati tutup kemasan es krim tersebut. Nah perilaku tidak sopan dan jorse ini yang malu diungkapkan di depan banyak orang (baru kenal lagi). Atau kebiasaan ibu-ibu dalam mencuci piring, hasil cucian baru dikatakan bersih jika piring tersebut mengeluarkan bunyi mencicit (cit..cit..cit) ketika permukaannya digosok dengan jari. Pengalaman-pengalaman ini terkadang sulit dirangkai dalam sebuah kalimat…

Kelemahan-kelemahan FGD di atas yang coba direduksi oleh metode etnografi. Tesis yang diajukan oleh metode etnografi adalah lebih sulit memahami perilaku konsumen dalam lingkungan artifisial (didalam viewing room atau ruangan di hotel-hotel mewah, yang biasa menjadi tempat penyelenggaraan FGD) daripada mengamati dan bertanya langsung kepada konsumen di habitat aslinya (rumah, kantor, sekolah, pabrik, taman bermain, dll.). Sebenarnya tidak ada yang baru atau supercanggih dalam metode etnografi. Metode ini tetap menjalankan prinsip-prinsip penelitian kualitatif pada umumnya. Bisa dikatakan metode etnografi merupakan kombinasi dari metode-metode kualitatif yang telah ada, indepth interview, observasi kualitatif, FGD, tehnik proyeksi, diary, life history, dll. Hanya saja kegiatan risetnya harus dilakukan di lingkungan asli target konsumen. Dengan masuk dalam lingkungan asli konsumen maka akan terungkap apa yang sebenarnya mereka lakukan terhadap suatu produk bukan sekedar mengungkap apa yang mereka katakan mereka lakukan terhadap produk tersebut (ini yang terjadi dalam FGD).

Langkah-langkah dalam melakukan suatu riset etnografi adalah : membentuk tim etnografi, melakukan desk research (analisis data sekunder), brainstorming untuk merumuskan permasalahan, tujuan, asumsi, dan hipotesis. Selanjutnya membuat disain risetnya yang mencakup (target informan, teknik pengumpulan data, dan instrumen). Setelah semuanya siap, tim terjun ke lapangan, melakukan analisis dan akhirnya membuat laporan. Seperti yang telah disebutkan di atas bahwa dalam metode etnografi tetap berlaku prinsip-prinsip umum riset kualitatif. Sehingga prosesnya adalah sirkular bukan linier seperti pada riset kuantitatif. Yang dimaksud dengan proses sirkular adalah bahwa pengumpulan data dilakukan secara simultan dengan kegiatan analisis data, temuan yang diperoleh dapat mengubah tujuan, asumsi atau hipotesis yang telah ditetapkan diawal, demikian seterusnya sampai terjadi “kejenuhan” data, alias telah ditemukannya pola atau tema umum.

Tulisan ini tidak dapat menjabarkan secara detil tentang metode etnografi dalam riset pemasaran, dan hingga saat ini belum tersedia literatur dalam bahasa Indonesia. Tapi ada kabar gembira buat Anda yang ingin mempelajari metode etnografi dalam riset pemasaran, Ibu Amalia E. Maulana Phd., sedang menyusun sebuah literatur alias buku yang membahas penerapan metode etnografi dalam riset pemasaran. Jadi kita tunggu saja… Jika Anda ingin melakukan riset etnografi gunakan dan maksimalkanlah seluruh indra Anda …LIHAT, DENGAR, BERTANYA, DAN BELAJARLAH…dari konsumen di lingkungan aslinya!

“Kalau Anda hanya melihat riak gelombang, Etnografi menyelami dalamnya dasar lautan”(James P. Spradly)

BENAR-BENAR BENAR (Bagian 2)

Jika gerombolan yang tergabung dalam validitas konsensus berfokus pada dirinya sendiri, sudah memang begitu adanya, karena pakar said so, tidak demikian adanya dengan validitas yang tergabung dalam komplotan validitas komparasi. Para member gank validitas komparasi ini justru lolos uji validitas jika dia menakar diri, alias membandingkan diri. Anggota pertama gank komparasi adalah criterion validity. Criterion validity diperoleh dengan membandingkan instrumen dan hasil pengukurannya. Criterion validity punya dua “downline” yaitu concurrent validity dan predictive validity.

Suatu instrumen dikatakan lolos dari saringan concurrent validity jika instrumen tersebut menghasilkan ukuran yang relatif sama dengan instrumen lain yang telah lebih dahulu dikenal valid. Jadi ada faktor senioritas di sini …Contohnya tes TOEFL, digunakan untuk mengukur kemampuan seseorang berbahasa Inggris. Suatu waktu Anda misalnya iseng-iseng membuat instrumen baru dalam mengukur kemampuan seseorang berbahasa Inggris, sebut saja namanya tes TUPEL. Seandainya seseorang mendapat skor yang tinggi pada tes TOEFL maka dia juga seharusnya mendapat skor yang tinggi pada tes TUPEL. Jika demikian yang terjadi maka instrumen baru Anda tersebut valid secara concurrent.

Selanjutnya, suatu instrumen lolos dari saringan predictive validity jika instrumen tersebut punya kemampuan layaknya seorang cenayang, alias mampu meramal konsep pada waktu tertentu di masa depan berdasarkan pengukuran di masa sekarang. Misalnya tes potensi akademik (TPA) yang dibuat oleh suatu perguruan tinggi untuk menyeleksi calon mahasiswa yang hendak melanjutkan kuliah pada program pasca sarjana. Diharapkan setiap calon mahasiswa yang lolos TPA berpeluang besar mampu mengikuti dan menyelesaikan kuliah dengan baik. Jika ternyata kenyataanya seluruh atau sebagian besar mahasiswa yang dulunya dinyatakan lolos TPA bisa mengikuti dan meyelesaikan kuliah dengan baik maka TPA tersebut valid secara predictive.

Anggota kedua dari gank komparasi adalah construct validity, seperti halnya criterion validity dia juga punya dua “downline” yaitu convergent validity dan discriminant validity. Jika pada criterion validity instrumen head to head dengan dengan hasil pengukurannya, maka pada construct validity instrumen head to head dengan instrumen.

Convergent validity akan meloloskan instrumen dari saringannya jika instrument tersebut menghasilkan hubungan erat antara dua atau lebih konsep yang memang secara teori ditakdirkan harus berhubungan! Misalnya salah satu proposisi dalam teori perilaku konsumen menyatakan bahwa makin tinggi kepuasan pelanggan terhadap suatu produk atau jasa makin tinggi juga loyalitas pelanggan terhadap produk atau jasa tersebut. Kepuasan pelanggan dan loyalitas pelanggan adalah dua konsep yang berbeda, jika instrumen untuk mengukur kepuasan pelanggan dan loyalitas pelanggan dikorelasikan dan ternyata hasilnya berkorelasi secara signifikan, maka instrumen tersebut valid secara convergent.

Terakhir adalah discriminant validity, jika pada validitas convergent instrumen kudu musti menghasilkan hubungan yang erat, sebaliknya pada validitas discriminant justru konsep yang diukur tidak boleh berhubungan alias harus berbeda secara signifikan, tapi perbedaan ini tetap didasarkan pada teori. Misalnya konsep kepemimpinan demokratis dan kepemimpinan otoriter dalam organisasi, secara teori kedua gaya kepemimpinan ini berbeda satu sama lain. Jika seorang peneliti menyusun suatu instrumen untuk mengukur kedua konsep tersebut kemudian setelah diuji secara statistik (dengan t-test misalnya) ternyata nilai variabel-variabel dari masing-masing konsep tidak berbeda secara signifikan maka instrument tersebut tidak valid secara discriminant.

Perlu dicatat bahwa uji validitas yang dipaparkan di atas belum menjamin kualitas hasil dari suatu penelitian. Karena ada faktor lain yang juga dapat mengacau-balaukan hasil riset yaitu faktor non sampling error, “the silent killer”. Di lain waktu saya akan membahasnya…

BENAR-BENAR BENAR (Bagian 1)

Judul di atas merupakan kalimat yang selalu diucapkan oleh dosen metodologi penelitian saya setiap kali menyinggung konsep validitas. Beliau selalu mengatakan bahwa data yang valid adalah “data yang benar-benar benar”. Defenisi validitas tersebut sangat membekas dalam memori saya hingga saat ini, mungkin karena bunyinya yang unik, terdiri dari tiga kata yang sama namun jika diucapkan membentuk suatu idiom.

Uji validitas dan reliabilitas adalah semacam proses “audit” terhadap instrument penelitan (angket, kuesioner) sebelum “go public”. Audit yang dimaksud di sini bersifat antisipasi, preventif bukan evaluatif seperti lazimnya pengertian audit di dunia keuangan. Kualitas hasil riset salah satunya ditentukan oleh faktor uji validitas dan reliabilitas. Apapun metode analisis yang Anda gunakan, secanggih apapun uji-uji statistik yang Anda pakai, tidak akan berguna jika instrument penelitian Anda tidak melalui “audit”! Hukum “GARBAGE IN GARBAGE OUT” berlaku di sini.

Jika Anda membandingkan sejumlah buku metode penelitian, maka Anda pasti tidak akan menemukan “kesepakatan” di antara para penulis buku tersebut terutama dalam dalam jumlah/ragam jenis validitas dan pengelompokkannya. Saya sudah melakukan content analysis kecil-kecilan terhadap sejumlah buku metode penelitian baik di bidang sosial maupun pemasaran, hasilnya saya menemukan ada 4 jenis validitas yang sering disebutkan yaitu : Face Validity, Content Validity, Criterion Validity, dan Construct Validity. Sebaiknya Anda tetap menyebutkan jenis-jenis validitas ini dalam “bahasa londo”-nya karena di antara para penulis buku-buku metode penelitian sepertinya belum ada kesepakatan penerjemahan. Jenis validitas yang paling beragam terjemahannya adalah Face Validity. Terjemahan yang digunakan terhadap Face Validity di antaranya : validitas rupa, validitas muka, validitas paras, dan validitas permukaan (saya pribadi setuju yang ini…). Yang rada ngaco adalah terjemahan Content Validity, manakala sebagian besar buku menerjemahkannya sebagai validitas isi, eh ada buku yang menerjemahkannya dengan validitas kandungan (validitas ibu-ibu hamil kalee …). Sepertinya memang sudah saatnya ada suatu standar baku dalam menerjemahkan istilah-istilah di dunia metode penelitian (ada yang berminat mempeloporinya?…)

Oke, lalu apa sebenarnya validitas? Judul tulisan ini adalah defenisi validitas yang paling sederhana, benar-benar benar! Dengan kata lain suatu instrumen penelitian dikatakan valid jika mampu menghasilkan data yang benar-benar benar. Data yang benar-benar benar dihasilkan oleh instrumen yang mengukur apa yang seharusnya diukur. Contoh dalam kehidupan sehari-hari, timbangan beras valid untuk menimbang sekarung beras tapi tidak valid menimbang sehelai surat, termometer tubuh valid untuk mengukur suhu tubuh tapi tidak valid mengukur suhu air mendidih, jika dipaksakan dijamin ancur tuh termometer (sure deh, percaya deh, saya pernah membuktikannya waktu kecil, alhasil uang jajan saya dipotong oleh ibu saya untuk mengganti termoternya yang pecah). Contoh yang lebih relevan dengan dunia penelitian, apakah cukup dengan hanya menanyakan pengeluaran rutin perbulan maka kita sudah mengukur status sosial dan ekonomi seseorang? Ukuran pengeluaran rutin perbulan tidak valid dalam mengukur status sosial dan ekonomi seseorang, alat ukur tersebut hanya mengukur status ekonomi!

Validitas terdiri dari beberapa jenis, seperti yang telah disebutkan sebelumnya. Ke empat jenis validitas tersebut masih bisa dikelompokkan menjadi validitas konsensus dan validitas komparasi. Termasuk dalam validitas konsensus adalah face validity dan content validity. Pengertian konsensus disini adalah kesepekatan para ahli/pakar dibidangnya bahwa suatu ukuran/instrumen memang benar atau tepat adanya mengukur suatu fenomena/gejala. Misalnya untuk menentukan dominasi suatu produk atau perusahaan di pasar tertentu maka kita bisa mengukurnya dengan menghitung market share (pangsa pasar) dari produk atau perusahaan tersebut baik secara unit maupun sales. Semua ahli marketing pasti menyarankan alat ukur ini jika Anda ingin mengetahui dominasi produk atau perusahaan Anda dalam pasar tertentu. Validitas konsensus ini merupakan validitas yang “cetek”, alias paling sederhana, cenderung subjektif, sehingga kurang menantang gitu loh. Tidak diperlukan perhitungan matematis untuk meloloskan suatu alat ukur dari saringan validitas ini. Perbedaan antara face dengan content validity hanyalah pada jumlah dimensi konsep yang diukur. Jika suatu konsep cukup diukur dengan satu atau dua variabel maka loloslah dia dari saringan face validity, misalnya konsep market share. Namun jika suatu konsep melibatkan banyak dimensi maka dia harus menjalani saringan content validity. Misalnya pengukuran status sosial dan ekonomi yang dilakukan oleh AC Nielsen di Indonesia, karena hanya melibatkan satu dimensi saja (pengeluaran rutin perbulan) jelas tidak lolos dari saringan content validity! Alat ukur AC Nielsen tidak valid untuk mengukur konsep status sosial dan ekonomi masyarakat Indonesia! Bersambung…

DASAR-DASAR POLLING (Bagian 2)

Berikut saya membagikan tahap-tahap yang umumnya dilakukan dalam suatu kegiatan polling ilmiah adalah :

• Menentukan tujuan polling (misalnya, mengetahui pendapat mahasiswa PTN terhadap perubahan status PTN menjadi BHMN)
• Mendefenisikan populasi sasaran berdasarkan tujuan polling (misalnya, mahasiswa UI yang masih aktif menjalankan kuliah pada saat polling dilakukan)
• Menentukan tehnik penarikan sampel (misalnya, multistage stratified random sampling)
• Menyusun kerangka sampel (misalnya, daftar nama mahasiswa UI yang masih aktif dari sub bagian administrasi masing-masing fakultas)
• Membuat instrumen pengumpulan data (menyusun pertanyaan-pertanyaan)
• Menentukan waktu pengumpulan data
• Menentukan tehnik pengumpulan data (misalnya, wawancara langsung)
• Pengolahan dan analisi data. Suatu polling akan mudah dilaksanakan apabila cakupan hasil polling tidak terlalu luas.

Perlu diperhatikan bahwa hasil polling dapat disalahgunakan oleh kelompok atau individu tertentu untuk kepentingan mereka sendiri, maka kita harus mampu menelaah berbagai hasil polling secara hati-hati dan kritis. Untuk mengkritisi suatu hasil polling, dapat dilakukan dengan cara mengajukan pertanyaan terhadap suatu hasil polling yang biasanya telah dipublikasikan pada media massa tertentu. Beberapa pertanyaan yang dapat diajukan adalah sebagai berikut :

• Siapa yang melakukan polling (lembaga/instusi independen, profesional atau pemerintah), apakah lembaga tersebut memiliki kredibilitas dalam melakukan polling?
• Dari mana sumber dana untuk melakukan polling?
• Berapa jumlah responden (n) yang dilibatkan dalam polling?
• Apa tehnik sampling yang digunakan?
• Bagaimana cara menyusun kerangka sampelnya?
• Bagaimana tehnik pengumpulan data yang digunakan?
• Apa rumusan populasi sasarannya?
• Kapan waktu pelaksanaan polling?
• Apa saja pertanyaan yang diajukan kepada responden?
• Berapa tingkat signifikansi dan besaran sampling error yang digunakan?
• Apa faktor-faktor non sampling error yang dapat mempengaruhi hasil polling?

Pertanyaan-pertanyaan di atas dapat membantu kita untuk mengkritisi suatu hasil polling, sehingga kita dapat memperkirakan seberapa tingkat validitas dan keberlakuannya.

Jadi, suatu polling dapat dikatakan ilmiah, apabila pada hasil polling tersebut dicantumkan jumlah sampel, rumusan populasi sasaran, tehnik penarikan sampel, besarnya sampling error dan bentuk-bentuk pertanyaan yang diajukan kepada responden.

Apa yang dipikirkan oleh rakyat itu barulah disebut dan baru menjadi pendapat umum kalau ia telah diekspresikan dan diungkapkan

(Leonard W. Dodo)

DASAR-DASAR POLLING (Bagian 1)

Dua dari tiga lelaki Jakarta berselingkuh…satu dari dua cowok Jakarta ngeduain atau lebih…tujuh dari sepuluh perempuan Indonesia memakai Kotex….mayoritas masyarakat Indonesia mendukung pembubaran STPDN… 

Penggalan-penggalan kalimat di atas merupakan kesimpulan/interpretasi dari kegiatan polling yang diselenggarakan oleh sejumlah media massa di Jakarta dan propaganda iklan dari sebuah produsen produk pembalut wanita. Beberapa pernyataan tersebut mungkin sudah tidak asing dan telah sering kita dengar. 

Mungkin kita masih mengingat peristiwa naas yang menimpa seorang praja STPDN Jatinangor  yang tewas dianiaya oleh para seniornya, sebelum kasus Cliff Muntu. Pada saat peristiwa tersebut mencuat dan menjadi berita utama pada hampir seluruh media masa nasional baik cetak maupun elektronik, berbagai reaksi dari masyarakat bermunculan. Polling-polling yang diselenggarakan oleh berbagai media massa terutama media elektronik, dalam hal ini televisi menunjukkan mayoritas responden mendukung pembubaran STPDN. Apalagi setelah ditayangkannya video ekslusif bertajuk “Di balik tembok STPDN” oleh SCTV, dukungan terhadap pembubaran STPDN semakin besar. Sejumlah kalangan dari STPDN baik praja maupun staf pengajar menuduh SCTV berat sebelah dalam menampilkan citra STPDN. Namun pihak SCTV bersikukuh telah berusaha menayangkan peristiwa STPDN tersebut seobjektif mungkin.

Tayangan khusus ini didukung oleh polling yang dilakukan oleh SCTV melalui SMS. Hasilnya luar biasa, selama kurang lebih 4 jam berhasil didapatkan respon dari lebih dari 30.000 pesan dan 93% pesan-pesan tersebut mendukung program yang telah ditayangkan oleh SCTV. Sepengetahuan saya, ini adalah polling langsung terbesar dalam sejarah kegiatan polling di televisi. 

Lalu apa yang dapat kita kritisi dari ilustrasi di atas? Sudahkah ilustrasi tersebut merupakan contoh dari suatu kegiatan polling yang benar, sesuai dengan kaedah-kaedah ilmiah? Dapatkah hasil polling tersebut diinterpretasikan sebagai suara masyarakat Indonesia yang secara mayoritas mendukung SCTV dalam menayangkan acara “Di Balik Tembok STPDN” ? 

Tulisan sederhana ini akan mencoba menjawab pertanyaan-pertanyaan di atas. Tulisan ini bukan merupakan pembahasan teoritis tentang polling, tetapi lebih pada sebuah tulisan populer yang mencoba memberi pengenalan dan membuka wawasan kita tentang polling secara umum, sehingga diharapkan kita dapat lebih kritis dalam menelaah berbagai hasil polling, yang saat ini semakin gencar dilakukan oleh berbagai pihak.  

Polling Sebagai Media Untuk Menggali dan Mengekpresikan Suara Hati Masyarakat? 

Polling atau yang dalam bahasa Indonesia diterjemahkan sebagai jajak pendapat, bagi sebagian orang mungkin tidak jauh berbeda dari penelitian-penelitian biasa yang sering dilakukan oleh lembaga-lembaga riset independen, profesional maupun pemerintah. Pendapat tersebut tidak salah, karena polling memang merupakan salah satu bagian dari tehnik pengumpulan data dalam metode penelitian survei. 

Polling memiliki kekhasan tersendiri. Kekhasan polling terletak pada kesederhanaan masalah yang diangkat. Polling tidak melakukan pengujian teori seperti yang biasanya dijalankan secara ketat pada penelitian-penelitian yang bersifat akademik. Analisis hasil polling umumnya bersifat deskriptif, tidak melibatkan analisis dengan perhitungan-perhitungan statistik kompleks dan ngejlimet sehingga mengakibatkan ketergantungan terhadap puyer sakit kepala. 

Expired date hasil polling umumnya singkat, hanya berlaku pada saat suatu topik/permasalahan sedang ramai dan hangat dibicarakan. Sehingga hasil polling tidak dapat digunakan untuk menyelesaikan masalah dan memberi masukan pada pengambilan kebijakan-kebijakan yang bersifat strategis. Sebagai konsekuensi dari kekhasannya tersebut, polling tidak membutuhkan waktu lama dalam pelaksanaannya, sehingga instrumen yang digunakan untuk mengumpulkan data cukup ringkas dan sederhana, serta umumnya  bersifat closed ended question. Kekhasan-kekhasan polling di atas mungkin menimbulkan keraguan terhadap fungsi dan manfaat polling. 

Seperti yang dikemukakan oleh Eriyanto dalam bukunya “Metodologi Polling, Memberdayakan Suara Rakyat”, polling dilakukan untuk mengetahui bagaimana pendapat yang berkembang di tengah-tengah masyarakat terhadap suatu fenomena, gejala, isu, atau peristiwa. Polling merupakan sarana untuk mengetahui pendapat umum, menggali dan mengungkapkan berbagai hal yang tersembunyi dalam benak masyarakat. 

Namun untuk mengklaim suatu hasil polling sebagai suatu pendapat masyarakat tidaklah mudah, ada persyaratan-persyaratan ketat yang harus dijalankan dan sejumlah rambu-rambu yang harus dipatuhi.  

JEBAKAN NILAI RATA-RATA

Rata-rata dan standar deviasi merupakan dua pengukuran dalam statistika yang seharusnya digunakan secara simultan. Namun para pengguna data, tidak hanya orang awam riset dan statistik bahkan mereka yang sehari-hari menggeluti riset dan statistik, acap kali hanya menampilkan nilai rata-rata.  

Padahal kedua ukuran yang menggambarkan kecenderungan data ini diciptakan untuk saling melengkapi, jika hanya satu yang ditampilkan (khususnya nilai rata-rata) dapat mengakibatkan misleading terhadap data sehingga berdampak pada kesalahan dalam pengambilan keputusan. Separah itu kah? Ya! Karena rata-rata sangat rentan terhadap yang namanya pecicilan eh…pecilan alias nilai ekstrim, alias outliers. Standar deviasi berperan sebagai detektor keberadaan pecilan, sehingga jika persentase standar deviasi terhadap rata-rata lebih dari 30% apalagi lebih dari 100% maka sebuah gugus data dapat dikatakan tidak memiliki sebaran data yang baik alias mengandung oknum-oknum pecilan. 

Ada kisah humor klasik dari buku “dongeng statistik” yang menggambarkan “bahaya” dari pemisahan kedua ukuran ini. Begini ceritanya … 

Alkisah di negeri deskriptif tersebutlah seorang murid yang baru belajar jurus-jurus statistik, sebut saja Paijo. Paijo baru saja menyelesaikan jurus menghitung nilai rata-rata namun belum mempelajari jurus menghitung nilai standar deviasi. Paijo sangat menguasai jurus rata-rata dan sangat percaya diri karenanya. Suatu waktu Paijo ingin berkunjung ke negeri inferensia menemui seorang seniornya. Untuk sampai ke negeri inferensia Paijo harus menyeberang sebuah sungai yang lebar dan tidak diketahui kedalamannya. Tiba di pinggir sungai Paijo bertemu dengan seorang kakek berjubah putih, dari penampilannya sang kakek sepertinya seorang pendekar statistik. Paijo pun bertanya pada si kakek, “Kek, numpang nanya, apakah kakek tahu berapa rata-rata kedalaman sungai ini?” Si kakek sambil tersenyum menjawab “ tahu cu, rata-rata kedalaman sungai ini adalah 1.5 meter”. “wah enteng” pikir Paijo dalam hati. “Saya kan tingginya 1.70 meter, jadi saya bisa menyeberang sungai ini tanpa menggunakan rakit”. “Baik kek, terima kasih atas informasinya”. Paijo dengan penuh percaya diri menyeberang sungai tersebut. Tapi belum 5 meter dia menyeberang tiba-tiba tubuhnya terperosok dan tenggelam, apes bagi Paijo ternyata dia tidak bisa berenang, akhirnya dia meninggal dunia. 

Singkat cerita di alam baka Paijo kembali bertemu dengan sang kakek berjubah putih tadi, yang ternyata seorang malaikat. Dengan geram Paijo berkata kepada si Kakek, “Kek, gimana sih katanya rata-rata kedalaman sungainya hanya 1.5 meter, buktinya saya tenggelam dan mati!  Si kakek dengan senyum mesem berkata “Cu, kamu kan bertanya berapa rata-rata kedalaman sungainya, memang benar rata-ratanya hanya 1.5 meter, tapi kamu tidak menanyakan standar deviasinya, standar deviasinya adalah 5 meter karena ada palung sedalam 15 meter….(huaa ha..ha…ha…, lucu ngga sih?) 

Saya tidak mengharapkan pembaca tertawa setelah membaca kisah di atas, tapi kalau sampai tertawa berarti selera humor Anda sangat berkelas (he..he..he..). Saya hanya ingin menghimbau, pada saat menggunakan nilai rata-rata jangan pernah lupakan nilai standar deviasi, jangan pernah pisahkan mereka, kalau tidak ingin tenggelam dalam sungai jebakan data…

MENGGUGAT PENGUKURAN KONSEP SOCIAL AND ECONOMIC STATUS (SES)

Beberapa waktu lalu saya mendapat kesempatan ngobrol santai dengan seorang petinggi di industri otomotif Indonesia. Pertemuan saya dengan beliau merupakan bagian dari sebuah kegiatan riset kualitatif. Ada statement menarik dari beliau tentang data riset yang dirilis secara berkala oleh AC Nielsen (ACN), kira-kira kutipannya sebagai berikut…

“Sory…saya mungkin orang marketing yang termasuk paling enggak percaya sama Nielsen”.  Saya lalu memprobing lebih jauh statementnya tersebut, “ Paling ngga percaya? Kenapa pak?”… “Enggak make sense menurut saya. Contohnya segmentasinya dia, kelompok A, B plus segala macam. Coba… dia kan berdasarkan income. Saya bilang income segitu mah omong kosong, itu mah buat bayar cicilan rumah juga sudah habis. Boro-boro mau melihara bini. Anak enggak kasih makan, enggak usah sekolah, gratis…” Saya mencoba mengklarifikasi penjelasan beliau, “Tapi Pak, yang ditanyakan bukan income tetapi expenditure!” “Dibikin expenditure-pun itu enggak masuk diakal ! Bukan A, B aja sudah tanda tanya. Karena kalau expenditure-nya dia 5 juta. Suruh nyicil mobil satu bulan tiga juta….habiss… Enggak mungkin, hari minggu nongkrong di McDonald itu sudah enggak mungkin”. 

Saya hanya mengiyakan dan tidak memprobing lebih lanjut karena riset saya bukan bertujuan mengevaluasi data ACN. Dan tulisan ini tidak bertujuan mendukung atau membantah pendapat sang petinggi di atas, namun lebih jauh mencoba menganalisis konsep SES (Socio & Economic Status) yang digunakan oleh ACN untuk meng “kastakan” masyarakat Indonesia menjadi enam kategori ordinal. Diukur dengan menggunakan variabel pengeluaran (expenditure) keluarga dalam satu bulan, tidak termasuk tabungan dan cicilan hutang. Kategori-kategori tersebut adalah : A1 (> Rp 3.000.000), A2 (Rp 2.000.0001 s.d. Rp 3.000.000), B (Rp 1.500.001 s.d. Rp 2.000.000), C1 (Rp 1.000.001 s.d. Rp 1.500.000), C2 (Rp 700.001 s.d. 1.000.000), D (Rp 500.001 s.d. Rp 700.000), E (<= Rp 500.000). 

Lalu apa yang salah dengan operasionalisasi konsep SES di atas? Sebenarnya tidak ada yang salah jika yang diukur oleh enam kategori di atas adalah murni konsep/variabel pengeluaran keluarga perbulan (household expenditure (HHE)), pengukuran konsep tersebut valid adanya. Namun jika yang dimaksud adalah konsep SES maka pengukuran yang dilakukan adalah tidak valid! Pengukuran tersebut tidak memiliki validitas isi (content validity) yang merupakan salah satu dari 4 jenis validitas perangkat ukur dalam penelitian. Jenis-jenis validitas lainnya adalah validitas permukaan (face validity), validitas kriteria (criterion validity), dan validitas konstruk (construct validity).  

Sebuah perangkat ukur dikatakan memiliki validitas isi jika perangkat ukur tersebut mewakili semua aspek yang dianggap sebagai aspek kerangka konsep yang diukurnya. Contoh paling gampang adalah jika kita ingin mengukur VOLUME suatu benda maka kita harus mengukur panjang (P), lebar (L) dan tinggi (T) dari benda tersebut kemudian mengalikannya. Jika kita hanya mengukur P dan L saja maka kita tidak sedang mengukur konsep VOLUME melainkan sedang mengukur konsep LUAS. 

Konsep SES tidak dapat diukur semata dengan variabel pengeluaran saja, karena hanya mengukur status ekonomi dari si responden (walaupun variabel income dan tabungan lebih valid untuk mengukur status ekonomi), sedangkan status sosialnya sama sekali tidak terukur. Status sosial harus diukur misalnya dengan variabel pekerjaan, jabatan formal (jabatan di kantor atau organisasi), jabatan non formal (jabatan di komunitas) dll. Jika semua aspek dari kerangka konsep SES diukur, barulah perangkat ukur tersebut dikatakan valid secara content. 

Sangat mengherankan lembaga riset sekaliber ACN tidak memerhatikan validitas alat ukurnya. Pade kemane ahli-ahli metodologinya? Mungkin memang benar adanya, sulit mengukur konsep SES di Indonesia, tapi itu bukan suatu hil yang mustahal dilakukan. ACN tinggal membentuk panel ahli dengan tehnik Delphi misalnya untuk menghasilkan suatu indeks atau skala SES masyarakat Indonesia. Namun yang paling mendesak saat ini adalah ACN harus meralat dan mensosialisasikan bahwa yang mereka ukur hanyalah status ekonomi, tidak termasuk status sosial!

RANDOM SAMPLING, TEBAK-TEBAK BUAH MANGGIS

Seorang account executive pada tabloid mingguan “X” menilai ada keanehan pada data yang dirilis sebuah lembaga riset independen. Data tersebut berupa profil pembaca tabloid “X”. Keanehan pertama terletak pada besaran readership (jumlah pembaca) tabloid “X”, nilainya jauh di bawah tirasnya saat ini. Padahal readership merupakan bahan baku utama dalam pengambilan keputusan kuantitatif oleh para media planner untuk media placement. Keanehan kedua adalah pada data yang menunjukkan bahwa sebesar 30% pembaca tabloid “X” memiliki tingkat pengeluaran pada kisaran 400-800 ribu rupiah per bulan. Hal ini menurutnya tidak masuk akal karena harga tabloid “X” jika dibandingkan dengan media cetak lain berformat sejenis termasuk mahal, bahkan mendekati harga rata-rata media cetak berformat majalah. Isinya pun tidak “remeh-temeh”, perlu tingkat intelektualitas dan daya nalar tinggi untuk dapat memahaminya. “Rasa-rasanya tidak “pantas” menjadi bacaan mereka yang tingkat pengeluarannya dilevel UMR…” ujarnya sengit tanpa bermaksud merendahkan. 

Lain halnya dengan seorang pemimpin redaksi majalah remaja “Y” yang terbelalak takjub begitu disodori data jumlah pembeli majalah “Y”. Angkanya hampir 5 kali lipat tirasnya. Dengan sinis dia berujar “Gile kalo bener begini nih, gue udah pake BMW seri tujuh ke kantor…”. 

Bagi pihak luar yang tidak mengetahui “isi perut” tabloid “X” dan majalah “Y” akan cenderung memercayai dan menerima “fakta” yang disajikan oleh data keluaran lembaga riset independen tersebut. Apalagi jika lembaga tersebut merupakan lembaga riset independen yang dianggap paling kredibel. Si account executive dan pemimpin redaksi adalah pihak internal yang dapat segera memverifikasi data tersebut dengan performance produknya. Sedangkan lembaga riset tadi termasuk pihak luar yang tidak mengetahui pasti “isi perut” tabloid “X” dan majalah “Y”. Lembaga ini dengan berbekal seperangkat metode ilmiah mencoba menduga “isi perut” tabloid “X” dan “Y”. 

Namanya juga menduga, hasilnya bisa tepat bisa meleset, bisa sahih bisa tidak!   

Informasi yang mengalami underestimate dan overestimate adalah akibat nilai statistik (nilai sampel) telah menjadi penduga yang bias bagi nilai parameter (nilai populasi). Peran nilai statistik sebagai penduga yang bias terhadap nilai parameter timbul sebagai konsekuensi penarikan sampel acak yang telah mengadung bias. Bukan perkara mudah menghasilkan suatu nilai statistik yang mampu berperan sebagai penduga yang tidak bias, apalagi dengan populasi target yang sangat heterogen. Semakin heterogen suatu populasi target penelitian, maka semakin kompleks tahapan penarikan sampelnya (multistage random sampling) serta semakin besar pula jumlah elemen populasi yang harus dijadikan sampel apalagi jika ditambah dengan jumlah variabel penelitian yang sangat banyak (mencapai ribuan variabel misalnya). Namun disinilah letak ironi penarikan sampel, karena semakin banyak tahapan yang dilalui dalam penarikan sampel maka semakin besar juga peluang terjadinya bias, karena setiap tahapannya mengandung bias. 

Jadi logika sederhananya untuk meminimalisir bias pada saat penarikan sampel salah satu caranya dengan penarikan sampel dalam satu tahapan saja (simple random sampling). Namun pada kenyataan praktis lapangan sangat sulit memilih menarik sampel secara sederhana dari sebuah populasi yang sangat heterogen, apalagi jika populasinya adalah masyarakat Indonesia dengan tingkat heterogenitas tinggi (heterogen secara geografis, sosial, ekonomi dan budaya). Sehingga mau tidak mau para penyelenggara survei di negara ini harus memilih teknik penarikan sampel yang kompleks dengan resiko bias tinggi. Birokrasi dan manajemen data penduduk Indonesia yang masih carut marut juga turut menyumbang terjadinya bias penarikan sampel jika kerangka sampel disusun berdasarkan official data (kecamatan, kelurahan, atau RT misalnya). Bukankah bagi yang mampu “membayar” aparat demikian mudahnya membuat kartu tanda penduduk (KTP)? KTP Bogor ada, KTP Depok ada, KTP Jakarta ada lima! Belum lagi update data warga yang jarang dilakukan, sehingga kadang ketua RT tidak menyadari kalau si Parlan, “kontraktor” di rumah nomor 20, Gang Pare, sudah dua tahun meninggalkan “proyeknya”. Dalam ilmu ”persampelan” fenomena ini dikenal sebagai blank foreign elements.

Kondisi ini umumnya sangat disadari dan dipahami oleh lembaga-lembaga riset independen yang melakukan survei di Indonesia, sehingga mereka akan mengupayakan secara maksimal dapat meminimalisir peluang bias akibat penarikan sampel multi tahap. Bahkan ada yang menerapkan strategi sampling khusus yang tidak lazim dipaparkan dalam buku-buku teks Statistika dasar.  

Tabel berikut menunjukkan jumlah sampel dan proyeksi terhadap populasi di beberapa negara Asia yang merupakan jaringan Nielsen Media Research (NMR). Apabila diurutkan berdasarkan jumlah populasi yang diproyeksikan maka Thailand menduduki urutan pertama, Indonesia di urutan kedua, padahal jumlah penduduk Indonesia jauh lebih banyak daripada penduduk Thailand. Namun sebaliknya jika data tersebut diurutkan berasarkan jumlah sampel maka Indonesialah yang berada diperingkat pertama. Thailand memiliki jumlah sampel 38% lebih sedikit dibanding jumlah sampel Indonesia namun memiliki jumlah populasi yang dapat diproyeksikan 27% lebih banyak daripada Indonesia. Thailand lebih efesien dibanding Indonesia! Philippines adalah negara yang paling efesien karena jumlah sampelnya hanya 0,01% dari jumlah proyeksi populasinya, persentase paling rendah di banding ke-6 negara lainnya.