Ertambang Nahartyo, Ak. Ph.D. Fakultas Ekonomika dan Bisnis Universitas Gadjah Mada

1. Desain Riset Eksperimen Ertambang Nahartyo, Ak. Ph.D. Fakultas Ekonomika dan Bisnis Universitas Gadjah Mada

2. Garis Besar Pemaparan 1 Eksperimen: pengantar 2 Desain Eksperimen 3 Manipulasi 4 Validitas: internal vs. eksternal 5 Managemen subjek

3. Baseline • Dongeng Tiga Ekor Anak Babi

4. Jenis manusia berdasarkan pengetahuan yang dimiliki • Manusia yang tahu atas pengetahuannya • Manusia yang tahu atas ketidaktahuannya • Manusia yang tidak tahu atas pengetahuannya • Manusia yang tidak tahu atas ketidaktahuannya

5. Sajak Taufik Ismail Ternyata dunia ini adalah sebuah peti Dunia sebuah peti yang besar dan tertutup di atasnya dan kita membuat peti di dalam peti ini

6. motto • Pengetahuan tak akan berkembang jika sains bersifat sepihak • Ketahuilah apa yang kau tahu dan apa yang tak kau tahu • Di atas langit masih ada langit

7. Epistemologi • Ciri pengetahuan dan cara pengetahuan diperoleh • Kebenaran (truth), kepercayaan (belief) dan pembenaran (justification) • Pembenaran dapat bersifat empirik, berupa kesaksian yang kredibel, atau deduksi logis. • Empirisisme menekankan pada bukti pengetahuan yang diperoleh dari observasi di dunia nyata.

8. Metoda saintifik • Tidak ada kemutlakan • Aksi berdasarkan pada peluang (jadi…tergantung juga pada urutan prioritas) • Asumsi (e.g. ekonomika vs pemegang amanah)

9. Sumber pengetahuan • Penalaran (logis dan analitik) • Deduksi (rasional) • Induksi (empiris)  Mengarah pada pernyataan yang semakin fundamental tetapi tetap tak mampu mereproduksi kenyataan (pahitnya kopi, manisnya madu) • Intuisi (berpikir tanpa penalaran) • Wahyu/ilham

10. Tiga aliran • Positivist • Reality is objectively given and can be described by objective & measurable properties

11. Epistemologi • Interpretive • Access to reality is only through social constructions such as language and shared meanings • Critical • Reality is produced by people and therefore can be reproduced • Oppositions, contradictions, conflicts

12. Metodologi • Dua kutub: • Natural vs. Social sciences • Quantitative vs. Qualitative • Objective vs. Subjective • Nomothetic vs. Idiographic • Prediction vs. Understanding • Outsider (Etic) vs. Insider (Emic)

13. PRINSIP-PRINSIP 4 N (Ki Hadjar Dewantara) • Niteni • Nithili • Nirokake • Nambahi

14. Strategic Management Game

15. Eksperimen: sebuah pengantar • Eksperimen adalah desain riset untuk menginvestigasi suatu fenomena dengan cara merekayasa keadaan atau kondisi lewat prosedur tertentu dan mengamati hasil perekayasaan tersebut serta menginterpretasikannya. x → y

16. Eksperimen: sebuah pengantar • Kontrol di tangan peneliti • Manipulasi • Eksperimen laboratorium dan lapangan • Unit eksperimental • Galat eksperimental • Hubungan sebab akibat (necessary & sufficient conditions)

17. Eksperimen: sebuah pengantar • Grup eksperimen dan grup kontrolYij = a + b1 Xi + b2 Vij + eij • Untuk menjamin kesetaraan grup • Randomisasi • Pemadanan (matching) • Analisis kovariansi

18. Eksperimen: sebuah pengantar • Empat faktor penunjang eksperimen • α • β • ukuran sampel, • dan desain riset D • untuk meningkatkan power of the test: • meningkatkan jumlah sampel, • meningkatkan efek manipulasi, • dan mengontrol efek pengganggu.

19. Eksperimen: sebuah pengantar • Eksperimen adalah rute alternatif untuk mengembangkan pengetahuan; bukan panasea. • Perkembangan teknologi dan teknik statistika menaikkan mutu penelitian eksperimental (e.g. multivariate analyses)

20. Validitas Riset • Statistical-conclusion validity • Construct validity • Internal validity: did in fact the experimental treatments make a difference on the phenomena being observed? • External validity: to what extent (populations, settings, treatment variables and measurement variables) the effects can be generalized?

21. Validitas Internal • Isu mendasar: seberapa besar kekuatan kontrol peneliti atas variabel-variabel ekstrani dan seberapa kuat hubungan kausalitas antar variabel independen dengan variabel dependen • Validitas internal tidak otomatis ada dalam penelitian eksperimental

22. Ancaman terhadap Validitas Internal • Histori. • Maturasi. • Testing. • Instrumentasi. • Mortalitas. • Regresi. • Seleksi. • Interaksi antara seleksi dengan faktor lain.

23. Ancaman terhadap Validitas Internal Ancaman Grup Tunggal (1-6)

24. Ancaman terhadap Validitas Internal Ancaman Grup Jamak (7-8)

25. Ancaman dari grup jamak • Seleksi • Interaksi antara seleksi dengan faktor lain. • Seleksi-histori • Seleksi-maturasi • Seleksi-testing • Seleksi-instrumentasi • Seleksi-mortalitas • Seleksi-regresi

26. Ancaman dari Interaksi Sosial • Difusi atau Imitasi Perlakuan (Treatment) • Rivalitas Antargrup • Demoralisasi • Penyamaan Manipulasi atau Perlakuan

27. Validitas Eksternal • Apakah kesimpulan yang ditarik dari sebuah eksperimen berlaku juga untuk orang, waktu, tempat, dan suasana yang berbeda? • Tiga perspektif: • generalisabilitas statistis, • replikabilitas konsepsual atau robustness, dan • validitasekologis.

28. Validitas Eksternal • Terdapat dua jenis riset menurut tujuan generalisasinya: • Riset aplikasi efek (effect application research) • Riset aplikasi teori (theory application research).

29. Validitas Eksternal RAE dg RAT berbeda dalam hal: • Subjek; RAE membutuhkan subjek yang mencerminkan kondisi populasinya; RAT membutuhkan subjek sehomogen mungkin supaya pengujian teorinya semakin kuat. • Operasionalisasi variabel independen dan dependen; variabel dalam RAE harus menyamai variabel dalam dunia nyata; RAT tidak harus menyerupai variabel dalam kehidupan sehari-hari. • Situasi yang digunakan dalam riset; RAE menggunakan situasi dalam riset (eksperimen) yang realistis; situasi untuk RAT bisa bersifat tiruan atau artifisial. • Desain penelitian; eksperimen lapangan cocok untuk RAE; eksperimen murni (true experiment) lebih pas untuk RAT.

30. Faktor-Faktor Pengancam Validitas Eksternal • Interaksi antara manipulasi dengan testing • Interaksi antara manipulasi dengan seleksi • Interaksi antara manipulasi dengan tatanan (setting) eksperimen • Interaksi antara manipulasi dengan variabel-variabel lainnya

31. Faktor-Faktor Pengancam Validitas Eksternal • Interaksi antara manipulasi dengan testing • Interaksi antara manipulasi dengan seleksi • Interaksi antara manipulasi dengan tatanan (setting) eksperimen • Interaksi antara manipulasi • Manipulasi-Instrumentasi • Manipulasi-Maturasi • Manipulasi-Histori

32. Managemen Subjek Prinsip-Prinsip Menarik Partisipan • Kesukarelaan • Keterbukaan • Kerahasiaan • Kesamaan perlakuan • Kualitas ekperimen

33. Managemen Subjek Meningkatkan Jumlah Partisipan Riset • Kejelasan kontak dengan calon subjek • Relevansi topik penelitian • Kredibilitas peneliti atau lembaga yang menaungi penelitian • Penghargaan kepada subjek

34. Karakteristik Subjek • Subjek naif atau subjek netral • Subjek positif atau subjek baik hati • Subjek negatif • Subjek tertekan

35. Efek Subjek terhadap Riset • Threats to a valid inference • Subjects’ anxiety • Demand effect • Experimenters’ expectancies • Power difference

36. How to Treat Human Subjects • Deception is the last resort • always ask whether there is a proper balance between interests of science and thoughtful treatment of subjects • Implications of deception • ethical • methodological: subjects are not naïve anymore

37. Student Subjects • Existing Evidence • attitude & attitude change and general decision making • the best subject for tests designed to reflect the businessman’s behavior is the businessman himself • for general decision making, cognitive process of human is generally similar (e.g. heuristics, prejudice, etc)

38. Student Subjects • Differences between students and non-students • skills or expertise • attitude • experience: automatic behavior and attention • wealth: experiment reward & risk • age: simbolic vs. verbal problems • IRB

39. Pre-Experimental Design • One-group one-shot case studyx o • One-group pretest-posttest o1 x o2

40. Pre-Experimental Design • Static-Group Comparisonx o1------------o2

41. True Experimental Designs • Pretest-posttest control group designR O1 X O2R O3 O4

42. True Experimental Designs • Solomon Four-Group DesignR O1 X O2R O3 O4R X O5R O6replications: O2 > O1 ; O2 > O4 ; O5 > O6 ; O5 > O3

43. True Experimental Designs • Posttest Only Control Group DesignR X O1R O2

44. Quasi-Experimental Designs • X cannot be manipulated, other variables cannot be controlled, but O can be measured anytime to anybody. • Imperfect experiment; competing interpretation of data

45. Quasi-Experimental Designs • Time Series ExperimentO1O2 O3 O4 X O5 O6O7 O8periodic measurement process

46. Quasi-Experimental Designs • Non-Equivalent Control Group DesignO1 X O2O3 O4

47. Quasi-Experimental Designs • Counter-Balanced DesignX1 O X2O X3O X4 O X2O X4O X1 O X3O X3 O X1O X4 O X2O X4 O X3O X2 O X1 O