如何提高研究效度

如何提高研究效度 花蓮師院科教所劉聖忠老師

如何提高研究效度 • 何謂「信度」「效度」？ • 何謂「工具效度」？ • 何謂「研究效度」？ • 研究效度裡的內在效度和外在效度 • 影響研究效度的一些因素

信度 v.s. 效度之1 • 何謂「信度」？ • 基本上，信度的定義不外乎「穩定度(stability)」、「一致性(consistency)」 • 何謂「效度」？ • 說白話一點，效度的定義就是「測到你想測的東西的程度」

信度 v.s. 效度之2 • 信度高通常表示在研究的過程中所量得的data重複出現的機率高 • 效度高通常表示結果(=data+explanation)重複出現的機率高 • 所以… • 信度高的不一定效度高 • 效度高的一定信度高

信度 v.s. 效度之3 • 信度高的不一定效度高 • 效度高的一定信度高 • 在口語的溝通上，我們常常以有沒有效度來代表效度的高低；因此… • 有信度不一定有效度 • 有效度一定有信度

以效度為例 • 前面所定義的信、效度通常指的是一般的定義。可是在研究的過程中，我們常常會碰到的效度問題卻有二個，一個稱之為「工具效度」，另外一個稱之為「研究效度」 • 因為它們所處理、所可能面對的問題是不同的。因此，它們就應該有所區隔

工具效度之1 • 在談這個問題之前，我們必須先釐清什麼是「工具」？ • 工具通常意謂：在一個研究裡，為了測量被研究對象的某一特質(智力、學習成就等)，所使用的一種測量工具，通常稱之為問卷(questionnaire) • 通常它測的對象會是一個大的族群，例如600人或50人，很少小於25-30人

工具效度之2 • 「工具效度」= 「工具」+「效度」 • 一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度 • 例如要看一個「國小五年級自然科學習成就問卷」的工具效度就是要檢視其是否能忠實反映被研究對象的自然科學習成就 • 工具效度高代表其測量結果和事實接近

研究效度之1 • 前面提過所謂的工具效度是「一個測量工具測到它宣稱可以測到被研究對象的某一特質的程度」 • 那所謂的研究效度就是「一個研究中的研究結果可以被複製的程度」 • 研究效度高代表研究的結果被複製的程度高，也就是說研究結果的可信度高

研究效度之2 • 一個有研究效度的研究通常所使用的工具應該也是有效度的 • 上面這句話在量化的研究中一定是對的，但在質性的研究裡應該成立卻不必然就是如此。(why?)

研究效度之3 • 量的研究：要有高研究效度的研究一定得使用有高的信效度的測量工具 • 質的研究：使用具有高的信效度的測量工具一定有助於提昇研究的效度，但工具的信效度卻應該只是研究效度成立的一個重要考量，不必然是全部 • 每一個同學請舉例或用你自己的話語解釋一遍給同組的同學聽

研究效度之4 • 研究結果的可信度高具有二層的含意… • 第一層，可能只代表研究者自己或別人在完全相同的(exactly the same)研究過程中複製研究結果的程度 • 第二層，才代表別的研究者在類推的族群中(generalized population) 複製研究結果的程度

內部效度 v.s. 外部效度之1 • 在完全相同的研究過程中複製研究結果的程度指的是研究的「內部效度(internal validity)」 • 在類推的族群中複製研究結果的程度指的是研究的「外部效度(external validity)」

討論問題 • 請試著用自己的話語討論一下上面這二句話的含意 • 請以「Effects of Integrated Video…」為例

內部效度 v.s. 外部效度之2 • 在這裡所謂的內部和外部效度都是在談研究效度，只是我們談的更細一點而已 • 或者應該這麼說… • 如果我們想更進一步的了解研究效度，我們就不能不談內部效度和外部效度

內部效度 • 在教育的研究情境中，那來「完全相同的研究過程」！ • 「完全相同」有那些要項是應該考量的 • 樣本相同，或除研究特質之外的特質均相同 • 相同的或相等的信效度的測量工具 • 研究情境相同或雷同 • 因果關係的成立

外部效度 • 外部效度求的不過就是本次研究結果類推到母群體的複製程度，也可以說外部效度看的就是本研究的推論力 • 「推論力」有那些要項是應該考量的 • 樣本的代表性 • 潛藏的變因 • 高預測效度的測量工具

內部效度 v.s. 外部效度之3 • 因此… • 如果一個研究要有高的外部效度的話，一定先要有高的內部效度 • 有內部效度的研究不一定有外部效度 • 有外部效度的研究一定有內部效度 • 說穿了，沒有人會去做一個沒有推論力的研究！

內部效度 v.s. 外部效度之4 • 討論問題 • 在討論如何提高研究效度的議題上，有沒有必要區隔內部效度和外部效度？ • 有…，為什麼？ • 沒有……，為什麼？

如何提高研究效度 • 前面的上課中討論過談如何提高研究效度就等同於討論如何降低研究誤差

如何降低研究誤差 • 在此應該考量的是「如何降低，不是消除研究誤差」 • 有幾個重要的方向要考慮 • 在研究者方面(即variable control) • 在研究對象方面(即sampling) • 研究工具的選用(即instrumentation)

如何提高研究效度 • 由以上的討論，我們發現影響研究效度的因素有以下的幾個重要項目值得注意 • 取樣(sampling) • 研究工具(instrumentation) • 變因控制(variable control) • 多元資料檢證(triangulation)

取樣之1 • 主要的考量在於代表性(representativeness)和可行性(pratical)的問題 • 理想上，代表性是唯一在取樣的過程中需要考慮的事 • 但在現實中，可能可行性會折殺大部分的理想性 • 如何在研究設計中平衡理想與現實是一個挑戰

取樣之2 • 取樣的過程中，有以下的幾個問題要回答 • 母群體為何(普查v.s. 樣本) • 取樣方法的簡介(隨機取樣 v.s.方便取樣 v.s. 立意取樣) • 樣本大小的決定(how big is enough?) • 取樣誤差的控制(機誤 v.s. 常誤)

取樣之3 • 「樣本的代表性」應該考量的要項 • 取樣的方法 • 取樣的誤差 • 樣本的數目 • 分層取樣的分層依據為何 • 自願樣本的問題

取樣之4 • 隨機取樣方法的簡介 • 抽籤 • 亂數表的使用 • 等距取樣 • 分層取樣(stratified)(等量 v.s. 比率取樣) • 叢集取樣(clustered) • 多階段叢集取樣 • 隨機分派

討論問題 • 請以「Effects of Integrated Video…」為例，說明它的選樣方法為何？又其代表性如何？

取樣之5 • 「樣本大小」將影響研究結果的準確度 • 一般而言，樣本愈大準確度愈大，樣本愈小準確度愈小 • 根據統計學原理，準確度因樣本數的平方根而不同 • 例如…原有25位樣本，若想使準確度增加一倍，必須增加樣本數為100。How?

取樣之6 • 真正影響準確度的是樣本的實質大小，不是樣本佔族群的百分比 • 根據楊榮祥老師的文章，相關性研究通常至少要有30個樣本；在實驗研究裡，實驗組和控制組各至少需15個樣本；在調查研究中，則至少要有100個樣本 • 詳細決定樣本大小的方法與考量，請參見楊老師文章的19-24頁

取樣之7 • 「取樣誤差」在此意指 • History • Maturation • Memory effect • Statistical regression • Selection • Experimental mortality • Selection-maturation interaction

研究工具之1 • 「研究工具(instrumentation)」在此應該考量的是 • Use the right instrument! (check the manual) • Use instrument right! (check the administration) • 缺少信度的測量工具不可靠 • 缺少效度的測量工具測非所測 • 缺少常模(norm)的測量工具不易解釋 • 沒有標準施測流程的測量工具容易衍生常誤

討論問題 • 請以「Effects of Integrated Video…」為例，討論「常模參照(norm-reference)」和「效標參照(criterion-reference)」之不同及其應用

研究工具之2 • 一般常用的「信度(reliability)」種類 • 重測信度(test-retest reliability) • 複本信度(parallel-form reliability) • 折半信度(split-half reliability) • 內容一致性(即一般常用的 reliability) • K-20信度 • K-21信度

研究工具之3 • 一般常用的「效度(validity)」種類 • 內容效度(content validity)：一般又稱為專家效度 • 效標效度(criterion validity)：concurrent validitypredictive validity • 構念效度

研究工具之4 • Aikenhead對工具效度的研究結果顯示 • 針對相同的一個研究而言，選用 • 深度訪談(in-depth interview)的效度最高 • 半結構式訪談(semi-structured interview)次之 • 經驗式發展的(empirical-developed)測驗工具再次之 • 一般的問卷(questionnaire)末之

變因控制之1 • 「因果關係的成立」在此應該考量的是 • 重要變因的被忽略或不被考慮 • 變因間的獨立性 • 即混淆變數、中介變數的存在或其和自變項間的交互作用使研究結果的正確性大打折扣

變因控制之2 • 「潛藏的變因」應該考量的要項 • 前測效應 • 實驗組的自覺 • 研究者的情結 • 重複實驗的學習效果

變因控制之3 • 「研究者情結」在此應該考量的是 • 研究者的不自覺(teach-to-test) • 月暈效應

變因控制之4 • 「變因間的獨立性」 • 請先以張美玉老師的文章為例，討論變因間的獨立性。此研究設計的問題在那裡？ • 請以Effects of video…的文章為例，討論變因間的獨立性。此研究設計的問題在那裡？ • 你覺得那一個研究的變因控制做得比較周嚴？理由，又該如何改善？

變因控制之4 • 「研究情境的控制(context)」在此應該考量的是 • 在研究過程中的不同時間，宜保持研究情境的恆常一致 • 在研究過程中，除了變因之外，實驗組和控制組所得到的待遇應力求一致

多元資料檢證之1 • 請以Effects of integrated video…為例討論其多元資料檢證的設計，以及其獨到之處 • Triangulation在質性研究中佔有相當重要的地位與份量

多元資料檢證之2 • 研究者情結的避免方式之一，就是多利用多元資料檢證。Why?

如何提高研究效度

如何提高研究效度

Presentation Transcript