如何建置 學生學習成效評鑑機制？

1. 如何建置學生學習成效評鑑機制？ 彭森明 國立台灣師範大學 教育研究與評鑑中心

2. 一、研習大綱 1. 為什麼要做學生學習成效評鑑？ 2. 學習成效評鑑要評量哪些項目？ 3. 如何建置機制，有系統、有效率地推 展評鑑及革新方案？ 希望今天的研習會能帶動各校早日建置評鑑機制，為下一波系、所及校務評鑑做好準備。

3. Part I. 為什麼要做學生學習成效評鑑？

4. 一、緣起 (1-2) • 大學教育快速擴張帶來大學生素質低落的隱憂。政府及社會大眾開始關注學生在校學習成效，以及大學文憑所代表之實質意義與價值。 • 上述現象，美國早在1970年代即已產生，許多學者即建議實施學習成果評量，進行品質管控，並提供改進辦法。到了1990年代，學生學習成效評量，已被公認為是最有效、最具體之教學績效評鑑方案 ，聯邦政府也要求各地區負責大學及系、所認證評鑑之機構，加強運用各校提供之評量結果，做為重要認證指標。

5. 一、緣起 (2-2) • 其他國家如英國、澳大利、日本、韓國等也已實施學習成效評鑑。 • 國內情況已趨向與美國相似的發展。在下一波校務評鑑時，也計劃推展以學生學習成效為主軸的評鑑。 • 因此追求教學卓越化、提升學生素質與競爭力，做好校內各項學生學習成效評量，是一項必要措施，也是國際趨勢。

6. 二、評鑑效益 (1-2) • 了解學生專業學科知識與技能之學習成效與變化。 • 了解學生核心能力、態度與品格、以及職場能力之薰陶成效。 • 診斷學生學習弱點以及教師教學缺失，提供學校改革之依據。 • 帶動學生積極投入有方向，有目標，有標竿的學習。 • 促使教師進一步思考要教學生什麼、評量什麼、以及用什麼方法評量。

7. 二、評鑑效益 (2-2) • 提供重要指標供稽核學校及各系所辦學資源、策略及績效。 • 以學習成效來界定優良校院：一所校院，不論大小，不論公、私立，只要能有效地達成其教育目標，就是好校院。 • 總之，評鑑對學習與教學，有如航船之羅盤針，駕車之GPS，能幫助學校有效地達成教學目的，提升學生素質。

8. Part II.學習成效評鑑要評量哪些項目？

9. 一、知識、能力、態度與品格(1-5) • 學習成效是指學生接受大學教育所獲得之知識、技能、態度與品格 之增長與變化。因此學習成效廣泛、多元。 • 大學教育主要有專業學門教育，以及共同或通識博雅教育，因此學習成效評量應包含： • 專業學門教育成效評量，以及 • 通識博雅教育成效評量， 含課外活動以及其他學習環境造成的成效。

10. 一、知識、能力與品格(2-5) • 專業學門教育旨在傳授專業學門或從事某種職業所需之知識、技能與態度等。 • 博雅或通識教育主要在孕育所謂「核心能力」，即是所有大學生，不論主修何種學門科系，都應該具有的能力與特質，包括「基本技能」(essential skills) 、「核心素養」或「關鍵能力」的培養。 • 通識教育不單指通識學程，也應融入專業課程之教學中。

11. 一、知識、能力與品格(3-5) • 「基本技能」(essential skills) 、「核心素養」或「關鍵能力」含括: • 科學及人文基本知識﹔ • 高層次思考能力（如解決問題能力、批判思考能力、推理能力、創造能力等）﹔ • 人品素養（如公民意識、家庭與社會關懷、國際視野、價值觀、倫理與道德情操等）。 • 職場能力（如人際與溝通能力、領導能力、敬業精神、負責態度、積極與自動自發精神，團隊合作能力、實踐力、抗壓力、時間與情緒管理能力等）﹔ • 自主學習與進修能力( 包括閱讀能力、基本數理知識、基本資訊科技能力以及資訊搜尋能力)。

12. 一、知識、能力與品格(4-5) • 一般來說，各學科專業知識及技能、專業學科基礎能力，以及自我學習與進修能力，比較具體且容易界定，測驗也容易開發，因此爭議較少。 • 其他職場能力、高層次思考能力，以及人品素養等則比較抽象，其內容廣泛複雜，不容易獲得共識，而且評量工具也很困難製作。但這些能力的培養卻是大學教育極為珍貴的目標，是先進國家最重視研發的評量。

13. 一、知識、能力與品格(5-5) • 目前語文溝通能力，高層次思維能力（如批判思考 、解決問題、運用資訊與科技技術能力）， 以及團隊合作與敬業精神是最受先進國家重視之核心能力。 • 由上述可知，學習成效相當多元，因此學校開始實施學生學習成果評鑑時，可以依學校的辦學宗旨與目標，選擇優先項目，進行評鑑。等評鑑文化養成之後，再逐步增加項目。

14. 二、與學習相關之因素 評鑑亦需同時評量與學習相關之因素，例如： • 學生投入學習之程度(engagement) • 學習機會 (programsand activity offerings) • 學習環境 (learning environment and climate) • 課程設計 (curriculum)與學習要求 • 教師教學與評量方法 • 教師教學與學生學習輔導措施 • 學校對教學之重視與資源之投入 以便檢視教育缺失，尋求改進方案。

15. 三、學習成效評鑑的檢核要點 (1-3) 綜合國內外現況與趨勢，未來評鑑檢核的要點，將不外 乎下列項目： 1. 檢視學校是否已建立起全校性的學生學習成果評量機 制？包括 1)學校及各系、所是否訂定教學目標，比如學校與 系、所有無建立起學生的核心能力。學校到底想 培養學生具備哪些核心能力，必須要能清楚的羅 列出來。 2)學校是否成立評鑑督導單位 (續下一頁)

16. 三、學習成效評鑑的檢核要點 (續) 3)學校是否積極對教師及學生宣導評鑑之重要性及 必要性 4)學校是否訂定相關政策與執行方針，例如： -- 學校是否要求系、所訂定評量方法，評量學生 核心能力，強化教師的教學與學生的學習。 -- 系、所如何適當的配置課程、經費與人力，以 使學生逐步掌握核心能力。 5)學校是否為評鑑編列經費、提供人力資源 6)學校是否建置評鑑資訊庫及傳播網站

17. 三、學習成效評鑑的檢核要點 (2-3) 2. 檢視系、所對學生學習成效評量的執行情形 1)學生學習的成效到底如何？ - 有無直接評量？結果如何？ - 有無間接評量？結果如何？ 2) 與學習相關因素之資料收集、分析、與應用之情形 3) 依評量結果進行教學改進之情形 一旦學生無法達到學習目標，學校或系所有無進行 改善？例如 調整學習目標？ 調整教學方法？或者 調整課程、經費與人力的配置？

18. 三、學習成效評鑑的檢核要點 (3-3) 3. 高教評鑑中心規劃之重點 • 評鑑中心對學生學習成效機制已訂定自我評鑑作業方向 (評鑑雙月刊，27期，2010.9，7-13)。

19. Part III. 如何建置機制，有系統、有效率地 推展評鑑及革新方案？

20. 一、奠定良好評鑑基礎(1-12) 具體措施包括： 1.明確宣示學習成效評鑑之必要性 2. 釐清學校辦學宗旨 3. 要求各學院、系所及課程詳訂具體、完整教學目標　 4. 設置評鑑任務單位，配備人力與資源，展 示上級決心 5. 訂定學校評鑑方針與原則 6. 進行宣導與溝通，爭取全校師生之熱誠合作與參與 7. 要求各系、所研擬評鑑及革新實施方案 8. 要求全校使用統一評鑑架構與程序 （分別說明如下）

21. 一、奠定良好評鑑基礎 (2-12) 1.明確宣示學習成效評鑑之必要性 • 以馬利蘭大學為例，學校明確宣示 “Assessment of student learning is an important means for improving teaching and learning in higher education. Student learning outcomes assessment has become a focus of national efforts to improve higher education (such as the Spellings Commission) as well as a key concern for higher education accrediting organizations (such as the Middle States Commission on Higher Education). Within institutions of higher education there is a movement toward a “culture of assessment” that focuses attention on student learning and the improvement of teaching. The University of Maryland is committed to the assessment of student learning under the direction of the Provost’s Commission on Learning Outcomes Assessment.”

22. 一、奠定良好評鑑基礎 (3-12) 2.釐清學校辦學宗旨 • 以美國Western Michigan University, Kalamazoo為例，其辦學目標是： 辦理以學生為中心的研究型大學，培育學生學術思考，探究與研發能力。 • 再以美國Iowa State University為例，其大學教育目標如下: 　“我們期待所有大學部學生，在愛荷華州立大學就讀期間，都能充實一般知識與技能，獲得一、兩門專業學門高深學識，並培育優良人際溝通與領導能力，以便未來能開創豐富的人生及有效地履行公民義務”

23. 一、奠定良好評鑑基礎 (4-12) 3.要求各學院、系所及課程詳訂具體、完整教學目標(1-2) 以University of Virginia 為例，其Civil Engineering Program, School of Engineering and Applied Sciences的教學目標摘錄如下， • Program Mission Statement (教學宗旨): To provide our students with a fundamental, innovative Civil Engineering education in a way that fosters a lifetime of learning and leadership to address the needs of society. （續下一頁）

24. 一、奠定良好評鑑基礎 (續) • Goals (教學目標) • To provide graduates with the technical competencies and insight necessary to practice civil engineering and have an impact on the profession. • To provide a solid foundation of knowledge, skills, and abilities for successful study at leading graduate and professional institutions. • To promote a breadth of abilities and knowledge, including quantitative and analytical skills, communication skills and social insight, to allow graduates to pursue careers in a diversity of fields including engineering, business, management, and information technology. • To prepare graduates for a lifetime of learning, for leadership, and for service to the profession and society. (續下一頁)

25. 一、奠定良好評鑑基礎 (續) • Program Outcomes/Objectives (學習成效目標) A graduate of Civil Engineering: 1. Can design a component of a civil engineeringsystem, incorporating social, economic, ethical, and contractual considerations. 2. Can develop a major research or design proposal for an engineering problem, complete the analysis, and prepare and present the results, while demonstrating an understanding of the role and impact of engineering research and practice on society. 3. Will demonstrate both leadership and teamwork capabilities.

26. 一、奠定良好評鑑基礎 (5-12) 3.要求各學院、系所及課程詳訂具體、完整教學目標 (2-2) 再以 the University of Virginia 為例，其general education student learning outcomes for critical thinking為: • Undergraduate students graduating from the Universityshould be able to: • Carefully interpret, analyze, and evaluate evidence, statements, graphics, questions, etc. • Construct well-supported and sustained arguments. • Justify conclusions based on well-supported arguments.

27. 一、奠定良好評鑑基礎 (6-12) 4. 設置評鑑任務單位，配備人力與資源，展示上級決心 以馬利蘭州立大學為例， “the Provost's Commission on Learning Outcomes Assessment provides the leadership and organizational procedures for our engagement in such assessment. … The Commission's charge is to work with all academic units in developing student learning outcomes and ongoing assessments. The Commission is made up of four interacting groups of UM faculty and administrators: A Steering Committee of Deans. College Coordinators, named by each College to serve as a liaison for their respective colleges. A Planning Team consisting of colleagues from Undergraduate Studies; Institutional Research, Planning and Assessment; and the Graduate School. And Faculty Working Groups, named by the Steering Committee, made up of teaching and research faculty for specific assessment needs.” • 一般大學都設立 institutional research and assessment office，專職從事這方面的工作。目前國內尚無此機制，值得思考改進。

28. 一、奠定良好評鑑基礎 (7-12) 5.訂定學校評量方針與原則 (1-2) 以美國密西根西部州立大學為例，其評量方針包括: 1. 學校之任務與責任是提供高品質的課程與教學活動，讓學生準備好在未來錯綜複雜的世界中，能過著有生產力與貢獻的生活。 2. 學校之學術及課外活動方案將關注學生之學術成就表現以及其他核心能力的發展。 3. 學校將以學生學習成果以及學校持續改進與創新做為治校績效標竿。 (續下一頁)

29. 一、奠定良好評鑑基礎 (續) 4. 全校各部門在制訂改進行動方案時，必須審慎分析多元評量資料。 5. 從學校層級來看，沒有任何單一教育目標要比其他優先。 6. 科、系、所之間的複雜性與多元性無法用同一評量架構涵蓋所有學習成果項目。 7. 任何特一知識或技能不是由特一課程、系、所或經驗養成，因此學校評量資料不宜與單一課程或教師連結。 8.評量結果只用來檢定個別學生以及學程的強項與弱點，做為輔導與改進之依據。

30. 一、奠定良好評鑑基礎 (8-12) 5.訂定學校評量方針與原則 (2-2) 再以維州大學 (University of Virginia)為例，其所採取地方針是 1. Assessments should be useful, feasible, and minimize the burden on faculty and students. 2. Each academic program should define its own most important outcomes. 3. Assessment methods should be kept as simple as possible and connected to what faculty and students are already doing. 4. The unit of analysis for learning outcomes assessments should be at the academic program level. 5. Faculty involvement is essential. 6. Results should be actively used to make program improvements.

31. 一、奠定良好評鑑基礎 (9-12) 6.進行宣導與溝通，爭取全校師生之熱誠合作與參與 推展評鑑最大的阻力是參與評鑑的人員不清楚地了解為什麼要做評鑑，評鑑有什麼好處，評鑑結果做什麼用。 假如大部分教師及學生都不清楚評量之目的與用途，認為評量與他/她們無關，不論是學校自主或政府推行之評鑑，其推展工作都會有困難。 因此評量單位應利用適當機會與教師及學生進行溝通，說明評量原由與目的，讓他/她們了解評量的重要性，對她們會有什麼好處或利害關係，並輔導各單位運用評量資訊做決策及改進，以降低教師之防衛心態，提高學生之熱誠參與。 (續下一頁)

32. 一、奠定良好評鑑基礎 (續) 宣導方式包括: 1. 舉辦研習會或說明會，可以全校性或分別在 院或系、所分別舉行。 2. 印製說明書 3. 建置資訊網站，彙集各項資訊，以供宣導及 參考。

33. 一、奠定良好評鑑基礎 (10-12) 7. 要求各系、所研擬評鑑及革新實施方案 (1-3) 評鑑主要以系、所為考核單位，所以各校都會要求校內各系、所提出評鑑計畫並定期提出實施成果報告。 以美國為例，University of North Carolina at Chapel Hill要求 “All academic and administrative units on campus are expected to maintain an assessment plan which articulates its intended student learning outcomes or administrative outcomes as appropriate.  The plan must contain the mission of the program or unit, intended outcomes, methods to be used to measure the extent to which the outcomes are met, and an appropriate schedule for conducting the assessments. ”

34. 一、奠定良好評鑑基礎 (11-12) 7. 要求各系、所研擬評鑑及革新實施方案(2-3) 同樣地，the University of Illinois Urbana-Champaign 也要求 “All academic units develop plans to assess student achievement in their undergraduate and graduate programs. In the Unit Assessment Plans all academic programs identified (a) the process followed to develop the plan, (b) desired student outcomes, (c) measures and methods for assessing student achievement of the outcomes, and (d) plans to use the assessment results for program improvement.”

35. 一、奠定良好評鑑基礎 (12-12) 8.要求全校使用統一評鑑架構與程序 以下是University of Virginia 爲系、所提供之評鑑七步驟。 Step 1. Begin with a brief statement of the mission and general goals for your program. Step 2. Identify the most important student learning outcomes of the program. Step 3. Identify useful and feasible assessment methods Step 4. Develop the assessment plan and complete the Assessment Matrix. Step 5. Develop assessment instruments and fine-tune the methodology Step 6. Tabulate, analyze, and report the results. Step 7. Communicate the findings and consider appropriate actions

36. 二、輔助教師落實課堂教學成效評鑑 (1-6)1. 目標 • 評鑑實務工作要從學校基層做起。許多評鑑工作都須融入教師之教學過程，以發揮其帶動學習之效能。 • 各系、所應要求並輔導所有授課教師詳細訂定教學目標與要求，以及運用適當方法進行學習評量。 • 學校可定期為教師們舉辦評量研習活動，一方面宣導學校評鑑政策與計畫，一方面介紹並討論各種評量原理原則與方法，提供實例做參考，以提昇教師評量知識與技能，引導學生從事更廣泛、更深度之學習。 • 研習活動中應強調教師課堂教學成果評量之主要目的在幫助教師了解學生學習進展情形，診斷學生學習以及教材及教法之缺失，做為改進教學之依據，而不是只為學生打分數。

37. 二、輔助教師落實課堂教學成效評鑑 (2-6)2. 具體方案 1). 提交授課大綱 2). 落實教師教學評鑑 3). 提供服務與輔助 （分別說明如下）

38. 二、輔助教師落實課堂教學成效評鑑 (3-6)2. 具體方案 1).提交授課大綱 許多學校會要求授課教師提供授課大綱，其中包括 (1) 明確之學習目標與標準 (2) 採用多元方式評量學習進度與成果，比如 • 辦理課前試測，以了解學生程度。 • 觀察學生課堂行為表現，以了解學生能力。 學生課堂參與討論的程度可顯示學生對該課題之瞭解程度。 • 運用學生研究報告及其他家庭作業，檢視學生運用所學之程度。 • 以口頭報告檢視學生口語溝通及表達能力。 (續下一頁)

39. 二、輔助教師落實課堂教學成效評鑑 (續)2. 具體方案 • 運用教師自製簡單試卷，探測學生學習進度。 • 實施傳統考試或小考，以檢視學習缺失。 • 舉行共同科目多班級教學之統一會考。 • 運用學生作品卷宗評審，以檢視學習成長。 (3) 於各評量方式中植入高層次能力評量，如批判、分 析、組合能力等。 (4) 兼顧通識教育核心能力評量（語文、合作、自我學 習等） (5) 如何運用評量結果改進教學

40. 二、輔助教師落實課堂教學成效評鑑 (4-6)2. 具體方案 2). 落實教師教學評鑑 (1-2) • 各系、所宜採用以學生學習成效為導向的教師評鑑措施。 評鑑首重明確的教學目標與詳細內容規範及學習標準。這些目標、規範與標準也可成為教學指引，引導教師進行教學並依指標打分數。教師亦可以將計分指標提供給學生，讓學生清楚地瞭解教師的期望。 • 另外學習評鑑可幫助學校改變對教師的教學評鑑，可採用以學習成效為主軸，將傳統以教師行為與特質為導向的評鑑，改變為以學生行為與成效為主軸的評鑑，以便更深入了解教師教學成效。

41. 二、輔助教師落實課堂教學成效評鑑 (5-6)2. 具體方案 2).落實教師教學評鑑 (2-2) 以學生行為與成效為主軸之教師教學評量項目範例： • 此課程助長我的批判思考能力 • 此課程助長我的自學能力. • 此課程使我感到能更自在地表達意見. • 此課程讓我學到如何參與討論 • 此課程讓我深深感到是此班級之成員 • 此課程提高我對此學門之興趣 • 此課程讓我學到很多新知識與技能

42. 二、輔助教師落實課堂教學成效評鑑 (6-6)2. 具體方案 3) 提供服務與輔助 (1)舉辦研習會 (2) 提供有關資訊與諮詢服務 (3) 提供獎助，鼓勵教師運用評量結果改進教學

43. 三、推展院、系、所教學績效評鑑 (1-7)：1. 目標 學生學習成果評鑑著重在考核系、所之教學績效，檢視學生接受大學教育之後獲得之知識、技能以及行為、思想及態度上之變化，以便協助教師們回答下列問題。 • Are our students learning what we think is important? • Are they learning what they need to success in this field or profession? • Should our curriculum or teaching strategies be modified? • Are there other techniques or additional resources that would help our students learn more effectively.

44. 三、推展院、系、所教學績效評鑑 (2-7) 2. 具體方案 1). 實施畢業生綜合性專業學識與能力評量 2). 協助全校性核心能力評量、在校生及畢業 生問卷調查 3). 檢視各科教學教案及教學評量並提供改進 方案 4). 定期舉行院、系、所焦點座談 5). 運用評量結果改進系、所教學方案 （分別說明如下）

45. 三、推展院、系、所教學績效評量 (3-7) 2. 具體方案 1)實施畢業生綜合性專業學識與能力評量 • 標準測驗，直接評量學生學識與能力。 • 開授並要求本科學生必修總結性課程 (capstone course)，以專題研究報告或其它成品方式，進行總結性評量，以檢視各學門主修學生之程度。 • 研究報告或其它成品除了用來考核專業學門知識與技能之外，也可以藉此考核學生之核心能力，如批判思考能力、解決問題能力，以及語文能力等。 • 此項評量適用於每一屆學生，學校可要求學生通過此種評量才能畢業，以確保學生素質。 (續下一頁)

46. 三、推展院、系、所教學績效評量 (續) 2. 具體方案 • 為了達到評審研究報告或其它成品的客觀、公平、與正確性，除了評審委員們事先得參與討論評量規範之外，一般都需要先制定評分手冊，詳列評量項目與計分標準，做為評量準則。 • 總結性評量計分，除總分之外，亦可以針對評量細項，分別計分。比如語文能力，可分詞彙，文法，表達方式，思路組織與邏輯等細項，分別給分數，然後加總成為總分。比較各細項的分數卽可知道個人之強項與弱項，具診斷性功能，所以用此方式計分可增加評量之資訊，使評量更有價值。

47. 三、推展院、系、所教學績效評量 (4-7) 2. 具體方案 2). 協助全校性核心能力評量、在校生及畢業生問卷調查 全校性學習成果評量，主要包括核心能力評量測驗以及在校生和畢業生問卷調查。 核心能力主要的有語文溝通能力以及批判思考及問題解決能力。 這些測驗可在大一及大四上學期，採全體學生或抽樣方式實施。評量結果可做為全校及各系、所分析比較，因此需要各、所全力合作與參與。

48. 三、推展院、系、所教學績效評量 (5-7) 2. 具體方案 3). 檢視各科教學教案及教學評量並提供改進方案 如前節所述，教師每學期開學前都要提交教學大綱，而在期末也會接受學生評量。系、所主管及教師評審委員應檢視這些資訊，確保各科教學合乎系、所教學目標，並提出改進意見，供教師做參考。

49. 三、推展院、系、所教學績效評量 (6-7) 2. 具體方案 4). 定期舉行院、系、所焦點座談 • 焦點座談是一種有重點的小組座談，旨在收集深度、廣泛的質化資料，適合於用來評量科、系、所教學措施以及整體學生之態度、品行及價值觀等。 • 參與座談人員只針對選定之三至五題的議題，提供看法與意見，因此參與座談人員之選擇非常重要，需對評量議題有相當程度的認知，否則外行人很難提供深入、切題的觀點與建言。 • 討論應不拘型式，但要鼓勵座談人員盡量發言。討論需由一人引領。此人之職責是促進互動，確使每位參與者都有機會發言，不為一、二人獨占，並控制時間和維持討論不離主題。座談時間以不超過九十分鐘為宜。

50. 三、推展院、系、所教學績效評量 (7-7) 2. 具體方案 5). 運用評量結果改進系、所教學方案 評量之主要目的在診斷缺失，以求改進。以the University of Illinois at Urbana-Champaign, 為例，其改進方案很多，最常見的是下列幾項： • Revised/redesigned curriculum • Added new course(s) • Revised course(s) • Changes of course requirements • Improved outcomes assessments • Improved monitoring of student progress • Modified qualifying exam procedures • Developed new concentration or minor