Exzellenzmessung & Leistungsbeurteilung im Wissenschaftssystem

1. Exzellenzmessung & Leistungsbeurteilung im Wissenschaftssystem INNOVATION aus TRADITION Nicole Schaffer, Michael Dinges Institut für Technologie und Regionalpolitik Sensengasse 1 A-1090 Wien nicole.schaffer@joanneum.at

2. Inhalt: Gender und Exzellenz • Kontext und Strategien • Definitionen und Operationalisierung • Umsetzung in Finanzierung und Förderung • Effekte • Schlussfolgerungen & Ausblick

3. Kontext und Strategien

4. Exzellenz: Motor der Forschungspolitik Exzellenzstrategien - Kontext Österreich • „Strategie 2010“, Rat für Forschung- und Technologieentwicklung (RFT) • „Exzellenzinitiative Wissenschaft“ (Konzept Exzellenzcluster), FWF • COMET - Competence Centers for Excellent Technologies, FFG • Institute of Science and Technology Austria (ISTA) • Universitäten – Vergleiche Exzellenzinitiative in Deutschland (Elite-Unis)

5. Exzellenz: Motor der Forschungspolitik II Exzellenzstrategien - Kontext EU • Lissabon: EU 2010 -> wettbewerbsfähigster und wissensbasierter Wirtschaftsraum (vs. Japan / USA) • Barcelona: Steigerung Forschungsquote: 3% BIP • Bologna: Europäisierung/ Internationalisierung Hochschulraum • European Research Area, FP7 • European Research Council (2007): EU Fördergesellschaft • European Institute of Technology (EIT)

6. Exzellenzstrategien Ziele • Steigerung der Wettbewerbsfähigkeit • Getting more out of public R&D funding • Profilbildung, Schwerpunktsetzung, „kritische Massen“ • Qualitätssicherung und Evaluierung • -> Politische Steuerung von Forschung, Rechenschaft Spannungsverhältnisse • Innovation vs. Standardisierung, Risikobereitschaft vs. Absicherung, Vielfalt vs. Spezialisierung • Grundlagenforschung vs. angewandte Forschung • Elitenförderung vs. Nachwuchsförderung • Quantität vs. Qualität

7. Exzellenzstrategien II und Gender • Wettbewerbsfähigkeit steigern ->Frauen fördern, Strukturen verbessern • unterrepräsentierte Gruppe der Forscherinnen aktivieren • Mängel / Ungleichheiten im Forschungssystem (Produktions-bedingungen, Bewertungskriterien, Selektionsverfahren) beseitigen • „Promoting excellence through mainstreaming gender eqaulity“, ETAN 2000 • „Minimising gender bias in the definition and measurement of scientific excellence“, Florenz 2003 • „Gender and Excellence in the Making“ EC 2004 • G & E Expert Group, EC 2007

8. Definitionen und Operationalisierung

9. Exzellenz in der Forschung – You know it when you see it • Studien im Auftrag des Rates für Forschung und Technologieentwicklung • Hochschulen: • international anerkannte Spitzenforschung an Universitäten, die sich darin äußert, dass der jeweilige Forschungsstandort bzw. das jeweilige Forschungsteam in der Disziplin weltweit als Ort der Spitzenforschung und Ausbildung von Spitzenforschern renommiert ist. (Hölzl 2006) • Unternehmen: • international nachhaltiger Markterfolg und • Technologieführerschaft (Clement und Ajayi 2006) • Methoden zur Operationalisierung • Peer Review: Nur ExpertInnen des selben Fachgebietes können wissenschaftliche Qualität erkennen und bewerten • Leistungsindikatoren: Publikationen, Zitate, Impact-Faktoren, Patente, Wissenstransfer, Preise

10. Österreichs wissenschaftliche Leistungsfähigkeit – Abstand zur Weltspitze Quelle: Trend/FWF 2007/11

11. Strategien zur Umsetzung von Exzellenz • Output- und leistungsorientierte Finanzierungssysteme • Indikatorengetriebene Forschungsfinanzierung • Formelbasierte Globalfinanzierung • Methodenmix aus quantitativer und qualitativer Bewertung • Research Assessment Exercise (UK) • F&E Projektförderung • Exzellenzförderung (FWF, ERC etc.) • Thematische Schwerpunktsetzung • Science-Industry Collaborations • Cluster, Netzwerke • Warum Strukturwandel in F&E Finanzierung? • Mehr Steuerungsmöglichkeiten für Politik (Kriterien, Disziplin) • Notwendige Bedingung für ein leistungsfähiges Forschungssystem • Rechenschaft im Hinblick auf Ressourceneinsatz

12. Umsetzung in Finanzierung und Förderung

13. AT: Strukturwandel in F&E Finanzierung der Hochschulen

14. F&E Projektfinanzierung in % des BIP 1970 - 2002 Anzahl an Instrumenten mit mehr als 5% des Fördervolumens Quelle: Lepori et al. (2007) Science and Public Policy, July 2007

15. Anteil akademisch orientierter Forschungsförderung Quelle: Lepori et al. (2007) Science and Public Policy, July 2007

16. Fazit: Projektförderung • Anstieg in Programm und Projektfinanzierung geht einher mit Ausweitung des Instrumentenportfolios • Für die letzte Dekade gilt: Weniger Dominanz von wissenschaftlicher Exzellenz denn Wissens- und Technologietransfer, Brückenschlag, Innovationen, Netzwerke • Frauenfördernde Maßnahmen als Konkurrenz bzw. Parallelstrukturen zu anderen thematischen und strukturellen Prioritäten der Forschungspolitik • Frauenförderung als spezifische Instrumente marginalisiert: • 2.9% der Förderung des FWF • fforte mit Vielzahl an Maßnahmen und Zielsetzungen, bei schwacher finanzieller Ausstattung

17. AT: Frauenanteil F&E im EU-25 Vergleich She Figures 2006 • Forscherinnenquote AT: 21%, EU: 29% • Hochschulsektor: AT 30%, EU: 35% • Staatl. Sektor: AT: 35%, EU: 35% • Unternehmenssektor: AT: 10%, EU: 18% Hinweis: Daten aus 2003 bzw. 2002!

18. AT: Frauenanteil in F&E Forschungspersonal

19. AbsolventInnen und Beschäftigung in F&E:Beispiel Geisteswissenschaften

20. Fazit: Strukturwandel, Humanressourcen und Frauenförderung • Beachtlicher Strukturwandel in AbsolventInnenzahlen und Beschäftigung innerhalb des Hochschulsektors • Trotzdem: Große Diskrepanzen in Beschäftigungsverhältnissen und Hierarchien • Keine automatische Anpassung der Geschlechter im Forschungspersonal aufgrund hoher Absolventinnenzahlen!

21. Effekte

22. Effekte und Anpassungsstrategien • Bedeutung von Auswahlverfahren steigt • Starke kollektive Wahrnehmungen zu Peer Review Prozessen: • „Favours non-risky, orthodox research“ • Nachteiligkeiten für Interdisziplinarität • „If people believe a situation to be real, it is real in its consequences“ • Anpassungsstrategien (Laudel 2006, Melin und Danell 2006) • Vertraute Finanzierungsquellen wählen vs. möglichst viele Ressourcen • „Bootlegging“ - dh. Fördermittel für bestehende Forschungsergebnisse zu beantragen, um neue Forschungsfelder vorantreiben zu können • shift-to applied/industry related research • Strategisches Verhalten von Universitäten (Barker 2007) • Anheuern prominenter ForscherInnen etc.

23. Gender Bias in Auswahlverfahren: ERC I

24. Gender Bias in Auswahlverfahren: ERC II

25. Kritik Bibliometrie, Peer Review Bibliometrie • Quantität vs. Qualität, vergangene Leistung vs. Zukunftspotenzial • Wenige Datenquellen aber viel Indikatoren: Thomson – ISI, SCOPUS • Bias: Englisch-sprachig, begrenzte Anzahl von Journalen, Manipulation • Ignoriert unterschiedliche Publikations- und Zitationssysteme sowie unterschiedliche Voraussetzungen (Ressourcen) in Disziplinen • Ignoriert Zusammenhang Produktivität – Alter – Status (höhere Position: mehr Publikationen) Peer Review • GutachterInnen: Teil d. Scientific Community -> KonkurrentInnen • Vorurteile, stereotype Zuschreibungen -> Doppelstandards • wissenschaftlicher Mainstream dominiert Auswahlprozesse • homosoziale Kooptierung, cultural cloning, Matilda Effect

26. Diskussion um Zielgenauigkeit und Fairness der Verfahren Conclusio „ Gender and Excellence in the Making“ - mögliche Verzerrungen auf Grund des Geschlechts können vielerorts auftreten: • 1. in der Definition von wissenschaftlicher Exzellenz • 2. Qualitätskriterien, Qualitätsmerkmale, Bewertungsmaßstab • 3. explizite und implizite (Leistungs)Indikatoren • 4. unterschiedliche Anwendungen der Kriterien bei Frauen und Männern • 5. Integration von Frauen in wissenschaftliche Netzwerke • 6. Procedere durch die die Kriterien zur Anwendung kommen

27. Kritik: Auswahlverfahren/ Gegenstrategien Kritik Auswahlverfahren • zu wenig Frauen als Gate Keeper, geringe Diversität • Stereotypisierung, Doppelstandards • Mangel an Transparenz, Mangel an Accountability Gegenstrategien • Explizite Bewertungsstandards • Transparente Verfahren (Ausschreibung, Selektion) • Erhöhte Rechenschaftspflicht von GutachterInnen • Anonymisierung von Antragstellerinnen • Kritische Reflexion des den Indikatoren und Verfahren zugrunde liegenden Wissenschaftsverständnisses

28. Schlussfolgerungen & Ausblick

29. Quality vs. Equality I • Leistungsaspekte in der Forschungsförderung gewinnen zunehmend an Bedeutung • Aktive Strategien von allen Forschungsakteuren gefordert • Monitoring und Evaluation als Instrument für Qualitätssicherung • Klassische Exzellenzdefinitionen und Bewertungsverfahren: • strukturkonservierend hinsichtlich neuer oder transdisziplinärer Forschungsfelder und Geschlecht/ Alter der AntragstellerInnen • historisch bedingte Segregationseffekte werden verstärkt • Fazit: Diskussion Qualität vs. Quoten verschärft

30. Quality vs. Equality II • Geschlechtergerechtigkeit spielt in Exzellenzstrategien kaum eine Rolle • Implementierung von GM-Maßnahmen in allen FTI-Bereichen gefordert - aber ohne konkrete Vorgaben, Zieldefinitionen, Zielgrößen und Sanktionsmöglichkeiten bleibt Forderung rhetorischer Natur • Aspekt der Geschlechtergerechtigkeit wird nur über Versagen von Auswahlverfahren diskutiert und somit sichtbar • die eigentlichen strukturellen Probleme im Bildungs- und Wissenschaftssystem werden dadurch übertüncht

31. Ausblick Europäische Kommission: Gender and Excellence Expert Group Ziele EC bis 2009: • EU-weite Empfehlungen, abgestimmt auf unterschiedliche nationale Gegebenheiten und unterschiedliche Disziplinen • Verbesserung von Transparenz und Rechenschaft in Auswahlverfahren • „barrierefreier“ Zugang zur Forschungsförderung

32. Ausblick II • Forschungsförderung und Geschlecht (SNF, CH) • Geringe Antragsneigung bei Frauen -> Ausmaß und Gründe der Verlustraten. Analyse von Karriereverläufen, Antragsbiografien, Gesuchsdossiers, subjektive Erfahrungen. • Gender Budgeting (bmvit, A) • Förder- und NutzerInnenanalyse • WWTF & FWF: Der Erfolg von Forschungsprojekten • Determinanten für Forschungserfolg • Realistische Erwartungen an Projektoutput