Evaluación de la investigación científica

1. Evaluación de la investigación científica La perspectiva de un director de Instituto de Investigación Luis Felipe Arauz Cavallini Director Instituto de Investigaciones Agrícolas

2. Preguntas fundamentales ¿Para qué se evalúa? ¿A quién se evalúa? ¿Qué aspectos se evalúan? ¿Cómo se evalúa? ¿Quién evalúa?

3. ¿Para qué se evalúa? • Control de calidad • Rendición de cuentas • Optimización en la asignación de recursos

4. ¿A quién se evalúa? Niveles de evaluación Entes que investigan La persona que investiga La unidad de investigación (Centro o Instituto) La institución Los sistemas nacionales y supranacionales Actividades de investigación Investigaciones, proyectos y programas

5. ¿Qué aspectos se evalúan? • Evaluación de de la investigación se da en dos dimensiones : • Proceso científico • Gestión de la investigación

6. ¿Qué se espera del proceso científico? Resultados directos (= producción científica, “output”) Información, reflejada en artículos, informes y otras publicaciones patentes, productos, prototipos, procesos Resultados indirectos (= consecuencias, indicadores, “outcome”) innovaciones tecnológicas número de estudiantes graduados aumento de la capacidad (“expertise”) de los investigadores y su institución contactos con otros investigadores etc.....

7. ¿Qué aspectos se evalúan? Criterios para la evaluación del proceso científico • Calidad • ¿Cumple con los criterios generalmente aceptados como “método científico”? • ¿Se llevan a cabo las etapas con rigor, corrección metodológica, y objetividad en la interpretación de los datos? • Pertinencia • ¿Contribuye al avance del conocimiento? • ¿Contribuye en la solución de un problema? • ¿Contribuye al desarrollo tecnológico?

8. ¿Qué se espera de la gestiónde la investigación? • Uso adecuado de recursos • Cumplimiento de objetivos • Relación beneficio:costo

9. ¿Cómo se evalúa? Herramientas para la evaluación

10. Herramientas para la evaluación Evaluación por pares académicos Proyecto nuevo (evaluación a priori) Avance Publicación (evaluación a posteriori) Aspectos técnicos y éticos de la evaluación por pares académicos

11. El artículo científico como herramienta de evaluación Su estructura sigue el método científico. La evaluación confidencial por pares académicos, si bien tiene sus debilidades, es el método de evaluación más eficaz inventado hasta ahora. Es parte de la cultura científica mundial. Una vez publicado queda expuesto a la crítica de la comunidad científica. Sirve de base para mediciones de impacto

12. Lo anterior se cumple si la revista es seria, tiene un comité editorial de alto nivel, libre de ataduras y es indexada en los catálogos de mayor relevancia mundial

13. Preocupaciones Sacrificio en la producción de artículos en aras de la venta de servicios Conceptualización de la publicación científica como un simple instrumento de ascenso para el investigador Proliferación de revistas ligadas a unidades académicas

14. Herramientas para la evaluación Evaluación por interesados (“stakeholders”) Entes financiadores Beneficiarios Contribuyentes

15. Análisis de impacto Investigación básica vs. Aplicada Identificación de beneficiarios vs. Aumento de conocimiento Análisis bibliométrico Beneficiarios directos e indirectos Relación beneficio:costo Seguimiento de resultados

16. Impacto y seguimiento • Difícil de medir • Los productores obtienen su tecnología de muchas fuentes • Excepción: • variedades • productos • Ejemplo: CITA

17. ¿Quién evalúa? ARTÍCULO 51.- Corresponderá específicamente al Vicerrector de Investigación:  a) Supervisar, coordinar y estimular la investigación de la Universidad. ARTÍCULO 123.- La investigación como actividad sustantiva de la Universidad de Costa Rica es coordinada fundamentalmente por la Vicerrectoría de Investigación, la cual cuenta con una estructura de apoyo para realizar su promoción, desarrollo, seguimiento y evaluación ¿Quién evalúa a la Vicerrectoría?

18. ¿Quién evalúa? • La V.I. delega en los comités científicos la evaluación del proceso de investigación • La gestión de la investigación es evaluada en primera instancia por el centro o instituto y luego la V.I. verifica el cumplimiento en las fechas de entrega de los informes • Se pretende castigar el atraso en los informes. Esta pretensión refleja mayor interés en los aspectos administrativos que en la calidad de la investigación.

19. ¿Quién evalúa los centros e institutos? • Evaluación interna: Autoevaluación. • Evaluación externa: Panel de expertos. • Lo ideal: autoevaluación con verificación externa. • En la UCR: solo autoevaluación, sin verificación externa. • excepto en lo referente al cumplimiento de fechas...

20. Herramientas adecuadas para distintos niveles de evaluación Competencia del profesorado Análisis de impacto La institución El centro o instituto Panel de expertos Publica-ciones Informe de gestión Publica-ciones Informe de avance El investigador Propuesta El proyecto Revisión por pares Análisis de impacto La investigación individual Énfasis en el proceso científico Énfasis en la gestión

21. Conclusiones • La evaluación de la investigación es necesaria. • El método de evaluación depende del nivel que se evalúa y de si el énfasis es en el proceso científico o en la gestión de la investigación. • La revisión por pares académicos es un método adecuado para evaluar la calidad de la investigación. • La evaluación de impacto depende del objetivo de la investigación. • La evaluación de la investigación en la UCR debería contemplar la calidad más que los aspectos administrativos.