1. QUALIS LIVROSa experiência da psicologia Fundação CAPES Coordenação da Área de Psicologia Emmanuel Zagury Tourinho e Antonio Virgílio Bittencourt Bastos

2. PONTOS DE PARTIDA • Livros constituem parte importante da produção científica na área da Psicologia • No triênio 2004/2006 – artigos (41,58%); • Livros/capítulos (33,71%) – aproximadamente 1200 títulos • A Psicologia: diversas subáreas, diferentes perspectivas teórico-metodológicas/abordagens • Comunidades pequenas – dificuldade de avaliadores ‘isentos’ • DECISÃO: buscar indicadores diretos e indiretos prescindindo da leitura por consultores

3. A EXPERIÊNCIA DA TRIENAL 2007

4. Procedimento de Avaliação • Foram avaliados livros, não capítulos separadamente. • Para cada obra publicada, os Programas preencheram uma ficha e enviaram um exemplar para a Biblioteca do IPUSP. • Com base nas fichas remetidas foi construída uma planilha com todas as obras publicadas. • Ponto de partida: taxonomia do tipo de obra

5. OS CRITÉRIOS DE AVALIAÇÃO • A. Aspectos Formais: • Tipo de autoria • Editoria • Características adicionais • B. Características de Obra: • Tipo da Obra • Natureza do texto • Origem do texto • Público – Alvo • C. Indicadores de Qualidade Diferencial da Obra

6. Estrutura de avaliação

7. Livros: classificação (ponto de partida) 1,20 2,00 1,00 0,80

8. Livros: classificação (ponto de partida) 2,00 2,40

9. Livros: classificação (ponto de partida) 0,80 0,40 0,00

10. Livros: acréscimos

11. Avaliação livros : exemplos

13. Avaliando a experiênciapiloto • O trabalho introduziu uma avaliação mais cuidadosa de parcela importante da produção da pós-graduação em Psicologia. • Contribuiu de forma mais significativa para a composição do escore geral de produtividade dos programas • Valorizou a produção em livros, discriminando títulos de maior qualidade, embora a produção em periódicos continue sendo a mais importante. • O trabalho se revelou maior e mais complexo. Serviu como experiência piloto.

14. A EXPERIÊNCIA DE 2009/2010

15. O site

16. O SITE

17. OS ESTRATOS DE AVALIAÇÃO

18. Resultado da avaliação 2010 n=1.142 obras

19. OS RESULTADOS • Em dezembro, foram avaliadas 511 obras, de um total de pouco mais de 700 inseridas no sistema. A ausência dos livros na Biblioteca da USP impediu que todas fossem auditadas. • Ao longo e após o período de avaliação, mais títulos foram inseridos no sistema. Hoje temos 838 itens cadastrados. • O processo mostrou-se bastante ágil quando se dispunha do livro para examinar as informações. As dificuldades surgiam quando se tinha apenas cópias de partes do livro.

20. OS RESULTADOS • A informatização e a regras estabelecidas permitiram racionalizar o processo, evitando multiplicação de dados iguais vindos de diferentes Programas, principal dificuldade da avaliação no triênio passado. • Uma regra do processo terminou não sendo seguida por alguns Programas, gerando dúvidas e questionamentos: a inserção apenas dos títulos que foram produzidos e/ou organizados por seus docentes. • Há evidências de que alguns dados dos livros não foram preenchidos pelos autores.

21. OS RESULTADOS: problemas mais comuns • Nas informações das fichas, os problemas mais frequentes diziam respeito a: • Editora comercial com ou sem tradição na área. • Natureza do texto: • B.2.1 – Sistematização de resultados de um programa abrangente de pesquisa conduzido pelo próprio autor. • Indicadores de qualidade adicional da obra: • C.5 – Obra relacionada a programas de pesquisa multicêntricos financiados por instituições de fomento