AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO:

1. AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO: DESAFIOS E POSSIBILIDADES Módulo I – 1º Encontro – 14/08/2010

2. 1º MOMENTO: APRESENTAÇÃO DO CURSO OBJETIVOS DO CURSO • Conhecer os fundamentos teóricos e metodológicos que norteiam a avaliação de larga escala (externa) na Rede Municipal de São Paulo; • Favorecer processos de leitura e de interpretação dos resultados da Prova São Paulo e da Prova da Cidade; • Estimular possíveis intervenções pedagógicas.

3. CRONOGRAMA Encontros do Módulo I: • 14/08/2010 – das 9h às 12h e das 13h às 16h • 28/08/2010 – das 9h às 12h e das 13h às 16h • 11/09/2010 – das 9h às 12h e das 13h às 16h Encontros do Módulo II: • 18/09/2010 – das 9h às 12h e das 13h às 16h • 23/10/2010 – das 9h às 12h e das 13h às 16h • 06/11/2010 – das 9h às 12h e das 13h às 16h

4. HORÁRIOS DO MÓDULO 1

5. AVALIAÇÃO DO PARTICIPANTE Conceito mínimo para aprovação no Curso:Satisfatório Frequência mínima exigida no curso: 85% O conceito Satisfatório está vinculado ao cumprimento da frequência mínima e à realização e entrega de todos os trabalhos solicitados nos encontros, incluindo a elaboração de itens de múltipla escolha e de resposta construída, de acordo com os critérios discutidos. • Farão jus ao certificado aqueles que obtiverem frequência e conceito mínimos.

6. O NÚCLEO DE AVALIAÇÃO EDUCACIONAL – SME/ATP OBJETIVOS Planejar, elaborar, executar, analisar e divulgar as Avaliações Externas propostas pela SME; • Favorecer a interpretação dos resultados; • Orientar a utilização dos resultados para tomadas de decisão; • Realizar cursos de formação sobre avaliação; • Elaborar Relatórios Pedagógicos sobre as Avaliações Externas.

7. FORMADORES AVALIAÇÃO EXTERNA Ailton Carlos Santos Rosana Aparecida Argento TRI Érica Maria Toledo Catalani Fernando Gonsales Matriz de Avaliação e Matriz Curricular, Escala de Proficiência e Análise Pedagógica de resultados Claudio Maroja Marcela Cristina Evaristo

8. PAUTA1° MOMENTO: 30 min – 9h30 às 10hApresentação do CursoObjetivo: Apresentar os objetivos e o formato do curso, os formadores e as expectativas em relação ao processo.2° MOMENTO: 30 min – 10h às 10h30minDinâmica de grupoObjetivo: Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação.3° MOMENTO: 90 min – 10h30min às 12hSistematização de conceitosObjetivo:Definir o perfil de uma avaliação externa e em larga escala.Atividade 1- 10h30min às 11h15minAtividade 2- 11h15min às 12hALMOÇO – 12h às 13h

9. 4° MOMENTO: 30 min – 13h às 13h30min Exposição Objetivo: Conhecer o processo histórico da avaliação externa e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP.5° MOMENTO: 90 min – 13h30min às 15hLeitura e ReflexãoObjetivo: Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade educacional6° MOMENTO: 30 min – 15h às 15h30min Avaliação do encontro7° MOMENTO: 30 min – 15h30min às 16hTarefaObjetivo: Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade.

10. Módulo I Tema: Avaliação externa e de larga escala OBJETIVOS • Refletir sobre o perfil da avaliação externa e de larga escala e da avaliação interna; • Entender as avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP; • Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade escolar.

11. CONTEÚDOS AVALIAÇÃO EXTERNA E DE LARGA ESCALA • CONCEITOS • CARACTERÍSTICAS • CONTEXTO DE SURGIMENTO • IMPLICAÇÕES NA QUALIDADE DO ENSINO E PROJETO PEDAGÓGICO DA UNIDADE

12. 2º MOMENTO: DINÂMICA OBJETIVO • Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação

13. O trecho a seguir é de uma carta de uma coordenadora pedagógica a outra. Leia-o para responder as questões a seguir. "Alguns dos alunos da 8ª série que estão com notas vermelhas em História me procuraram para dizer que as provas são fogo! As perguntas exigem informações nem sempre trabalhadas em aula. Observando as atividades de sala, percebi que eram questionários com respostas transcritas do livro didático, exigindo a localização de informações - e não uma reflexão decorrente da análise ou comparação entre os fatos e os conceitos trabalhados. E as provas continham perguntas abertas que exigiam estabelecimento de relações entre fatos, conceitos e dados da realidade. Como o professor pretende que os alunos possam responder a tais questões se as habilidades necessárias para respondê-las não são trabalhadas regularmente? Esses acontecimentos têm me feito pensar: por que será que é tão difícil aceitar que os resultados obtidos por nossos alunos dependem, em boa parte, do trabalho que desenvolvemos em sala de aula?" Trecho adaptado da publicação Cartas aos Professores Coordenadores Pedagógicos: Dilemas da Prática Cotidiana, São Paulo, SE/CENP, 1999.

14. 3º MOMENTO: SISTEMATIZAÇÃO Atividade 1 a) Identifique as concepções de avaliação presentes no texto e comente-as. O professor aposta no desenvolvimento de conteúdos(produto demonstrado pelo aluno em situações definidas pelo professor e materializado na nota), e o coordenador no de habilidades(preocupação com a apropriação do saber (aprendizagem). O primeiro focalizou o trabalho em uma habilidade que está mais relacionada ao acúmulo de informações. O professor foca atividades transcritas do livro e não estimula a reflexão. (avaliação voltada para o controle de atividades , não necessariamente geradora de conhecimento)

15. O professor acredita que a aprendizagem de conteúdos vai garantir a aprendizagem de determinadas habilidades. A avaliação escolar deve servir para verificar o que o aluno aprendeu daquilo que foi ensinado.(avaliação como verificação) • O que caracteriza melhor uma avaliação externa e em larga escala é o foco em habilidades que deveriam ter sido consolidadas ao longo da escolaridade.

16. b) O que norteou o planejamento da prova do professor? O professor treinou uma habilidade mais relacionada à aquisição do conteúdo,menos complexa, e planejou a prova considerando habilidades mais complexas.

17. c) O que é possível avaliar em uma prova? Habilidades cognitivas (competência + conteúdo) intermediados pela leitura e pela escrita. É importante compreender que a avaliação tem restrições. (procedimentos e atitudes não observáveis em provas escritas)

18. d) Como saber se uma prova é difícil ou fácil demais? (C) A maioria dos alunos faz a prova no tempo estimado e acerta boa parte das questões. • O grau de dificuldade e de desafio adequado está no equilíbrio entre habilidades, nível de dificuldade, número e extensão das questões relacionados ao tempo de realização da prova.

19. UMA BOA PROVA • Está pautada em habilidades cognitivas. • Tem questões com grau de dificuldade e desafios adequados à etapa de escolaridade. • Considera a relação entre a quantidade de questões e o tempo de realização da prova. PORTANTO... é preciso PLANEJAMENTO

20. Atividade 2CONCEPÇÕES DE AVALIAÇÃO • AVALIAÇÃO COMO EXAMES E PROVAS • AVALIAÇÃO COMO MEDIDA • AVALIAÇÃO COMO INSTRUMENTO PARA CLASSIFICAÇÃO E REGULAÇÃO DO DESEMPENHO DO ALUNO (SOMATIVA E FORMATIVA) • AVALIAÇÃO COMO INSTRUMENTO QUALITATIVO

21. 4º MOMENTO - O contexto de surgimento das avaliações externas e em larga escala OBJETIVO Conhecer o processo histórico das avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP.

22. Segundo Menezes Filho (2007) no Brasil: • Dos anos 1970 até meados dos anos 1990, aumentou o acesso dos alunos a escola. • Em 1990, ocorre a necessidade de avaliações externas e em larga escala para acompanhar a evolução da qualidade do ensino – SAEB. • Detectou-se que a qualidade do ensino oferecido na escola pública é muito baixa.

23. As avaliações externas e em larga escala • PISA - O programa de avaliação começou em 2000 com o objetivo de fornecer aos países participantes indicadores educacionais que possam ser comparados internacionalmente. • SAEB – Realizado a cada dois anos e avalia uma amostra representativa dos alunos regularmente matriculados nas 4ª e 8ª séries do ensino fundamental e 3º ano do ensino médio, de escolas públicas e privadas, localizadas em área urbana ou rural. A partir de 1995, muda a metodologia permitindo a comparabilidade entre os anos – utilização da TRI.

24. Prova Brasil – Criada em 2005, avalia todos os alunos dos 4º e 8º anos do Ensino Fundamental, utiliza os mesmos parâmetros do SAEB. • SARESP – Criado em 1996 para obter informações consistentes, periódicas e comparáveis ao longo do tempo, porém somente a partir da prova de 2008 adota a TRI.

25. Prova São Paulo – Criada em 2007, para avaliar o sistema de ensino da Cidade de São Paulo e o desempenho dos alunos nas disciplinas de Matemática e de Língua Portuguesa, desde a sua primeira edição utiliza a metodologia da TRI. • Prova da Cidade – Criada em 2009, instrumento pedagógico para professores e para gestores das escolas realizarem um diagnóstico do processo de aprendizagem do 1º semestre de cada ano letivo em que a prova se realiza e que possa fornecer subsídios para o replanejamento do 2º semestre sem finalidades classificatórias e sem pretensão de utilização de seus resultados para composição de índices ou indicadores de desenvolvimento educacional

26. 5° MOMENTO: LEITURA E REFLEXÃO Objetivo • Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade escolar. Atividades • Realizar a leitura compartilhada do artigo “Avaliação não é ameaça”, de Luis Carlos de Menezes • Assistir ao vídeo “Zea”

27. A avaliação externa e em larga escala permite a classificação de habilidades cognitivas da escola e pode oferecer parâmetros novos (olhar distanciado), ao passo que a avaliação interna detém a dimensão processual e permite a análise mais abrangente das habilidades, tanto daquelas que podem ser avaliadas em provas quanto daquelas que não podem (atitudinais, procedimentais, conceituais). Elas podem ser complementares ou não? Como?

28. Devem ser complementares, porque a avaliação externa permite outro olhar e, como qualquer outra prova, não é um instrumento suficiente por si só para a apreensão da complexidade do processo de aprendizagem.

29. 6° MOMENTO: AVALIAÇÃO DO ENCONTRO • Elaborar, por grupo, até três perguntas sobre este encontro.

30. 7° MOMENTO: TAREFA Objetivo • Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade. Atividade • Produzir um registro reflexivo sobre como os resultados de uma avaliação externa e de larga escala podem ser utilizados para a melhoria do processo de ensino e de aprendizagem em sua escola, a partir da questão: Como os resultados da avaliação interna e da Prova São Paulo estão contemplados nos planos de ensino e no projeto pedagógico da escola?

31. Bibliografia CHUEIRI, M. S. F. Concepções sobre a Avaliação Escolar. Estudos em Avaliação Educacional. v. 19, nº 39, jan/abr. 2008. Disponível em: http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1418/1418.pdf Acesso em 10/08/2010. MENEZES, L. C. Avaliação não é ameaça. Revista Nova Escola. Disponível em: http://revistaescola.abril.com.br/planejamento-e-avaliacao/avaliacao/avaliacao-nao-ameaca-424491.shtml. Acesso em: 29/07/2010.

32. MENEZES FILHO, N. (São Paulo). Ibmec e Fea SP. Os determinantes do desempenho escolar do Brasil. Disponível em: http://74.125.155.132/scholar?q=cache:4CRbxpwgVWwJ:scholar.google.com/+. Acesso em: 04 ago. 2010. PERRENOUD, P. Sucesso na escola: só o currículo, nada mais que o currículo! Cadernos de pesquisa, nº 119, p. 9-27, julho/2003. Disponível em: http://www.scielo.br/pdf/cp/n119/n119a01.pdf. Acesso em: 29/07/2010.

33. AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO: DESAFIOS E POSSIBILIDADES Módulo I – 1º Encontro – 14/08/2010

34. PAUTA • 1° MOMENTO: Apresentação do Curso Objetivo: Apresentar os objetivos e o formato do curso, os formadores e as expectativas em relação ao processo. • 2° MOMENTO: Problematização Objetivo: Identificar e analisar competências e habilidades cognitivas e sua importância no processo de ensino e de aprendizagem. • 3° MOMENTO: Sistematização Objetivo: Consolidar as noções de competências e habilidades estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar. • 4° MOMENTO: Desafios Objetivo: Diferenciar matriz de avaliação de matriz curricular. • ALMOÇO

35. 5° MOMENTO: Explanação Objetivo: Conhecer a escala de proficiência (Anexo 3) e sua importância na avaliação, na interpretação e na análise dos resultados. • 6° MOMENTO: Oficina Objetivo: Reconhecer a importância da análise pedagógica dos resultados a partir da escala de proficiência. • 7° MOMENTO: Avaliação do encontro • 8° MOMENTO: Tarefa Objetivo: Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade.

36. Módulo I Tema: Matriz de Avaliação e Matriz Curricular, Escala de Proficiência e Análise Pedagógica de resultados OBJETIVOS • Conhecer as concepções de competências e habilidades que norteiam a avaliação externa e em larga escala na Rede Municipal; • Compreender a noção de matriz curricular e de matriz de avaliação;

37. OBJETIVOS • Utilizar a escala de proficiência como referência para interpretação dos resultados da avaliação externa e de larga escala; • Reconhecer a importância da interpretação e da análise dos resultados da avaliação externa e de larga escala para intervenções pedagógicas.

38. CONTEÚDOS • Competências e habilidades cognitivas; • Matriz de Referência para a Avaliação do Rendimento Escolar; • Escala de proficiência; • Análise pedagógica de resultados.

39. 2° MOMENTO: Problematização OBJETIVOS Identificar e analisar competências e habilidades cognitivas e sua importância no processo de ensino e de aprendizagem.

40. Atividade A Ler o texto “Introdução” (O problema de Roberto), de Raths (1977), para responder as questões propostas a seguir: • Quais são os problemas apresentados nas respostas dadas pelo aluno Roberto? • Como é que você poderia começar a mostrar a Roberto que as situações que ele via como semelhantes na realidade não tinham relação entre si?

41. RESPOSTAS • Roberto não era capaz de aplicar princípios de lógica em seu trabalho escolar. Não tinha experiência de pensamento. (RATHS: 1977, 55). • Se tivesse feito muitos exercícios que exigissem comparação, talvez fosse capaz de ver as diferenças entre norte e sul dos Estados Unidos e norte e sul da África. Se tivesse tido muitas experiências em que precisasse sugerir hipóteses, talvez tivesse outras razões para explicar por que a pia estava entupida. Se tivesse mais habilidade para observar e classificar, talvez pudesse ter compreendido a relação entre carne e protozoários, a relação entre dinossauros, lagartos e répteis. (RATHS: 1977, 55).

42. Atividade B Ler outro trecho extraído do livro de Raths sobre as respostas de professores a respeito de como ensinar a raciocinar. • Professor A – Acredita que o pensamento deve ser desenvolvido dentro do assunto, através de emprego de técnicas específicas que acentuem o pensamento. • Questionamento de Raths: Quais as técnicas para promover o pensamento dentro do assunto?

43. Atividade B Ler outro trecho extraído do livro de Raths sobre as respostas de professores a respeito de como ensinar a raciocinar. • Professor A – Acredita que o pensamento deve ser desenvolvido dentro do assunto, através de emprego de técnicas específicas que acentuem o pensamento. • Questionamento de Raths: Quais as técnicas para promover o pensamento dentro do assunto?

44. Professor B – Acredita que, quando realiza um trabalho eficiente para ensinar determinada habilidade, a maior capacidade para pensar ocorre mais ou menos simultaneamente, à medida que a criança aprende a habilidade ensinada. • Questionamento de Raths: Se o bom ensino nas várias disciplinas aumenta automaticamente a capacidade para pensar, o que terá ocorrido com esse menino e com outros na mesma situação?

45. Professor C – Acredita que, durante o ensino, surgem alguns momentos em que se promove o pensamento. Usualmente, tais momentos não são planejados. • Questionamento de Raths: Episódios não planejados de ensino, por mais eficientes e inspirados que sejam, podem ser considerados adequados para o desenvolvimento de habilidades? • Professor D – Acredita que as habilidades para pensar se desenvolvem na criança apenas porque são humanas e, por isso, o professor não precisa se preocupar com a focalização do currículo no pensamento (do pensamento no currículo). • Questionamento de Raths: Será que esse professor pode explicar a imaturidade de pensamento de Roberto?

46. 3° MOMENTO: Sistematização Objetivo Consolidar as noções de competências e habilidades estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar

47. Sistematização • Percebe-se que operações de pensamento estão relacionadas às competências cognitivas, como: identificar, observar, comparar, classificar, levantar hipóteses, relacionar, interpretar, inferir, resumir, entre outras.

48. Competências cognitivas – conjunto de ações e operações mentais que o sujeito utiliza para estabelecer relações (pensamento). • As habilidades cognitivas traduzem as associações entre conteúdos e competências e funcionam como indicadores ou descritores do que o aluno deve demonstrar como desempenho, além de possibilitar que se verifique se houve de fato aprendizagem e em que grau (nível) de complexidade ela ocorreu.

49. Mayer e Salovey (apud PRIMI: 2001) fazem uma distinção importante entre habilidade (referindo-se a ela como aptidão) e competência. Os autores argumentam que a habilidade representa o potencial que se expressa, concretamente, em realizações ou desempenhos, envolvendo a apresentação de respostas corretas para problemas e conhecimento de determinado conteúdo. A competência, nesta concepção, indicaria um nível padronizado de realização, o que implicaria em dizer que a realização atingiu um determinado nível. Esta distinção relaciona os conceitos: habilidade, conteúdo e nível de realização.

50. A habilidade, no sentido utilizado por Carroll (apud PRIMI: 2001), pressupõe a idéia de potencial de realização, ou seja, a existência de uma relativa facilidade em lidar com informações e com problemas de uma determinada classe ou conteúdo. O investimento deste potencial em experiências de aprendizagem pode conduzir à maestria, que envolve um conhecimento organizado sobre um determinado tema.