APRESENTAÇÃO

1. APRESENTAÇÃO OFICINA DE APROPRIAÇÃO DE RESULTADOS DO PROJETO SADEAM (Sistema de Avaliação do Desempenho Educacional do Amazonas) PALESTRANTE: Neuza Maria Câmara de Souza Endereço para acessar este CV Lattes: http://lattes.cnpq.br/0256460389321849

2. PARTE 1 -O CAEd O Centro de Políticas Públicas e Avaliação da Educação (CAEd), da Universidade Federal de Juiz de Fora, situa- se na cidade de Juiz de Fora - Minas Gerais, é uma Instituição que Elabora e desenvolve programas de Avaliação; Cria e promove cursos de formação, qualificação e aprimoramento dos profissionais de educação em diversos estados do Brasil;

3. Desenvolve software para a gestão de escolas públicas com o objetivo de modernizar a gestão educacional; Presta serviços de apoio para o desenvolvimento de projetos educacionais promovidos por iniciativas privadas, a exemplo de algumas ações da Fundação Roberto Marinho, do Instituto Unibanco e da Fundação Oi Futuro .

4. AVALIAÇÃO do rendimento escolar de alunos de escolas públicas; FORMAÇÃO e aprimoramento de profissionais da Educação; GESTÃO e PESQUISA desenvolvendo software para a gestão de escolas públicas e finalmente prestação de serviços para o desenvolvimento de projetos educacionais

5. ATUAÇÃO DO CAEd ATRAVÉS DAS COORDENAÇÕES • Coordenação de Instrumentos de Avaliação (CIA)-do material gráfico; • Coordenação de Medidas Educacionais (CME)-organiza o material digita; • Coordenação de Operações de Avaliação (COA)-recolhe a base de dados da demanda em cada estado • ;Coordenação de Processamento de Documentos(CPD)-controla elaboração testes e matriz de referência; • Coordenação de Design da Comunicação(CDC) -diagramação trada e saida de lotes para processamento; • Coordenação de Produção Visual (CPV) - cuida da parte criativa do material; • Coordenação de Projetos Especiais de Avaliação(CPA) - projetos que não fazem parte da avaliação de cada estado. )

6. Com o objetivo de elevar a qualidade da educação pública e assegurar a igualdade de oportunidades educacionais, existe um  trabalho desenvolvido pela Unidade de Avaliação –UAV- quecompreende todo o processo, desde o planejamento e a elaboração dos testes até a sua aplicação. Posteriormente, a divulgação dos resultados e orientação de como utilizá-los para alcançar os objetivos propostos.  Para isso, existe uma equipe integrada, que garante a fluidez e eficiência de todo o processo da avaliação da educação pública nos estados que contam com projetos desenvolvidos pelo CAEd, facilitando o controle sobre a qualidade dos processos  necessários para um resultado final satisfatório e que reflita a realidade educacional.

7. No estado de Minas Gerais: O CAEd, através da UAV, é responsável pelas Avaliações de Sistemas Estaduais e Municipais, entre eles o PROALFA e PROEB que fazem parte do SIMAVE – Sistema Mineiro de Avaliação da Educação Pública.

8. OBJETIVO DA OFICINA Oficina de Apropriação de resultados do Projeto SADEAM Palestrante: Neuza Maria Câmara de Souza

9. A presente oficina vem analisar e interpretar os resultados do Projeto SADEAM no conteúdo Língua Portuguesa – aplicado ao 3º ano do Ensino Fundamental, os resultados da avaliação educacional para o replanejamento das ações pedagógicas implementadas em sala de aula, a serem definidas pelas unidades escolares que participam nos processo de avaliação. • O projeto SADEAM = Sistema de Avaliação do Desempenho Educacional do Amazonas (Sadeam). Criado pela Seduc, o sistema permite a avaliação do desempenho individual e coletivo dos estudantes, oferecendo subsídios para uma gestão de qualidade na educação básica. • Serão apresentados a Matriz de Referência com a análise dos descritores de Língua Portuguesa, a Escala de Proficiência e o Padrão de Desempenho dos Estudantes; os resultados de Língua Portuguesa e a Matriz de Competência referente ao Projeto. • Ao longo da oficina serão apresentadas as atividades ilustrativas e links de filmes que ilustrarão melhor sobre a avaliação e suas interfaces. • Bom estudo para todos que buscam aprofundar os conhecimentos acerca da avaliação.

10. Assistam o vídeo sobre o Projeto SADEAM • https://www.youtube.com/watch?v=HVvDbwehPUc

11. PARTE 2 – AVALIAÇÃO EDUCACIONAL EM LARGA ESCALA • CONCEITO DE AVALIAÇÃO Avaliar é refletir sobre uma determinada realidade a partir de dados e informações e emitir um julgamento de valor que viabilize uma ação. TIPOS DE AVALIAÇÃO: Diagnóstica Formativa Somativa Interna Externa Interna Externa Interna Externa Escola Sistemas Escola Sistemas Escola Sistemas

12. Avaliação: Pequena escala: Interna Larga escala: Externa Diferenças entre: Avaliação Educacional Avaliação interna/escola: atrelada ao processo de Aprendizagem; provas abertas; provas objetivas; observação/ registro/ relatório. - Portfólio. Teoria Clássica

13. A avaliação em larga escala avalia o desempenho do aluno no todo através da: Matriz de Referência Tema/Tópico Descritor (descreve cada uma das habilidades da Matriz.) Item (avalia uma única habilidade). Adiante trataremos de cada item descrito acima.

14. DIFERENÇAS ENTRE AVALIAÇÃO INTERNA E EXTERNA A diferença entre a avaliação interna e externa está na Metodologia que podemos fazer com os resultados. Na avaliação interna são as especificações da ferramenta e na avaliação externa qual é o melhor uso dessa ferramenta. As vantagens da avaliação em larga escala estão pautadas em: DIAGNÓSTICO dos desempenhos e fatores que interferem nesse desempenho no universo avaliado. ACOMPANHAMENTO monitoramento da qualidade da educação ao longo do período de escolarização. DEFINIÇÃO DE SUBSÍDIOS para a formulação de políticas educacionais com foco na qualidade e equidade. Promoção de melhorias na relação com órgãos centrais e escolas e no ensino ofertado pela rede como um todo.

15. O QUE É AVALIADO E COMO É FEITO • Vantagens de um sistema próprio de avaliação: • Objetivo: Melhorar a qualidade da educação com bom desenvolvimento. • Vantagens: Menor periodicidade entre os ciclos avaliativos (ciclos anuais de avaliação); • Desempenho próprio da avaliação com vistas ao atendimento das necessidades específicas. • Rapidez ao acesso às informações; • Resultados transversais ou longitudinais por diferentes níveis. • Relação horizontal: Estado – Região – Municípios – Escola – Turma – Aluno.

16. TRI – TEORIA DE RESPOSTA AO ITEM A Teoria de Resposta ao Item é uma forma de analisar e avaliar os resultados obtidos pelos alunos nos testes, levando em consideração as habilidades demonstradas e os graus de dificuldade dos itens, permitindo a comparação entre testes realizados em diferentes anos. Ao realizarem os testes, os alunos obtêm um determinado nível de desempenho nas habilidades testadas que chamamos PROFICIÊNCIA.

17. OS TESTES Os testes são montados: Itens: são organizados em blocos distribuídos em vários cadernos. O item é importante pois avalia a habilidade da Matriz de Referência. A proficiência não depende apenas do valor absoluto de acertos, depende também da dificuldade e da capacidade de discriminação das questões que o aluno acertou e/ou errou. O valor absoluto de acertos permiti ria, em tese, que um aluno que respondeu aleatoriamente tivesse o mesmo resultado que outro que tenha respondido com base em suas habilidades. O modelo da TRI evita essa situação e gera um balanceamento de graus de dificuldade entre as questões que compõem os diferentes cadernos. Esse balanceamento permite a comparação dos resultados dos alunos ao longo do tempo e entre diferentes escolas. Etapas do processo de elaboração de itens: Envolvidos no processo são professores da rede pública e alunos de outro sistema de ensino. Definição da matriz de referência – elaboração de itens – validação do conteúdo – revisão técnica e pedagógica – revisão de língua portuguesa – pré-testes dos testes – tratamento estatístico do pré-teste – seleção dos itens que vão compor o teste – montagem dos cadernos de teste – impressão gráfica.

18. Enunciado Item suporte Comando = “Como é o formato de um cubo? Alternativas a) círculo Distrator De respostas b) quadrado Gabarito c) retângulo Distrator d) triângulo Distrator Parâmetros: Discriminação – é relevante identificar a dificuldade do item e a probabilidade de acerto ao acaso.

19. FIXANDO MELHOR... A TRI é um conjunto de modelos matemáticos no qual a probabilidade de acerto a um item é calculada em função da proficiência do aluno. Podemos destacar as seguintes vantagens dessa metodologia: (i) permite a comparação longitudinal de resultados de diferentes avaliações como, por exemplo, os resultados de avaliação dos sistemas estaduais e municipais de ensino com os resultados do SAEB, desde que se incluam itens comuns entre os testes e se conservem os mesmos critérios na construção e organização dos mesmos; (ii) permite avaliar com alto grau de precisão e abrangência uma determinada área do conhecimento, sem que cada aluno precise responder a longos testes. (iii) a comparabilidade que se pode estabelecer entre diferentes séries, pela construção de uma escala única de resultados para as séries avaliadas.

20. O DESEMPENHO ESCOLAR O que é isto?

21. Os padrões de desempenho oferecem à escola os subsídios necessários para a elaboração de metas coletivas. Assim, ao relacionar a descrição das habilidades com o percentual de alunos em cada padrão, a escola pode elaborar o seu projeto com propostas mais concisas e eficazes, capazes de trazer modificações substanciais para o aprendizado dos alunos com vistas à promoção da equidade.

22. Para uma escola ser considerada eficaz, ou seja, para fazer a diferença na vida de seus usuários, ela deve proporcionar altos padrões de aprendizagem a todos, independente de suas características individuais, familiares e sociais. Se apenas um grupo privilegiado consegue aprender com qualidade o que é ensinado, aumentam-se as desigualdades intraescolares e, como consequência, elevam-se os indicadores de repetência, evasão e abandono escolar. • O desempenho escolar de qualidade implica, necessariamente, a realização dos objetivos curriculares de ensino propostos. os padrões de desempenho estudantil, nesse sentido, são balizadores dos diferentes graus de realização educacional alcançados pela escola. Por meio deles é possível analisar a distância de aprendizagem entre o percentual de alunos que se encontra nos níveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. a distância entre esses extremos representa, ainda que de forma alegórica, o abismo existente entre aqueles que têm grandes chances de sucesso escolar e, consequentemente, maiores possibilidades de acesso aos bens materiais, culturais e sociais; e aqueles para os quais o fracasso escolar e exclusão social podem ser mera questão de tempo, caso a escola não reaja e concretize ações com vistas à promoção da equidade. • O desempenho escolar é um fator determinante da progressão do aluno na vida escolar e consequentemente de sua aprovação a cada ano letivo. O desafio do Projeto SADEAM É:

24. Ponderações sobre Análise de fatores associados ao desempenho escolar • A educação é um fenômeno muito complexo e requer diversos olhares diferentes. • Diversos fatores, tanto externos quanto internos à escola, influenciam no desempenho dos alunos. • Além de aferir o desempenho do alunado, a avaliação possibilita análises de fatores associados ao desempenho escolar. Estas análises são um importante subsídio para a formulação de políticas públicas e ações que tragam inovações para a rede a ajudem a melhorar a qualidade do ensino ofertado. • Mas ao mesmo tempo, a compreensão destes resultados nem sempre é simples e uma apropriação indevida dos mesmos pode levar a conclusões equivocadas.

25. Diferentes tipos de análises também terão diferentes utilidades para públicos específicos. Análises de causalidade, buscando fatores que influenciam o desempenho médio da população terão maior utilidade para quem está formulando macro políticas para a rede como um todo. Para professores em sala de aula, estas análises serão de menor utilidade. • Por outro lado, a percepção de alunos sobre suas práticas ou percepção de colegas de profissão sobre problemas em comum podem ajudar o professor a rever suas práticas e refletir sobre como melhorar o seu trabalho. • Logo, além de ser um fenômeno complexo de se analisar, a escolha pelo método e sua explanação ao leitor também não são tarefas simples.

26. Como são analisados os fatores associados ao desempenho escolar? • Em análises de fatores associados ao desempenho escolar, comumente, trabalha-se com duas categorias de fatores: • Fatores extraescolares – características sociodemográficas e socioeconômicas que, em geral, influenciam no destino educacional e ocupacional dos indivíduos. • Fatores intraescolares – aspectos e práticas escolares que influenciam o aprendizado e sucesso escolar dos alunos atendidos pela escola. • Por que trabalhar com estas duas categorias?

27. A importância dos estudos de eficácia escolar: Para a gestão, o estudo dos fatores associados ao desempenho escolar proporciona uma linha de reflexão capaz de apontar soluções para o sistema de ensino e, em especial, para a escola que deseja fazer a diferença na vida de seus estudantes. Ou seja, os dados aqui apresentados são elementos básicos para subsidiar políticas de intervenção que visem a superar adversidades no contexto em que a escola está inserida. Na dimensão pedagógica, é importante o estudo dos fatores associados ao desempenho escolar porque esses dados permitem um entendimento determinado acerca das medidas de desempenho alcançadas pelos estudantes nos testes de proficiência. Assim, tais informações permitem estabelecer um debate mais crítico sobre a ação pedagógica em sala de aula, para além dos elementos de origem dos estudantes, o que extrapola o conformismo do discurso determinista do fracasso escolar.

28. Fatores intraescolares historicamente associados a eficácia escolar: Liderança escolar A liderança escolar é um dos principais fatores associadas à escola eficaz. Por ela compreende-se uma liderança objetiva e firme por parte do diretor, mas com uma abordagem participativa, onde outras pessoas, como o vice-diretor, coordenação pedagógica, professores e a comunidade, estejam envolvidas nas tomadas de decisões. Além disso, outra característica de um líder escolar seria a liderança pedagógica O professor e o ensino de qualidade Quanto maior a relação entre um fator contextual e os alunos, como a relação com o professor e o nível socioeconômico do aluno, por exemplo, mais significante será o impacto desse fator no desempenho do aluno.

29. Altas expectativas quanto ao rendimento e ao comportamento Altas expectativas em relação aos alunos, além de sua expressão por meio de incentivos verbais pelos professores, também é um dos fatores de maior associação com a escola de qualidade. Da mesma forma, o diretor também deve ter altas expectativas em relação a sua equipe, esperando altos níveis de envolvimento com atividades de formação, atenção no monitoramento e acompanhamento dos alunos e a priorização do desempenho acadêmico por parte dos professores. Cultura escolar positiva Para a criação e perpetuação de uma cultura, é necessária a criação de uma comunidade de aprendizagem, de objetivos análogos, entre os membros da equipe da escola. Desta forma, é possível que membros ajam como amigos críticos, compartilhem de suas boas práticas e engajem num processo mútuo de educação/reeducação. Essa cooperação e boa comunicação entre os membros da equipe, além de objetivos comuns, são essenciais para uma cultura positiva.

30. Outros fatores intraescolares associados a eficácia escolar: Fatores associados aos alunos • Alto nível de envolvimento dos alunos em posições de autoridade (representantes de turma, por exemplo). • Alto nível de envolvimento dos estudantes em grêmios, clubes, sociedades, etc. • Muitos alunos em posições de responsabilidade (monitoria, ajudantes de organização escolar, etc.). • Ênfase nas responsabilidades e nos direitos dos alunos. • Monitoramento do progresso dos alunos.

31. Outros fatores intraescolares associados a eficácia escolar: Fatores associados à direção da escola • Flexibilidade no controle institucional de alunos pela direção da escola, com “tréguas” na imposição de regras que dizem respeito ao “modo de se vestir, de se comportar e à moral”. • Ambiente escolar em boas condições de trabalho, manutenção e decoração dos prédios. • Enfoque na aprendizagem acadêmica.

32. Outros fatores intraescolares associados a eficácia escolar: Fatores associados à sala de aula • Pressão acadêmica, envolvendo uso de dever de casa, estabelecimento de objetivos acadêmicos claros e de altas expectativas para os alunos. • Gerenciamento eficaz de sala de aula, envolvendo a preparação de lições, disciplina discreta, a premiação de bom comportamento e minimização de interrupções. • Regras claras e definidas para todos os segmentos da escola e valorização das atitudes positivas. • Expectativas positivas em relação ao que os estudantes deveriam ser capazes de atingir.

33. Outros fatores intraescolares associados a eficácia escolar: Fatores associados aos professores • Bons modelos de comportamento estabelecidos pelos professores. • Uma combinação de liderança estável e envolvimento dos professores. • Formação efetiva do pessoal.

34. Análise dos fatores associados ao desempenho:Grupos de Referência para a gestão escolar • Escolas agrupadas em função de características comuns. • Tentativa de estabelecer referências para a gestão escolar: • poderão auxiliar a atuação de gestores na promoção de ambientes favoráveis ao ensino e ao aprendizado dentro de suas respectivas instituições.

35. Grupos de Referência para a gestão escolar • Fatores que podem ser analisados para a identificação de Grupos de Referência para a Gestão • A partir desses fatores, podem ser criados grupos de referência, buscando a maior homogeneidade possível dentro dos grupos e heterogeneidade entre os grupos.

42. O fator “Práticas de ensino e clima escolar”

50. Grupo 1Escolas com baixa taxa de abandono e relativamente alto índice socioeconômico Número de escolas: 1539