Avaliação de Processos

1. Avaliação de Processos Mariano Montoni COPPE/UFRJ Programa de Engenharia de Sistemas e Computação

2. Sumário • Motivação para Avaliar Processos • Funções Principais de Avaliação de Processos • Métodos de Avaliação • Metodologia do SCAMPI

3. Motivação para Avaliar Processos • Mercados competitivos • Necessidade de melhorar continuamente os processos • Importante identificar pontos fracos e fortes dos processos através da análise do negócio, gerência e processos • Avaliações são instrumentos para mudanças organizacionais

4. Motivação para Avaliar Processos • Avaliações focam na estrutura de trabalho organizacional • Avaliações ajudam a transformar a organização de forma funcional

5. Motivação para Avaliar Processos • Avaliações de processos são apenas ferramentas de melhoria de processo • O modelo mais compacto e completo dos estágios de melhoria de processo é o modelo IDEAL para melhoria organizacional • O modelo IDEAL fornece um guia para a inicialização, planejamento e implementação de atividades de um programa de melhoria de processos

6. Modelo IDEAL

7. Funções Principais da Avaliação • Analisar como uma organização trabalha • Avaliações representam a forma como as empresas realmente trabalham • Análise de uma avaliação depende de critérios estabelecidos por um modelo de referência “Se você não sabe onde se encontra, um mapa não vai lhe ajudar.” Watts Humphrey

8. Funções Principais da Avaliação • Motivar a organização em realizar mudanças positivas • Avaliações estimulam culturas técnicas e organizacionais a evoluir • Avaliações requerem participação ampla para distribuir e limitar exposições • O foco das mudanças é nos processos e não nas pessoas

9. Funções Principais da Avaliação • Transformar as organizações através de procedimentos estabelecidos • Avaliações treinam e habituam organizações a fazerem auto-crítica de forma não-defensiva • Avaliações mudam a perspectiva das pessoas sobre seu ambiente de trabalho local e global • O envolvimento da alta gerência no processo de melhoria se perpetua após a avaliação

10. Funções Principais da Avaliação • Educar a organização através da exposição de boas práticas da indústria • Avaliações não apenas motivam empresas a melhorar, mas também as ensina como melhorar

11. Métodos de Avaliação • CMM CBA IPI • ISO 9000-3 • Bootstrap • SPICE (ISO 15504) • SCAMPI

12. CMM CBA IPI • Inicialmente existiam dois tipos de avaliações do CMM: • SPA (Software Process Assesment) • Utilizado por organizações para obter conhecimento sobre sua própria capacidade de desenvolvimento de software e para priorizar ações de melhoria de processo • SCE (Software Capability Evalution) • Utilizado em avaliações externas do processo de software de uma organização • Método oficial de avaliação do CMM • CBA IPI (CMM-Based Appraisals for Internal Process Improvement)

13. CMM CBA IPI Requisitos do CBA IPI • Presença de um líder qualificado • Constituição de uma equipe de avaliação • Foco na organização como um todo • Concentração em uma hierarquia de níveis de maturidade • Importância de entrevistas pessoais • Confidencialidade • Corroboração de informações • Identificação do nível de maturidade da organização avaliada (ratings) • Recomendações • Apresentação de resultados

14. ISO 9000 • Em 1987, a ISO consolidou os padrões de manufatura para incluir entre outros um padrão para desenvolvimento de software • Esse conjunto é formado de 5 padrões relacionados, que combinados constituem um sistema de qualidade • O padrão de software corresponde à ISO 9000-3 • A idéia principal da ISO 9000-3 é que os ciclos de vida de desenvolvimento de software devem ser documentados cuidadosamente como processos de manufatura

15. ISO 9000 • A certificação segundo a ISO 9000-3 não trata níveis de maturidade nem incentivos para melhoria de processos • O foco é no controle de não-conformidades de produtos e recomendação de ações corretivas e preventivas • A técnica de auditoria da ISO 9000-3 é chamada de TickIT • Uma versão simplificada do SPA (Software Process Assessment) do SEI

16. Bootstrap • Projeto ESPRIT concluído em 1993 • A equipe do projeto era formada por empresas e institutos de pesquisa da Áustria, Bélgica, Finlândia, Alemanha e Itália • Aplicou o Modelo SEI à indústria européia de software • Adotou e estendeu o questionário original do SEI com questões baseadas na ISO 9000 e no modelo de processo da European Space Agency

17. Bootstrap • Aumentar a aplicação da tecnologia de Engenharia de software na indústria de software européia • Desenvolveram uma metodologia para acesso ao processo tendo o modelo SEI como referência básica, com os seguintes objetivos: • Determinar e apresentar um perfil analítico da qualidade de “unidades produtoras de software” e seus projetos • A partir da análise, traçar um plano de ação para melhoria a curto e longo prezo • Transformar o plano de ação em uma série de mini projetos para implementação das melhorias recomendadas

18. Bootstrap • Descreve como avaliar o processo • Determina o nível de maturidade de uma organização • Identifica seus pontos fortes e fracos (capacidade) • Oferece diretrizes para melhoria (planos de ação)

19. Bootstrap • A metodologia tem três passos: • Preparação: apresentação da metodologia para a gerência e equipe técnica da organização • Planejamento: seleção, com os representantes da organização, das “unidades produtoras de software” e dos projetos a serem avaliados • Avaliação no local

20. Bootstrap Questionário • As questões estão divididas em três grupos: • Questões sobre a organização • Questões sobre o processo e know-how em Engenharia de Software • Questões sobre tecnologia e sua transferência • As respostas são em cinco níveis: Ausente, Fraco, Satisfatório, Extensivo, Não Aplicável

21. SPICE 1991 - Comitê de Engenharia de Software da ISO aprovou a realização de estudos para analisar as necessidades de um padrão para avaliação de processo de desenvolvimento de software • estudo apontou um consenso internacional sobre necessidade de um padrão e a importância de se implementar melhorias no processo de desenvolvimento • 1993 - foi criado o projeto SPICE (Software Process Improvement and Capability dEtermination), um acordo internacional de coordenação mundial: Austrália, EUA, Inglaterra e Canadá

22. SPICE Objetivo: produzir normas que orientem a avaliação de processo de software visando melhoria contínua do processo e determinação da capacitação • baseou-se no que havia de melhor de modelos pré-existentes, principalmente no CMM • SPICE provê uma estrutura para a avaliação de processos de software. Esta estrutura pode ser usada por organizações envolvidas em planejamento, gerenciamento, monitoramento, controle e melhoria da aquisição, fornecimento, desenvolvimento, operação, evolução e suporte de software.

23. SPICE Abordagem • Entender o estado dos processos da organização para a melhoria do processo • Determinar a adequação dos processos da organização a um requisito particular ou classe de requisitos • Determinar a adequação dos processos de outra organização para um contrato particular ou classe de contratos

24. SPICE • Em 1998, SPICE foi convertido em um modelo e partes de avaliação de processos da norma ISO/IEC 15504

25. SCAMPI • O SCAMPI (Standard CMMI Appraisal Method for Process Improvement ) foi desenvolvido para prover indicadores de qualidade relativos ao CMMI (Capability Maturity Model Integration) • Aplicável a vários modos de avaliações de processos • Melhoria interna de processos • Determinação externa de nível de capacidade • Atende aos requisitos de avaliações para o CMMI e apóiam a realização de avaliações ISO/IEC 15504

26. SCAMPI O objetivo do SCAMPI é: • Obter informação sobre a capacidade de engenharia de uma organização através da identificação de pontos fracos e fortes dos processos • Relacionar os pontos fracos e fortes com o modelo CMMI • Priorizar planos de melhoria • Focar em melhorias mais urgentes da organização • Derivar indicador do nível de capacidade e maturidade • Identificar riscos de desenvolvimento / aquisição relativos a determinações de capacidade / maturidade

27. SCAMPI • O SCAMPI, por ser um método de avaliação de benchmarking, depende de agregação de evidências coletada através de instrumentos, apresentações, documentos e entrevistas • A equipe de avaliação observa, ouve, e lê informação que é transformada em: • Notas • Declarações de falhas na implementação de práticas ou pontos fortes • Achados preliminares

28. SCAMPI • Os achados preliminares são avaliados pela unidade organizacional antes de se tornarem achados finais • Essas transformações são aplicáveis a dados que refletem os processos executados na unidade organizacional e no CMMI, formando a base para ratings e outros resultados da avaliação • Planejamento da avaliação é essencial

29. Metodologia do SCAMPI Consiste em três fases e 11 processos essenciais • Fase 1: Planejar e Preparar para a Avaliação • Fase 2: Conduzir a Avaliação • Fase 3: Relatar Resultados

30. Processos do SCAMPI

31. Fase 1: Planejar e Preparar para a Avaliação A fase 1 do SCAMPI envolve o seguinte: • Escolher a data da Avaliação • Identificar um coordenador da unidade organizacional • Planejar a avaliação • Definir uma equipe de avaliação • Definir os produtos finais da avaliação • Selecionar os projetos a serem avaliados • Selecionar as pessoas a serem entrevistadas • Distribuir questionários • Treinar a equipe da avaliação

32. Fase 1: Planejar e Preparar para a Avaliação • Antes de iniciar a avaliação, membros da organização avaliada devem preparar as evidências objetivas para agilizar o processo • Isto difere do CBA IPI, onde a equipe avaliadora deveria procurar todas as evidências desde o início • Evidências objetivas são informações qualitativas ou quantitativas, registros ou afirmações sobre um fato pertencentes a uma característica de um item ou serviço ou a existência e implementação de um elemento de processo

33. Fase 1: Planejar e Preparar para a Avaliação • Durante a avaliação onsite a equipe avaliadora verifica e valida as evidências diretas fornecidas pela organização avaliada para identificar os pontos fortes e fracos relativos ao modelo de referência CMMI • O processamento da informação é agilizado devido ao fornecimento das evidência previamente • Ganha-se tempo e esforço ao não se executar o processo de “descoberta”

34. Fase 1: Planejar e Preparar para a Avaliação • Análise das evidências objetivas preliminares é crucial • Se dados substanciais não estão presentes, então os passos seguintes da avaliação podem ser postergados ou mesmo cancelados

35. Fase 1: Planejar e Preparar para a Avaliação A coleta prévia de evidências provê os seguintes benefícios: • Melhoria na acurácia dos resultados das avaliações • Entendimento detalhado sobre a forma de implementação das práticas do modelo de referência • Facilidade em monitorar a conformidade com o processo e o progresso da melhoria de processo • Resíduos de avaliações podem ser reutilizadas em avaliações subseqüentes, minimizando o esforço de preparação

36. Fase 2: Conduzir a Avaliação A fase 2 do SCAMPI envolve o seguinte: • Realizar a reunião de Kick-Off e outras apresentações • Coletar e gerenciar os dados a partir de: • Questionários • Documentos • Entrevistas • Apresentações • Consolidar os dados

37. Fase 2: Conduzir a Avaliação • A idéia fundamental por trás dos Indicadores de Implementação de Práticas (PIIs – Practice Implementation Indicators) é que a condução de uma atividade ou implementação de uma prática resulta em uma “impressão digital” – evidência que provê a base para a verificação das práticas ou atividades

38. Fase 2: Conduzir a Avaliação O conceito principal da fase 2 é a “cobertura” o que implica • Coletar dados suficientes para cada componente do modelo dentro do escopo selecionado pelo patrocinador da avaliação • Obter uma amostra representativa dos processos em andamento

39. Fase 2: Conduzir a Avaliação • Os ratings são gerados após a confirmação de que foi obtida suficiente cobertura do modelo de referência e da unidade organizacional • Os goal ratings são determinados para cada área de processo, os quais são usados coletivamente para determinar o rating para as áreas de processo individuais, assim como o rating da maturidade do processo para a unidade organizacional como um todo

40. Fase 3: Relatar Resultados A fase 3 do SCAMPI envolve o seguinte: • Consolidar achados preliminares • Realizar reuniões para relatar os achados preliminares • Consolidar os achados finais e estabelecer os ratings • Apresentar informalmente os achados finais ao patrocinador da avaliação • Realizar apresentação dos achados finais • Realizar reunião executiva para discutir os achados finais • Fechamento da equipe da avaliação

41. Tempo e Esforço de uma Avaliação SCAMPI • São necessários 2 a 3 meses para realizar as atividades de planejamento da avaliação e para treinar a equipe de avaliação • Atividades de planejamento geralmente iniciam entre 6 e 8 semanas antes da avaliação onsite • O treinamento dos membros da equipe da avaliação requer 5 a 6 dias: • 2,5 a 3 dias no treinamento do modelo de referência • 2,5 a 3 dias no treinamento da equipe de avaliação

42. Tempo e Esforço de uma Avaliação SCAMPI • O treinamento da equipe pode ser combinada com outras atividades do planejamento (análise da resposta dos questionários, revisão de documentos e desenvolvimento de scripts de entrevistas) • Estas atividades devem ser concluídas entre 2 a 3 semanas antes do período onsite • A avaliação onsite leva em torno de 10 dias

43. Tempo e Esforço de uma Avaliação SCAMPI • Mês 1 e 2 – Treinamento da equipe da avaliação e planejamento • Mês 3 – Avaliação onsite • Mês 4 – Revisão do plano de ação • Meses 5-24 – Implementação do plano de ação • Mês 12 – Avaliação interna • Meses 18-30 – SCAMPI de acompanhamento

44. Avaliação de Processos Mariano Montoni COPPE/UFRJ Programa de Engenharia de Sistemas e Computação