Download
1 / 32
360 likes | 881 Vues
Programas Interlaboratoriais. O que s
E N D
1. AVALIAO de ENSAIO DE PROFICINCIA Alice M. Sakuma
Instituto Adolfo Lutz
alice@ial.sp.gov.br
2. Programas Interlaboratoriais O que so?
Por que participar?
Para que servem?
Qual a relao custo x benefcio?
Qual a relao entre participao em PIs e confiabilidade dos resultados?
3. Definies Comparao Interlaboratorial/Programa Interlaboratorial (PI)
Organizao, desempenho e avaliao de ensaios nos mesmos itens ou em itens de ensaio similares por dois ou mais laboratrios de acordo com condies pr-determinadas (ABNT ISO/IEC 43-1)
Ensaio de Proficincia
Determinao do desempenho de laboratrio por meio de comparao interlaboratorial ( ISO 3534-1)
4. Programas Interlaboratoriais uma das ferramentas da garantia da qualidade e do controle da qualidade;
umas das formas mais transparentes de demonstrar a competncia de laboratrios, com pouca oportunidade de falsificao ou manipulao dos resultados;
Outras ferramentas so:
1. uso de materiais de referncia certificados;
2. uso de mtodos validados;
5. Por que Participar de PIs? Ensaio de Proficincia fornece aos laboratrios participantes um meio objetivo de avaliar e demonstrar a confiabilidade dos dados produzidos.
Protocolo harmonizado
Ajuda o laboratrio participante a avaliar a exatido dos seus resultados;
ISO 5725-1994
recomendado aos laboratrios acreditados ou em fase de acreditao;
6. Por que Participar de PIs? Diminuir divergncias de resultados entre laboratrios;
Minimizar os prejuzos s empresas e aos rgos regulamentadores;
Fornecer confiana adicional aos clientes;
Identificar diferenas interlaboratoriais.
7. Por que Participar de PIs? NBR ISO/IEC 17025
4. Requisitos de Gerenciamento: 4.14. Anlise Crtica pela Alta Administrao
Analisar periodicamente o sistema da qualidade e as atividades de ensaios e calibraes, para garantir adequao e efetividade:
resultados de comparaes interlaboratoriais e ensaios de proficincia;
adequao de polticas e procedimentos;
relatrios gerenciais;
resultados da auditoria interna;
aes corretivas e preventivas;
avaliaes por organismos externos;
mudanas no tipo e volume do trabalho;
informaes de clientes; reclamaes;
treinamento do pessoal; etc.
8. Por que Participar de PIs? NBR ISO/IEC 17025
5. Requisitos Tcnicos
5.4. Mtodos de Ensaio e Calibrao e Validao de Mtodos
Validao de mtodos: a confirmao por exame e fornecimento de evidncia objetiva de que os requisitos especficos para um determinado uso pretendido so atendidos.
calibrao usando padres ou materiais de referncia;
comparao de resultados obtidos por outros mtodos;
comparaes interlaboratoriais;
avaliao da incerteza dos resultados.
9. Por que Participar de PIs? NBR ISO/IEC 17025
5. Requisitos Tcnicos
5.6. Rastreabilidade das Medies
Calibrao: Certas calibraes no podem ser feitas estritamente no SI de unidades.
Nestes casos a confiabilidade deve ser obtida pelo uso de:
materiais de referncia certificados;
mtodos especificados e/ou padres de consenso;
participao em programas de comparaes interlaboratoriais.
10. Por que Participar de PIs? NBR ISO/IEC 17025
5. Requisitos Tcnicos
5.9. Garantia da Qualidade dos Resultados
Procedimentos de controle da qualidade dos ensaios e calibraes
Uso de materiais de referncia certificados;
Participao em comparaes interlaboratoriais ou ensaios de
proficincia;
Replicar os ensaios e calibraes, usando os mesmos mtodos ou mtodos diferentes;
Correlacionar os resultados para diferentes caractersticas de um item.
11. Por que Participar de PIs? INMETRO - NIT-DICLA-026 Rev. 02 junho/03
Requisitos sobre a participao dos laboratrios de ensaios em atividades de ensaio de proficincia
Item 8.1 : Os laboratrios devem demonstrar a competncia tcnica na realizao dos ensaios acreditados por meio da participao satisfatria em atividades de ensaio de proficincia, onde tais atividades estiverem disponveis.
12. Por que Participar de PIs? INMETRO - NORMA N NIT-DICLA-026 Rev. 02 junho/03
Item 8.4 - Requisitos sobre a participao dos laboratrios de ensaios em atividades de ensaio de proficincia, os resultados da participao em Pis so monitorados pelo INMETRO para assegurar que laboratrios. com desempenho insatisfatrio tomem as aes corretivas ou podero ter a acreditao cancelada
13. Para que participar de PIs? Os PIs avaliam a habilidade do laboratrio em realizar ensaios de forma competente e podem incluir avaliao:
1. pelo prprio laboratrio;
2. por seus clientes;
3. pelos organismos de acreditao/habilitao ou regulamentadores
14. Benefcios da Participao em PIs Avalia a necessidade de treinamento;
Melhoria na qualidade dos servios prestados;
Diminui o nmero de re-ensaios;
15. Benefcios da Participao em PIs Melhora a confiabilidade metrolgica dos dados emitidos pelo laboratrio;
Auxilia na identificao dos tipos de erros cometidos pelo laboratrio (sistemticos e/ou aleatrios);
Monitora as metodologias, analistas e a calibrao dos equipamentos;
16. Objetivos de PIs Avaliar o desempenho dos laboratrios atuantes na rea;
Estimular os participantes a apresentar desempenho satisfatrio;
Permitir que o laboratrio participante avalie seu desempenho ao longo do tempo;
Permitir que o laboratrio participante compare seu desempenho com os demais laboratrios;
Deve permitir que os provedores observem se houve uma melhoria no desempenho ao longo do tempo;
17. ENSAIO DE PROFICINCIA PARA CHUMBO EM SANGUE do IAL
18. Tipos de Programas Interlaboratoriais Programas qualitativos: identificar componentes de um item de ensaio;
Programas com um nico item de ensaio: um item de ensaio enviado sequencialmente aos participantes;
Programas contnuos: frequncia de rodadas definidas;
19. Tipos de Programas Interlaboratoriais
20. Programa Interlaboratorial: Ensaio de Proficincia (EP) EP testa exatido dos resultados;
Avalia desempenho de laboratrios;
Mtodos de livre escolha;
Coletar dados de vrias rodadas ou vrios anos (um nico round no fornece informao suficiente);
EP diferente de estudo colaborativo;
EP possibilita o clculo de RSD da repro;
Avaliar bias do mtodo.
21. Programa interlaboratorial: Estudo Colaborativo Protocolo detalhado para avaliar um mtodo analtico;
Mtodo definido pelo coordenador;
Nmero mnimo de 8 participantes;
Amostra: 5 ou mais, incluindo duplicatas cegas;
Deve incluir amostras controle ou MRC;
Anlise estatstica dos resultados / relatrio;
Anlise crtica do desempenho do mtodo.
22. Programas para Certificao Devem participar laboratrios qualificados, experientes nas tcnicas;
Amostras so homogneas e estveis, no tm valores conhecidos;
Avaliao estatstica dos resultados;
Reunies tcnicas de avaliao;
podem haver muitas rodadas at a obteno de valores compatveis;
23. Referncias e Normas
24. Referncias e Normas
25. Atividades de um Programa Interlaboratorial
26. Convites/Instrues Coordenador envia convites aos laboratrios;
Manual do participante: que devem conter informaes sobre: objetivos, itens de ensaio, ensaios, mtodos, instrues para o registro dos resultados, cronograma das rodadas, confidencialidade, avaliao estatstica, critrios de desempenho, relatrio, taxas.
27. Preparao dos Itens de Ensaio Pode ser contratada ou realizada pelo coordenador;
Avaliar as condies que possam afetar os itens de ensaio;
Os itens de ensaio devem ser o mais similar possvel s amostras ensaiadas rotineiramente pelo laboratrio;
O nmero de amostras depende de algum requisito;
O valor designado no deve ser divulgado at a emisso do relatrio final;
Em alguns casos so informadas as faixas a serem atingidas;
Amostras excedentes devem ser preparadas.
28. Gerenciamento dos Itens de Ensaio Documentar os procedimentos de amostragem, seleo aleatria, transporte, recebimento, identificao, rotulagem, armazenamento e manuseio das amostras;
O coordenador deve garantir a homogeneidade e estabilidade dos itens de ensaio;
Os participantes devem ser informados de quaisquer riscos que os itens de ensaio possam ocasionar.
29. Homogeneidade
Mostrar que a variao na composio da amostra distribuda desprezvel em relao variao introduzida pelos medidas realizadas pelos laboratrios participantes;
O mtodo deve ser suficientemente preciso;
Usar teste de hiptese;
ANOVA
30. Homogeneidade O provedor deve realizar corretamente o teste de homogeneidade: amostras aleatrias, homogeneizao antes das anlises, anlises aleatrias das duplicatas;
O provedor deve ter as instrues detalhadas do teste de homogeneidade;
31. Resultados Dispersos no Teste de Homogeneidade Resultados entre rplicatas discordantes devem ser eliminados(teste de Cochran);
Resultados entre rplicas so concordantes, porm a mdia discrepante em relao ao conjunto - no eliminar
Protocolo harmonizado 2004
32. Estabilidade do Item de Ensaio Material distribudo deve ser suficientemente estvel at o retorno final dos resultados;
Teste de estabilidade: comparar os resultados do analito entre as amostras conservadas em condies normais e em condies extremas;
33. Escolha do mtodo: ensaio de proficincia O mtodo de livre escolha do laboratrio participante;
Deve ser o usado normalmente na rotina do laboratrio;
O coordenador deve solicitar detalhes dos mtodos usados para comparao dos resultados e comentrios.
34. Anlise dos Dados/Projeto Estatstico Levar em considerao:
A preciso e exatido do ensaio;
As menores diferenas a serem detectadas entre os laboratrios participantes;
O nmero de laboratrios participantes;
Nmero de amostras e o nmero de ensaios repetidos a serem realizados;
Os procedimentos a serem usados para estimar o valor designado;
Os procedimentos a serem usados para identificar os valores dispersos.
35. Avaliao dos Resultados de PIs O provedor deve estabelecer dois valores para a avaliao dos resultados de um PI:
1. Um valor como posio central: valor designado ou melhor estimativa do valor verdadeiro;
2. Um valor de disperso
36. Avaliao dos Resultados de PIs Recebimento e registro dos resultados de cada participante;
Selecionar a estatstica a ser utilizada (clssica e/ou robusta);
Eliminar resultados dispersos (outliers) quando se usa estatstica clssica;
Verificar se as mdias individuais vlidas apresentam distribuio normal (gaussiana);
Definir medida de posio central (mdia, mediana);
Definir medida de disperso (desvio padro alvo).
37. Exemplos de Avaliao dos Resultados de PIs
38. Valor Designado (VD) Valor utilizado no Ensaio de proficincia como valor verdadeiro;
Melhor estimativa possvel do valor verdadeiro;
Estimativa do mensurando para clculo do escore;
No deve ser divulgado at a emisso do relatrio final.
39. Seleo de mtodos para determinao do valor designado
Custos ao provedor e aos participantes;
Exigncia legal - VD consistente com resultados de laboratrios de referncia ou outras organizaes;
VD rastrevel a um valor de referncia particular.
40. Mtodos para Determinao do Valor Designado 1. Valor certificado do MRC
Valor designado o valor certificado
2. Determinado por um Laboratrio de Referncia
Laboratrio altamente qualificado;
Equivale a usar MRC;
3. Comparao direta com MRC
Material teste analisado sob condies de REP com o MRC, usando mtodo com baixa incerteza;
VD calculado com base no valor certificado.
41. Mtodos para Determinao do Valor Designado (VD) 4. Valor de consenso de laboratrios especialistas
- Laboratrios especialistas analisam o material do EP usando mtodos de referncia reconhecidos
5. Formulao
Adio de quantidade ou concentrao conhecida do analito em um material base;
O ligao do analito na amostra pode ser diferente do adicionado;
Homogeneidade mais difcil em materiais slidos;
42. Mtodos para Determinao do Valor Designado (VD) 6. Consenso dos Participantes
Valor designado o consenso dos resultados de todos os participantes, excluindo os resultados aberrantes
- Desvantagens:
- Depende dos resultados;
- Incerteza aumenta quando o N laboratrios pequeno;
Vantagens
- Baixo custo;
- Comparvel aos determinados por formulao, valor de referencia, laboratrios especialistas.
43. Clculo do Valor Designado Estatstica paramtrica ou clssica
1. Requer distribuio normal;
2. Sofre influncia de resultados discrepantes: usar testes para eliminao, por ex. Grubbs, Dixon, Cochran etc.;
3. Calcular a Mdia e Desvio padro;
Estatstica No paramtrica ou distribuio livre e robusta:
1. Para conjunto de resultados com distribuio sem normalidade;
2. No sofre influncia de valores dispersos;
3. Calcular a Mediana e Desvio absoluto da mediana
44. Programa Interlaboratorial de Anlise de gua ANVISA/IPT Amostra: Material de referncia preparado pelo NIST
Laboratrios participantes: 14 laboratrios escolhidos pela ANVISA
Ensaios: ons de metais
Mtodo analtico: livre escolha do participante
45. Anlise dos Dados Comparao dos resultados dos participantes com os valores de referncia do NIST;
Mdia de consenso com todos os resultados dos laboratrios participantes;
Z - score
46. Z-score
50. Programa Interlaboratorial de Anlise de gua ANVISA/IPT Relatrio Programa Interlaboratorial de Anlise de gua ANVISA/IPT
51. Programa Interlaboratorial para Sulfato em gua: N 1 Amostra: Material de referncia preparado e certificado pelo coordenador;
Participantes: laboratrios do Chile, Alemanha, Bolvia, Brasil, Equador, Nicargua, Panam e Peru;
Mtodo analtico: livre escolha do participante;
52. Anlise dos Dados Clculo da mdia de cada laboratrio
Clculo do desvio padro
Clculo do Erro/bias
Erro quadrtico mdio relativo
54. Programa de Ensaio de Proficincia para Sulfato em gua - N 2 Clculo da mediana;
Desvio padro alvo: amplitude interquartil normalizada ou desvio padro de Horwitz;
Z-score avaliao de desempenho;
Elipse de confiana;
Erro normalizado.
55. Z-score
56. Determinao do Desvio padro O valor do desvio padro deve ser adequado ao programa;
Deve ser definido pelo Comit Consultivo; antes da distribuio das amostras;
Desvio padro determinado por: fitness for purpose de cada rea ou laboratrios especialistas;
O desvio padro ( ) usado para definir o z-escore;
Se no h um desvio apropriado, o provedor deve evitar o uso de z-escore para avaliar desempenho
57.
AIQ= Q3 Q1 (amplitude interquartil)
Q1 menor quartil ( valor abaixo do qual situam-se dos resultados)
Q3 maior quartil ( valor acima do qual situam-se dos resultados)
AIQn= AIQ x 0,7413 ( amplitude interquartilica normalizada) - comparvel ao desvio padro
O fator 0,7413 vem da distribuio normal, cuja mdia igual a zero e desvio padro igual a um.
58. Determinao do Desvio padro Alvo (?) Desvio padro de Horwitz
? = 0,22 c se c < 120 ppb ou 0,12 g/g
? = 0,2 c0,8495 se 120 ppb = c = 13,8%
? = 0,1 c0,5 se c > 13,8%
= desvio padro da funo de Horwitz
C= concentrao do analito expressa adimensionalmente
(1 g/g equivale a 10-6 )
59. Erro Normalizado
60. Classificao dos Erros Erros Sistemticos
Sempre de mesmo sinal, magnitude e constante.
Ex. calibrao de equipamento, interferncias, branco de reagentes no corrigidos, variao instrumental, analista, etc
Erros Aleatrios
So imprevisveis, variam de sinal e magnitude. Se vrias medies so realizadas a mdia dos erros tende a zero.
Ex. contaminao ou perda, desvios no uso do pop, reagentes, analista, instabilidade do equipamento, etc
Erros Ocasionais ou Grosseiros
Ex: erro de digitao, amostra errada, mtodo errado, contaminao, erro de clculo etc.
61. Elipse de Confiana Usado para verificar a compatibilidade de resultados entre laboratrios;
Diagrama de disperso dos resultados;
Par de amostras com concentraes semelhantes,
Os resultados so representados por um ponto na elipse;
Seguem a distribuio de Youden.
62. Elipse de Confiana
63. Interpretao da Elipse de Confiana Pontos dentro da elipse
Disperso uniforme: existe compatibilidade entre os resultados dos laboratrios; desempenho dos laboratrios pode ser satisfatrio;
Disperso no uniforme (um ou mais pontos afastados da maioria, indicam que existe compatibilidade entre os resultados dos laboratrios): Existem erros significativos dos laboratrios, em relao aos demais;
64. Interpretao da Elipse de Confiana Pontos fora da elipse
Pontos prximo ao eixo maior da elipse: indicam erros sistemticos significativos modificaes no permitidas na metodologia, problemas de equipamentos no calibrados;
Pontos afastados do eixo maior da elipse: indicam erros aleatrios significativos so devidos a: variabilidade dentro do laboratrio, analista no devidamente treinado, erros de clculo, leitura, transcrio de resultados etc...
65. Interpretao da Elipse de Confiana
67. Grfico dos Erros Normalizados para Sulfato
69. Programa de Ensaio de Proficincia: Adolfo Lutz
70. Programa de Ensaio de Proficincia: Adolfo Lutz
71. Programa de Ensaio de Proficincia: Adolfo Lutz
72. Avaliao do desempenho pelo Participante um indicador importante para avaliar e monitorar o sistema da qualidade como um todo;
O participante deve fazer auto-avaliao do seu desempenho e tambm avaliar o provedor;
O participante deve avaliar o desempenho geral dos laboratrios;
73. Avaliao do desempenho pelo Participante Desempenho insatisfatrio
Identificao das causasnmero de resultados insatisfatrios, tendncias;
Aes corretivas;
Anlise dos dados do controle interno;
Eliminao das no conformidades;
Verificao da eficcia: reprocessamento da amostra, participao em novas rodadas de PEP;
74. Avaliao do Desempenho pelos Clientes Forma de avaliao da qualidade do laboratrio;
O cliente precisa conhecer o sistema de avaliao do provedor;
Analisar o desempenho do laboratrio ao longo do tempo;
Observar o desempenho global de todos os laboratrios;
Solicitar cpias dos relatrios.
75. Avaliao do Desempenho pelos rgos de Acreditao/Habilitao/Reguladores Avaliao pelo organismo de acreditao
Mecanismo de superviso da acreditao ( distncia);
Verificar se o laboratrio competente para realizar ensaios /calibraes;
Avaliar o sistema do laboratrio para controle de trabalho no conforme e para aes corretivas e preventivas.
76. Avaliao do Desempenho pelos rgos de Acreditao/Habilitao/Reguladores Desempenho Satisfatrio
1. Evidncia de competncia em caso especfico;
2. Pode no refletir um estado de competncia contnua;
Desempenho insatisfatrio
1. O laboratrio deve ter polticas de investigao do mau desempenho e avaliao da sua eficcia;
2. Organismo de acreditao deve informar ao laboratrio sobre as consequncias do desempenho insatisfatrio.
77. Avaliao do Desempenho pelos rgos de Acreditao/Habilitao
78. Avaliao do Desempenho pelos rgos de Acreditao/Habilitao
79. Estrutura de um PI Fase inicial: colaborao de especialistas tcnicos, estatsticos e um coordenador do programa;
Objetivos devem ser bem claros;
Sistema da qualidade deve ser estabelecido e mantido: ABNT /ISO/IEC 17025-2005;
Tpicos recomendados a serem seguidos:
80. Gesto da Qualidade de um PI Poltica da qualidade;
Organizao do organismo Coordenador;
Treinamento e competncia do pessoal;
Atribuies e responsabilidades do pessoal;
Controle da documentao;
Procedimentos de auditoria e anlise crtica;
Meta, escopo, projeto estatstico e formato dos programas de ensaios de proficincia;
Procedimentos operacionais: preparao de amostras, ensaio de homogeneidade/estabilidade de amostras, equipamentos, procedimentos para a determinao de valores designados, fornecedores, incluindo sub-contratados, logstica, anlise dos dados;
81. Gesto da Qualidade de um PI Preparao e emisso de relatrios;
Ao e retro-alimentao pelos participantes;
Documentao e arquivo de registros;
Procedimentos para tratamento de reclamaes;
Poltica de confidencialidade e procedimentos ticos;
Informao computadorizada;
Biosegurana e outros fatores ambientais;
Subcontratao;
Taxas de participao;
Escopo de disponibilidade dos programas;
Polticas gerais sobre participao e uso dos resultados de programas.
82. Frequncia de rodadas
83. Comunicao com os participantes O provedor deve fornecer um conjunto detalhado de informao sobre a participao no programa;
Comunicaes subsequentes: cartas, relatrios;
Comunicao entre provedor e participante sempre que houver avaliao incorreta;
Retro-alimentao: os participantes devem contribuir ativamente para o desenvolvimento do programa;
84. Confidencialidade/Consideraes ticas O provedor deve garantir a confidencialidade da identificao e desempenho dos participantes;
A divulgao do desempenho do laboratrio s pode ser feita em comum acordo entre as partes;
No relatrio do PEP os participantes devem ser codificados para evitar a identificao dos mesmos;
85. Fraudes e Falsificao de Resultados Fraude entre laboratrios, de forma que resultados verdadeiros no so apresentados;
Os participantes devem evitar este tipo de atitude;
Falsa impresso otimista de suas capacidades;
Fraude: apresentam resultados de repeties e na verdade realizam apenas um nico ensaio;
Coordenadores devem tomar todas as medidas para evitar fraudes;
86. Seleo de Programas de Ensaio de Proficincia Os ensaios, medies ou calibraes devem corresponder aos tipos realizados pelo laboratrio acreditado ou em fase de acreditao;
adequado s necessidades?
O EP traz benefcios ao seu laboratrio?
Sites de Interesse:
www.eptis.bam.de
www.inmetro.gov.br
www.anvisa.gov.br
87. Seleo de Programas de Ensaio de Proficincia PEPs devem operar de acordo com a ABNT ISO IEC GUIA 43-1;
Com a concordncia do laboratrio acreditado, o organismo de acreditao deve ter acesso aos seus resultados, aos detalhes do PEP: instrues, tratamento estatstico e o relatrio final;
Adequabilidade do PEP: frequncia, confiana dos itens de ensaio(homogeneidade, estabilidade da amostra), custos, poltica com relao confidencialidade,
88. Consideraes Finais Provedores de programas interlaboratoriais devem ter habilidade para escolha da tcnica estatstica mais adequada
Sempre que possvel aplicar vrios modelos estatsticos para verificar qual deles melhor;
O coordenador deve ter conhecimento sobre a natureza dos materiais e domnio sobre os procedimentos analticos;
89. Consideraes Finais
Ensaio de Proficincia no significa Aprovao ou Rejeio de um ensaio e sim, Participar e Aprender com os Resultados;
EURACHEM, 2000
90.
MUITO OBRIGADA PELA ATENO!
