1 / 80

Projeto de Experimentos Científicos Análise de Sistemas por Usuários

Projeto de Experimentos Científicos Análise de Sistemas por Usuários. Marcelo da Silva Hounsell Avanilde Kemczinski Maio/2008. Objetivo de uma Pesquisa. O que ? Conhecer um fenômeno Como ? Através de um experimento O que nos interessa observar Resultado é a expectativa/tendência.

jadon
Télécharger la présentation

Projeto de Experimentos Científicos Análise de Sistemas por Usuários

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Projeto de Experimentos CientíficosAnálise de Sistemas por Usuários Marcelo da Silva Hounsell Avanilde Kemczinski Maio/2008

  2. Objetivo de uma Pesquisa • O que ? • Conhecer um fenômeno • Como ? • Através de um experimento • O que nos interessa observar • Resultado é a expectativa/tendência

  3. Supõe-se que o Tema, Objetivo e Teminologias já tenham sido tratados antes • Estes normalmente aparecem na introdução e fundamentação do trabalho

  4. Qual é o formato de pesquisa mais comum em Ciência da Computação? • Experimental • Exploratória • Quais técnicas são as mais usadas?

  5. Pesquisa Experimental • Manipula variáveis relacionadas com o objeto de estudo com objetivo de identificar causa/efeito procurando evitar a interferência de variáveis intervenientes • Interfere-se na variável independente e observa-se o que acontece com a dependente. • Tendências, Regressão

  6. Pesquisa Exploratória • Visa descobrir a relação existente entre as variáveis de interesse, principalmente quando há pouco conhecimento sobre o problema a ser estudado para, então, aumentar o entendimento sobre este • Associação, Correlação

  7. Roteiro (M&L) • O Problema • Hipóteses • Variáveis • Público • Estratégia • Coleta de Dados e Tabulação • Tratamento e Análise de Dados

  8. O Problema • Como comparar o uso de dois sistemas computacionais ? • Uso • Avaliar resultado/performance • Avaliar satisfação

  9. Hipóteses • Muitas vezes estas não ficam explícitas no texto • É uma suposta resposta ao objetivo e que será aceita ou refutada ao final da pesquisa.

  10. Qual a hipótese do seu trabalho ? Qual a resposta que se supõe será obtida ?

  11. Hipóteses • Exemplos • Uma interface de RA aumenta o aprendizado da inspeção de focos da dengue • Uma interface com RA não influencia na avaliação do Controle Motor • O uso de recursos computacionais aumentam o aprendizado da programação de robôs

  12. Variáveis do Experimento Características que podem ser observadas/medidas

  13. Variáveis • Tipos • Dependentes • Independentes • Intervenientes • Formas • Quantitativas • Qualitativas

  14. Tipos de Variáveis (CBS: 78) • Independentes (X) • Causa ou fator determinante • Não podem ser controlados • Dependentes (Y) • Fatores a serem observados/coletados • São afetadas pela var. independentes • Resultam da manipulação das v.ind. • Intervenientes (w) • Modificam a v.d. sem que tenha havido modificação na v.i.

  15. Exemplo (CBS: 78) • Alunos da escola pública e de particulares (X) têm notas (y) diferentes no vestibular pelo nervosismo de uns ou de outros (w)

  16. Variáveis Independentes (M&L:140) • É preciso avaliar a real importância de ... • Gênero (M/F) (influencia mesmo ?) • Idade (Faixa etária) • Ambiente do Experimento (Univ., Casa, Trab.) • Estado Emocional/Atenção (horário) • Escolaridade • Estilo Cognitivo • Familiaridade com o Computador • Familiaridade ou Conhecimento Específico • Em RV/RA • Em Dengue • Com Jogos 3D

  17. Formas das Variáveis (B:30) • Quantitativas • Cardinais • Numéricas • Tempo de Serviço, Altura, ... • Qualitativas • Ordinais • Quando há uma relação de ordem entre elas • Ex: básico|médio|avançado; • Categóricas • Sem relação de ordem • Ex: regiões do país, estado civil

  18. Variáveis Dependentes • Quantitativas/Objetivas • Tempo, Altura • Acertos/Erros • Repetições/Re-começos • Paradas/Retornos • Qualitativas/Subjetivas • Conhecimento • Fadiga/stress • Preferência/gosto

  19. Qual usar ?

  20. Selecionando as variáveis (B:30) • Em termos do trabalho que você exerce na empresa, você se sente: • Muito satisfeito, • Pouco satisfeito • Insatisfeito • Dê uma nota de 0 a 10, relativa ao seu nível de satisfação com o trabalho que você exerce na empresa. Nota: ____

  21. “a pesquisa quantitativa tende a ser mais precisa e confiável” (CMC:115)

  22. No caso da comparação de sistemas........ (Hounsell, 2008)

  23. Dados qualitativos são indicativos da satisfação do usuário e devem ser confrontados com dados quantitativos de performance • Idealmente, um sistema deve ser bom para o usuário e promover boa performance

  24. Roteiro (M&L) • O Problema • Hipóteses • Variáveis • Público • Estratégia • Coleta de Dados e Tabulação • Tratamento e Análise de Dados

  25. Público: Universo • Universo/Público-alvo • São as pessoas as quais queremos que os resultados se apliquem (B:27) • Quem são, quais as características do Universo ? • Como identifica-lo dentre toda a população do planeta (rever variáveis independentes) • Quantas são as pessoas que estão relacionadas com este experimento ?

  26. Quem é o Universo do seu experimento ?

  27. Exemplos • Pacientes pós-AVC, com gravidade abaixo de severa. • Crianças de 4a a 8a séries • Interessados em Programação de Robôs

  28. Público: Amostra • Amostra • Impossível avaliar Todo o Universo (Ideal). • É mesmo representativa do Universo ? • Quais os critérios para selecionar a amostra do universo ? Porque ? • Quantos indivíduos são necessários para se obter uma resposta confiável ?

  29. Amostragem • Amostragem Sistemática • Quando se conhece algumas características da população • Ex: se população=70% mulher, na amostra isso tem que ocorrer. • Amostragem Aleatória Simples

  30. Tamanho da Amostra Depende da área também !!!

  31. Análise do Controle Motor • Eder = 53 (45 indivíduos pós hemiplégicos, -8 indivíduos sem deficiência motora) • Dose = 53 (35 pessoas esquizofrênicas (medicadas com calmantes), 18 pessoas saudáveis) • Sanches = (28 mulheres com fibromialgia, 3 tarefas com 10 tentativas cada) • Subramanian = 23x20x24(15 pacientes com hemiparesia,8 sem deficiência motora, 20 tentativas por alvo, 3 blocos de 24 tentativas cada) • Viau = 15x6(8 indivíduos saudáveis, 7 adultos com hemiparesia, 6 tentativas em cada ambiente (real e virtual) • Luo = 3x30(3 homens com AVC usando sistemas diferentes, Cada um interagiu com 15 objetos virtuais, seguidos de 15 objetos reais) • Tanaka = (8 indivíduos com SNU (Síndrome da Negligência Unilateral) • Broeren = (5 indivíduos pós-AVC e hemiparéticos em fase crônica,Número pequeno da população não validou o estudo)

  32. Tamanho da Amostra (B:58) • Para populações grandes, o tamanho da amostra é definido pelo Erro Amostral (ea) • na = 1 / ea2 • Assim, 25 pessoas equivale a um ea de 20% • Se a população é pequena, o cálculo é outro.

  33. Público: Amostra • 1 indivíduo = estudo de caso • Alguns indivíduos = “estimativa” • Muitos indivíduos = quase certeza • Por uma questão de probabilidade, para que se tenha confiança, Quanto mais, melhor (CMC:128)

  34. Roteiro (M&L) • O Problema • Hipóteses • Variáveis • Público • Estratégia • Coleta de Dados e Tabulação • Tratamento e Análise de Dados

  35. Estratégia de Experimentação Software 1 Software 2 Grupo de N pessoas

  36. Estratégia de Experimentação • Basicamente são duas: • (1G2S) UM grupo avalia os DOIS softwares • (2g1S) O grupo é DIVIDIDO e avalia UM software em separado

  37. Brainstorm • Quais seriam as vantagens das abordagens 1G2S e 2g1S ?

  38. 1G2S:Vantagens • Pode-se fazer a comparação direta e obter “o melhor” • Tamanho do grupo é menor • Pode-se obter clareza em quais partes/itens um é melhor que o outro se for feito questionamentos por partes

  39. 2g1S: Vantagens • Experimento individual é mais rápido • Cada um avalia o seu sem ser influenciado pela existência do outro • Os dois sistemas podem ser bons – conclui-se que não há diferença

  40. Brainstorm • Quais seriam os problemas das abordagens 1G2S e 2g1S ?

  41. 1G2S: Problemas • Qual a seqüência (pode influenciar no resultado final ?) • O usuário aprende com o experimento (isso influencia no resultado ?) • O objetivo real do teste deve ser omitido ? • Duração do experimento é maior • Pode gerar cansaço/fadiga devido a repetição ? • Faz tudo no mesmo dia, dá intervalo de descanço, quanto ?

  42. 2g1S: Problemas • A comparação é indireta • Uma avaliação ótima de um, pode ocorrer até pela ignorância do quão bom é o outro • Como manter o perfil dos dois grupos parecido ? • Precisa de mais indivíduos para se ter dois grupos de tamanho “aceitável” • Variáveis de gênero e idade podem levar a que o grupo dividido seja menor ainda se elas influenciam no resultado

  43. Análise • Se o objetivo é saber quem é O melhor, 1G2S é direto • Se o objetivo é identificar diferenças, 1G2S • Se os dois podem ser bons, 2g1s parece mais adequado

  44. 2o dia....

  45. Roteiro (M&L) • O Problema • Hipóteses • Variáveis • Público • Estratégia • Coleta de Dados e Tabulação • Tratamento e Análise de Dados

  46. Coleta de Dados • Coleta é executar o experimento e fazer as anotações individuais conforme o especificado. • É um processo que ocorre antes, durante e depois do experimento propriamente dito.

  47. “a única coisa realmente previsível na coleta de dados é o fato de que ela toma sempre mais tempo do que se espera” (CMC:183)

  48. Coleta de Dados • Idealmente, faz-se primeiro um pré-teste para ter melhor clareza de • como será a coleta, • quanto tempo levará cada indivíduo, • clareza das tarefas e perguntas, • outros problemas de ordem práticas

  49. Tratamento dos Dados • Tratar os dados significa aplicar procedimentos estatísticos para segmentar/agrupar dados (por variável independente)

More Related