IntroduçãoA palavra inglesa outlier vem de out (fora) + lie (estar, jazer): é aquilo que "fica de fora". Em português costumamos dizer valor atípico, valor discrepante ou, no dia a dia, "ponto fora da curva". Um outlier é uma observação contaminante, estranha, extrema ou aberrante em relação ao restante do conjunto de dados.“As observações que apresentam um grande afastamento das restantes, ou que são inconsistentes com elas, são habitualmente designadas por outliers.”- Definição de outlier [2]O que é um outlier na vida real?Muitas vezes, a razão de um outlier existir determina como ele deve ser tratado. As principais causas do aparecimento de outliers são:erros de medição;erros de execução (de anotação, digitação, procedimento);variabilidade inerente aos elementos da população — o valor é raro, mas verdadeiro.Procurar outliers também é útil por si só. Eles permitem analisar, por exemplo:detecção de fraudes [3] (veja também a lei de Benford [4]);comportamento de gastos de consumidores;análises médicas (resultados inesperados de tratamentos);pesquisa farmacêutica;marketing.O que fazer com outliers?A preocupação com outliers é antiga e vem das primeiras tentativas de analisar um conjunto de dados. No início, pensava-se que a melhor forma de lidar com esse tipo de observação era eliminá-la da análise.As opiniões nunca foram unânimes: uns defendiam a rejeição das observações "inconsistentes com as restantes", enquanto outros afirmavam que nenhuma observação deveria ser rejeitada só por parecer inconsistente com o resto dos dados, e que todas deveriam contribuir com o mesmo peso para o resultado final.Um termômetro registrou 412 °C para a temperatura de uma pessoa num hospital. O que fazer com esse valor?Gabarito: Corrigi-lo se for possível saber o valor certo (provavelmente 41,2) e, se não for, eliminá-lo — é um erro de digitação (412 °C é fisicamente impossível), e erros cuja correção é inviável são o único caso em que eliminar se justifica. Manter tudo sempre é a resposta tentadora, mas vale para valores raros e verdadeiros, não para erros.Como identificar um outlierA identificação de outliers pode passar por três fases.A primeira fase é a identificação das observações potencialmente aberrantes. Ela é feita com métodos subjetivos: em geral por análise gráfica ou, se o conjunto de dados for pequeno, pela observação direta dos valores. Assim são apontadas as observações com fortes chances de virem a ser consideradas outliers.Na segunda fase, o objetivo é eliminar a subjetividade da fase anterior: queremos saber se as observações apontadas como outliers potenciais o são de fato. Para isso, aplicamos às observações suspeitas um critério ou teste estatístico objetivo, escolhido de acordo com a situação em estudo. Se o critério indicar que a observação é inconsistente com os demais valores, ela é chamada de discordante. Muitas vezes, o termo discordante é usado como sinônimo de outlier. Alguns critérios usados nesta fase:gráfico de caixa (boxplot) e a regra do intervalo interquartil;escores-z (regra dos três desvios-padrão);teste de Dixon;teste de Grubbs;modelos de discordância, entre outros.Na última fase, é preciso decidir o que fazer com as observações discordantes. A maneira mais simples é eliminá-las, mas, como já foi dito, essa abordagem, apesar de muito usada, não é aconselhável. Ela só se justifica quando os outliers vêm de erros cuja correção é inviável. Caso contrário, as observações consideradas outliers devem ser tratadas com cuidado, pois contêm informação relevante sobre os dados e podem ser decisivas para conhecer a população de onde veio a amostra.Neste curso vamos usar dois critérios: o escore-z e a regra do intervalo interquartil.Critério 1: escore-z (regra dos três desvios-padrão)O escore-z mede quantos desvios-padrão um valor está afastado da média:\[ z = \frac{x - \bar{x}}{s} \]Pela regra dos três desvios-padrão (também chamada regra dos três sigmas [1]), um valor é considerado outlier quando está a mais de três desvios-padrão da média, ou seja, quando \(|z| > 3\):\[ x < \bar{x} - 3s \quad \text{ou} \quad x > \bar{x} + 3s \]Aqui \(s\) é o desvio-padrão amostral (dividindo por \(n-1\)), como vimos na aula sobre amostragem. A justificativa vem da distribuição normal: nela, cerca de 99,7% dos valores ficam a menos de três desvios-padrão da média.Cuidado com amostras pequenas. Com \(n\) observações, nenhum valor consegue ter \(|z|\) maior que \((n-1)/\sqrt{n}\), porque o próprio outlier puxa a média e infla o desvio-padrão. Com 4 valores, o máximo é 1,5; com 10 valores, 2,85. Só a partir de 11 observações a regra dos três desvios-padrão consegue apontar algum outlier. Em amostras pequenas, use outro critério (como a regra do intervalo interquartil ou o teste de Dixon).Exemplo: os valores seguintes referem-se às concentrações de nitrito numa amostra de água de um rio: 0,403; 0,410; 0,401 e 0,380. A última observação é suspeita: deve ser considerada um outlier?A média desse conjunto de dados é 0,3985, e o desvio-padrão amostral é 0,0129.A média mais três desvios-padrão é 0,3985 + 3 × 0,0129 ≈ 0,437. Qualquer valor acima de 0,437 seria considerado outlier.A média menos três desvios-padrão é 0,3985 − 3 × 0,0129 ≈ 0,360. Qualquer valor abaixo de 0,360 seria considerado outlier.Como nenhum valor está acima de 0,437 nem abaixo de 0,360, não há outliers por esse critério: o escore-z de 0,380 é só −1,43. Note que, com apenas 4 valores, esse resultado já era inevitável (o máximo possível é 1,5).Um conjunto tem média 50 e desvio-padrão amostral 4. Pela regra dos três desvios-padrão, qual destes valores seria um outlier?Gabarito: 63 — os limites são 50 − 3 × 4 = 38 e 50 + 3 × 4 = 62, e só 63 fica fora deles (z = 3,25). O 38,5 parece extremo, mas ainda está acima de 38 (z = −2,875).Critério 2: regra do intervalo interquartil (boxplot)Este é o critério usado no gráfico de caixa (boxplot), proposto por John Tukey em 1977. Calculamos o primeiro quartil \(Q_1\), o terceiro quartil \(Q_3\) e o intervalo interquartil \(IIQ = Q_3 - Q_1\). É outlier o valor que estiver fora das "cercas":\[ x < Q_1 - 1{,}5 \times IIQ \quad \text{ou} \quad x > Q_3 + 1{,}5 \times IIQ \]Como os quartis não dependem dos valores extremos, um outlier não consegue "esconder a si mesmo" como acontece no escore-z. Existem pequenas variações na forma de calcular os quartis; aqui usamos a do Excel (QUARTIL ou QUARTIL.INC) e do numpy, com interpolação linear.Exemplo: os prazos de entrega (em dias) de 9 pedidos foram 3, 4, 4, 5, 5, 6, 6, 7 e 15. O pedido de 15 dias é um outlier?Os quartis são \(Q_1 = 4\) e \(Q_3 = 6\), então \(IIQ = 2\). As cercas ficam em 4 − 1,5 × 2 = 1 e 6 + 1,5 × 2 = 9. Como 15 > 9, o pedido de 15 dias é um outlier.Pelo escore-z, ele não seria: a média é 6,11 e o desvio-padrão amostral é 3,55, então \(z = (15 - 6{,}11)/3{,}55 \approx 2{,}50\), abaixo de 3 — e, com 9 valores, nenhum z poderia passar de 2,67.Num conjunto de dados, Q1 = 20 e Q3 = 30. Pela regra do intervalo interquartil, qual é a cerca superior, acima da qual um valor é outlier?Gabarito: 45 — o IIQ é 30 − 20 = 10, e a cerca superior é Q3 + 1,5 × IIQ = 30 + 15 = 45. O 35 é a conta errada mais comum: somar 1,5 × IIQ à mediana ou usar só metade do IIQ.Exercícios1) Os dados a seguir referem-se à precipitação (em mm) numa determinada cidade durante 5 meses: 53,5; 61,5; 62,3; 64,9; 40,6. O desvio-padrão amostral é 9,89. Pela regra dos três desvios-padrão, algum desses valores pode ser considerado outlier? No sexto mês, a precipitação foi de 30 mm: em relação aos cinco meses anteriores, esse valor é um outlier?2) Os valores a seguir referem-se à produção de trigo: 12,0; 12,4; 17,5; 11,8; 14,0; 12,8; 14,0; 13,5; 12,6; 13,0; 12,6; 12,7. O desvio-padrão amostral é 1,51. Algum desses valores é outlier (a) pela regra dos três desvios-padrão? (b) Pela regra do intervalo interquartil?3) Considere os seguintes tempos de hemodiálise (em meses) de 14 pacientes transplantados: 51, 24, 55, 75, 24, 27, 22, 23, 48, 18, 96, 24, 26 e 35. O desvio-padrão amostral é 23,23. Verifique se alguma dessas observações é outlier (a) pela regra dos três desvios-padrão; (b) pela regra do intervalo interquartil.Gabarito1) Não e não. A média dos cinco meses é 56,56, e os limites são 56,56 ± 3 × 9,89, isto é, de 26,9 a 86,2. Nenhum dos cinco valores sai desse intervalo (e, com n = 5, nem poderia), e 30 mm também fica dentro dele. Observação: se você usar o desvio-padrão populacional (8,84), dividindo por n, o limite inferior seria 30,03 e 30 mm ficaria fora por muito pouco — um sinal de que, com tão poucos dados, a conclusão é frágil.2) (a) Não. A média é 13,24 e o limite superior é 13,24 + 3 × 1,51 = 17,77; o escore-z de 17,5 é 2,82. (b) Sim, o 17,5. Q1 = 12,55, Q3 = 13,625, IIQ = 1,075, e a cerca superior é 13,625 + 1,5 × 1,075 ≈ 15,24.3) (a) Não. A média é 39,14 e o limite superior é 39,14 + 3 × 23,23 = 108,8. (b) Sim, o 96. Q1 = 24, Q3 = 50,25, IIQ = 26,25, e a cerca superior é 50,25 + 1,5 × 26,25 ≈ 89,6.Referências[1] https://en.wikipedia.org/wiki/68%E2%80%9395%E2%80%9399.7_rule[2] http://www.estgv.ipv.pt/PaginasPessoais/psarabando/CET%20%20Ambiente%202008-2009/Slides/8.%20Outliers.pdf[3] https://www.sciencedirect.com/science/article/pii/S1467089515300324[4] https://en.wikipedia.org/wiki/Benford%27s_law
Reações
0
0 Comentários
Seja o primeiro a comentar
Nada aqui ainda.