Guia de Utilização do Teste de Normalidade de Kolmogorov-Smirnov (Lilliefors) no SisDEA | Verificação da normalidade dos resíduos da Regressão Linear de dados do mercado imobiliário

1. Para que serve

A Verificação da Normalidade do SisDEA responde à pergunta: “os resíduos da minha equação se comportam como uma distribuição normal?”

Os resultados clássicos da regressão linear — testes t dos coeficientes, teste F, intervalos de confiança e de predição — supõem que os resíduos sigam uma distribuição normal. Quando essa suposição falha de forma acentuada (resíduos muito assimétricos, caudas longas, grupos de imóveis com comportamento diferente), os p-valores e os intervalos deixam de ser confiáveis.

A tela reúne três gráficos e o teste de Kolmogorov-Smirnov com a correção de Lilliefors, que resume em um número (o p-valor) se o afastamento da normalidade é grande demais para ser atribuído ao acaso.

A verificação da normalidade não altera o modelo nem a equação: ela apenas indica se a suposição de normalidade é razoável.

2. Conceitos básicos

2.1 A ideia do teste

O teste compara duas curvas:

• a distribuição empírica dos resíduos: uma “escada” que sobe 1/n a cada resíduo, do menor para o maior (n = número de dados);
• a distribuição normal acumulada: a curva em “S” que os resíduos deveriam seguir se fossem normais.

A estatística D é a maior distância vertical entre a escada e a curva. Se os resíduos forem normais, a escada acompanha a curva de perto e D é pequeno. Se não forem, em algum ponto a escada se afasta da curva e D cresce.

Como a escada tem degraus, a distância é medida nos dois lados de cada degrau:

2.2 Por que Lilliefors

O teste de Kolmogorov-Smirnov clássico compara a amostra com uma normal de média e desvio padrão conhecidos de antemão. Na regressão, porém, a média e o desvio padrão dos resíduos são calculados a partir dos próprios resíduos. Nesse caso, a curva normal fica naturalmente mais próxima dos dados, e os valores críticos do teste clássico tornam-se altos demais: o teste quase nunca rejeita a normalidade, mesmo quando os resíduos são claramente assimétricos.

A correção de Lilliefors usa valores críticos e p-valores calculados para essa situação. O SisDEA aplica sempre a correção de Lilliefors.

2.3 A padronização dos resíduos

Para o teste, cada resíduo é padronizado pela média e pelo desvio padrão amostral dos resíduos:

resíduo padronizado = (resíduo − média dos resíduos) / s

Onde s é o desvio padrão dos resíduos calculado com n − 1 no denominador. Esse é o valor mostrado na coluna Dados Ordenados da tabela e usado nos três gráficos.

Ele é um pouco diferente da coluna Resíduo/DP Regressão, que divide o resíduo pelo desvio padrão da regressão (calculado com n − p no denominador, p = número de coeficientes). As duas medidas têm o mesmo sinal e a mesma ordem; o resíduo padronizado do teste é apenas um pouco maior em valor absoluto. Com 25 dados e 4 coeficientes, por exemplo, ele é cerca de 7% maior.

2.4 O p-valor e a decisão

• Hipótese nula (H0): os resíduos seguem uma distribuição normal.
• p-valor: probabilidade de, com resíduos normais, obter um D igual ou maior que o observado.
• Decisão: se D > valor crítico (o que equivale a p-valor < α), rejeita-se a normalidade ao nível de significância α. Caso contrário, a normalidade não é rejeitada.

Não rejeitar não é o mesmo que provar que os resíduos são normais: significa apenas que os dados não mostram evidência suficiente contra a normalidade.

3. Antes de começar

A Verificação da Normalidade fica em Ferramentas → Normalidade (grupo Regressão Linear), na aba Regressão Linear:

• O modelo precisa estar calculado. Se o cálculo for desfeito, a janela é fechada.
• São usados os resíduos da equação selecionada, na escala transformada da equação (por exemplo, ln(y)). Para analisar outra equação, selecione-a primeiro.
• Entram apenas os dados habilitados.
• O teste exige pelo menos 5 dados.

Os resultados do teste são exibidos pelo botão Teste de Kolmogorov-Smirnov, que abre a caixa de diálogo descrita na seção 4.3.

4. A tela

4.1 Os gráficos

O botão de setas no canto superior direito do histograma altera o número de classes (barras). Ele começa com um valor calculado a partir do número de dados e pode ser reduzido até 3. Como as barras estão em densidade, a comparação com a curva continua válida com qualquer número de classes.

Use Gráficos → Numerar pontos (Ctrl+N) para exibir o número dos pontos nos gráficos.

4.2 A tabela

A tabela reúne, em um único quadro, duas informações diferentes. É importante saber ler cada parte:

Colunas 1 a 5 — um imóvel por linha. Referem-se ao imóvel indicado na coluna Dados:

Colunas 6 a 10 — a sequência ordenada do teste. Formam, de cima para baixo, a sequência dos resíduos padronizados do menor para o maior, usada no cálculo de D. A k-ésima linha da tabela mostra o k-ésimo menor resíduo, que em geral não é o do imóvel indicado na coluna Dados dessa linha.

Para refazer o cálculo de D pela tabela, mantenha a tabela na ordem original (ou clique no título Dados Ordenados para ordená-la de forma crescente) e, em cada linha, calcule:

• Direita − Normal Acumulada (contribuição para D+);
• Normal Acumulada − Esquerda (contribuição para D−).

O maior desses valores, em todas as linhas, é a estatística D mostrada no diálogo do teste.

4.3 O diálogo do teste

O botão Teste de Kolmogorov-Smirnov abre uma caixa de diálogo com a hipótese do teste, a escolha do nível de significância e uma tabela de resultados:

O botão Copiar copia a tabela de resultados, separada por tabulações, para colar no Excel ou no Word.

5. Como interpretar os resultados

5.1 Leia o teste junto com os gráficos

O p-valor resume tudo em um número, mas os gráficos mostram onde e como os resíduos se afastam da normalidade. Leia sempre os dois:

5.2 Onde está o maior desvio?

O diálogo informa a posição k e o resíduo padronizado onde ocorre D:

• se k está no início da sequência (resíduos negativos), o desvio está na cauda inferior: imóveis com valor observado abaixo do estimado;
• se k está no fim (resíduos positivos), o desvio está na cauda superior;
• se k está no meio, os resíduos estão concentrados ou espalhados demais em torno de zero em relação à normal (achatamento ou pico acentuado).

Para identificar o imóvel que ocupa a posição k, procure na coluna Resíduo/DP Regressão o valor com o mesmo sinal e mais próximo do resíduo padronizado informado no diálogo (ele é um pouco menor em valor absoluto — seção 2.3).

5.3 O tamanho da amostra importa

• Amostras pequenas (até cerca de 30 dados): o teste tem pouco poder e só rejeita afastamentos grandes. Não rejeitar com poucos dados é uma informação fraca; dê peso aos gráficos.
• Amostras grandes (centenas de dados): o teste passa a rejeitar afastamentos pequenos, sem importância prática. Com muitos dados, os resultados da regressão já são pouco sensíveis a desvios moderados de normalidade; avalie pelos gráficos se o afastamento é relevante.

5.4 Exemplo ilustrativo

Os números abaixo são apenas um exemplo de leitura, com uma amostra hipotética de 25 apartamentos e uma equação com 4 coeficientes.

Diálogo do teste (α = 0,05):

Colunas 6 a 10 da tabela, linhas 8 a 10:

• Na linha 9, Direita − Normal Acumulada = 0,3600 − 0,2420 = 0,1180, o maior valor da tabela: é a estatística D, do tipo D+ (escada acima da curva).
• O desvio ocorre na cauda inferior (resíduo padronizado −0,70): há um pouco mais de imóveis abaixo do estimado nessa faixa do que a normal prevê.
• Como D = 0,1180 é menor que o valor crítico 0,1737 (p-valor 0,49), não se rejeita a normalidade. Se os gráficos também não mostrarem padrão preocupante, a suposição é razoável.

Se, na mesma amostra, o teste mostrasse D = 0,2050 (p-valor 0,0081), a normalidade seria rejeitada a 5% e também a 1% (valor crítico 0,2018). Nesse caso, examine o gráfico de quantis e o histograma para entender a causa antes de alterar o modelo.

6. Levando os resultados para o laudo

Use o botão Copiar do diálogo e cole a tabela no laudo. Informe:

• o teste utilizado — Kolmogorov-Smirnov com correção de Lilliefors —, o número de dados, a estatística D, o valor crítico, o p-valor e o nível de significância;
• a conclusão do teste e a leitura dos gráficos (histograma, normal acumulada e quantis);
• se a normalidade for rejeitada, o que foi feito (transformação, revisão de outliers) e o resultado após a correção.

A verificação da normalidade é uma análise de pressupostos do modelo e não entra no cálculo do Grau de Fundamentação (NBR 14653-2). O seu papel é dar segurança de que os testes e intervalos clássicos da regressão podem ser usados.

7. Pontos importantes para dados de imóveis

7.1 Outliers distorcem o teste

Um ou dois resíduos atípicos podem, sozinhos, levar à rejeição da normalidade. Antes de mudar a transformação do modelo, verifique esses imóveis com os Resíduos Studentizados e a Distância de Cook (Ferramentas → Resíduos do modelo, aba Distância de Cook).

7.2 Heterocedasticidade

Se a variação dos resíduos cresce com o valor do imóvel, a distribuição dos resíduos tende a parecer assimétrica ou com caudas longas, e o teste pode rejeitar a normalidade. Verifique também a heterocedasticidade; muitas vezes a mesma transformação (por exemplo, ln(y)) resolve os dois problemas.

7.3 Amostras com mais de um segmento

Uma amostra que mistura segmentos de mercado diferentes pode produzir resíduos com dois “picos” no histograma. O problema não está na distribuição, mas na composição da amostra ou na falta de uma variável que diferencie os segmentos.

7.4 Bootstrap como alternativa em amostras pequenas

Em amostras pequenas em que a normalidade é duvidosa, o Bootstrap dos Coeficientes (Calcular → Bootstrap – Coeficientes) fornece intervalos de confiança que não dependem da hipótese de normalidade — ver o Guia de Utilização do Bootstrap.

8. Mensagens do sistema

9. Resumo — fluxo recomendado

1. Calcule a regressão linear e escolha a equação.
2. Abra Ferramentas → Normalidade, aba Regressão Linear.
3. Observe os três gráficos: histograma em sino, pontos seguindo a curva acumulada e a linha do gráfico de quantis.
4. Clique em Teste de Kolmogorov-Smirnov e verifique D, o valor crítico, o p-valor e a conclusão ao nível α desejado.
5. Veja a posição do maior desvio para saber em que parte da distribuição está o problema.
6. Se a normalidade for rejeitada, verifique primeiro outliers e heterocedasticidade; depois considere uma transformação da variável dependente.
7. Recalcule e repita a verificação após cada alteração.
8. Copie o resultado para o laudo, com a leitura dos gráficos.