Guia de Utilização da Distância de Mahalanobis no SisDEA | Identificação de imóveis com características atípicas na amostra de dados do mercado imobiliário

    Guia de Utilização da Distância de Mahalanobis no SisDEA | Identificação de imóveis com características atípicas na amostra de dados do mercado imobiliário
    8 horas atrás

    1. Para que serve

    A Distância de Mahalanobis é uma ferramenta de diagnóstico da amostra que responde à pergunta: “as características deste imóvel são compatíveis com as dos demais imóveis da amostra?”

    Ela olha apenas para as variáveis independentes do modelo (área, padrão, idade, localização etc.), e não para o preço. O objetivo é encontrar imóveis cuja combinação de características é incomum em relação ao conjunto. Por exemplo: um terreno muito maior que os demais, um apartamento de alto padrão em uma amostra de padrão médio, ou um imóvel antigo com área de imóvel novo.

    Esses imóveis não estão necessariamente errados. Mas, como ficam afastados do restante da amostra, tendem a ter alta alavancagem na regressão: a equação se aproxima deles e eles podem se tornar dados influentes. Identificá-los antes ou durante a modelagem ajuda a conferir os dados e a verificar se cada imóvel pertence de fato ao mercado avaliado.

    A Distância de Mahalanobis não altera o modelo nem a equação: ela apenas aponta os imóveis que devem ser investigados.

    2. Conceitos básicos

    2.1 Distância “comum” versus Distância de Mahalanobis

    Medir a distância de um imóvel ao centro da amostra parece simples, mas há duas dificuldades:

    1. As variáveis têm escalas diferentes. Uma diferença de 100 na área (m²) não é comparável a uma diferença de 100 no número de vagas.
    2. As variáveis andam juntas. Em geral, imóveis maiores têm mais dormitórios e mais vagas. Um imóvel grande com muitos dormitórios é comum; um imóvel pequeno com muitos dormitórios é incomum, mesmo que a área e o número de dormitórios, vistos isoladamente, estejam dentro da faixa da amostra.

    A Distância de Mahalanobis resolve as duas questões ao mesmo tempo: ela mede o afastamento de cada imóvel em relação à média da amostra levando em conta a escala e a correlação entre as variáveis. Por isso consegue detectar combinações atípicas que não aparecem quando se olha uma variável de cada vez.

    2.2 O que o número significa

    O SisDEA exibe o quadrado da distância (D²):

    • D² próximo do número de variáveis é o valor típico de um imóvel comum;
    • D² muito maior que os demais indica um imóvel com características afastadas do conjunto.

    2.3 O valor de corte e o p-valor

    Para decidir o que é “muito afastado”, o SisDEA calcula um valor de corte para o nível de significância α escolhido (padrão: 5%). Os imóveis com D² acima do corte são marcados como Outlier.

    Como a média e a dispersão das variáveis são estimadas na própria amostra, o SisDEA usa a distribuição exata de D² (distribuição Beta), e não a aproximação qui-quadrado usada em muitos programas. A diferença é importante em amostras pequenas:

    AmostraCorte exato (SisDEA)Corte qui-quadrado (aproximação)Maior D² possível
    30 dados, 3 variáveis7,167,8128,03
    15 dados, 5 variáveis8,6111,0713,07
    30 dados, 15 variáveis20,3325,0028,03

    Com a aproximação qui-quadrado, o corte fica alto demais em amostras pequenas e quase nenhum imóvel é apontado. Com o corte exato, a proporção de imóveis marcados por acaso fica de fato em torno de α. Em amostras grandes, os dois cortes praticamente coincidem.

    A coluna Sig. traz o p-valor de cada imóvel: a probabilidade de um imóvel comum da mesma amostra ter uma distância igual ou maior. Quanto menor o valor, mais atípico o imóvel.

    3. Antes de começar

    A Distância de Mahalanobis fica na guia Variáveis, botão Mahalanobis:

    • O modelo precisa estar calculado. Se o cálculo for desfeito, a janela é fechada.
    • São usadas as variáveis independentes habilitadas do modelo. A variável dependente não participa.
    • Entram no cálculo apenas os dados habilitados.
    • O número de dados precisa ser maior que o número de variáveis mais um (n > p + 1).
    • As variáveis não podem ser linearmente dependentes (por exemplo, duas variáveis iguais, ou uma variável que é soma de outras), nem constantes em todos os dados.

    4. A tela

    4.1 O painel Estatísticas

    CampoO que significaPadrão
    Dados consideradosNúmero de dados habilitados usados no cálculo.—
    Variáveis Ind. Reg. OriginalNúmero de variáveis independentes (p).—
    Significancia αNível de significância usado para o valor de corte. Pode ser alterado (entre 0 e 1); a tela é recalculada na hora.0,05
    Valor de corte para αD² acima do qual o imóvel é marcado como Outlier.—
    Variáveis na forma diretaMarcado: usa as variáveis na forma original (sem transformação). Desmarcado: usa as variáveis com as transformações da equação selecionada (por exemplo, ln(Área)).Mercado

    O painel Variáveis Regressão mostra o nome de cada variável (x1, x2, …), na forma direta ou transformada, conforme a opção escolhida.

    4.2 A tabela

    ColunaO que significa
    IdNúmero do dado na amostra.
    Dist. MahalanobisD² do imóvel.
    Sig.P-valor da distância (seção 2.3).
    OutlierSim quando D² está acima do valor de corte.
    x1, x2, …Valores das variáveis independentes do imóvel, na forma direta ou transformada.

    Clique no título de uma coluna para ordenar a tabela. Ordenar pela Dist. Mahalanobis coloca os imóveis mais atípicos juntos.

    4.3 Os gráficos

    • Distância de Mahalanobis (à esquerda): D² de cada dado (eixo horizontal: número do dado), com uma linha horizontal no valor de corte. Os pontos abaixo do corte em azul e os iguais ou acima do corte em vermelho.
    • Quantis Teóricos x Dados Ordenados (à direita): compara as distâncias observadas, em ordem crescente, com as distâncias esperadas para uma amostra sem imóveis atípicos. Se as características seguem um padrão homogêneo, os pontos ficam próximos de uma reta. Pontos que se afastam da reta no canto superior direito são os imóveis mais atípicos.

    Use Gráficos → Numerar pontos (Ctrl+N) para exibir o número de cada dado nos gráficos.

    5. Como interpretar os resultados

    5.1 Primeiro os gráficos, depois a tabela

    • No gráfico da esquerda, identifique os pontos vermelhos e os pontos que se destacam claramente dos demais, mesmo abaixo do corte.
    • No gráfico da direita, veja se os pontos seguem a reta. Uma curva acentuada no final indica um ou mais imóveis com características bem diferentes do conjunto.
    • Na tabela, localize esses imóveis e observe os valores das variáveis (x1, x2, …) para entender qual combinação de características os torna atípicos.

    5.2 Forma direta ou transformada?

    As duas leituras são úteis e respondem a perguntas diferentes:

    • Forma direta: mostra os imóveis atípicos em termos das características originais. É a mais indicada para conferir os dados (erro de digitação, imóvel de outro segmento).
    • Forma transformada: mostra os imóveis atípicos na escala usada pela equação. É a que indica quais imóveis terão alta alavancagem na regressão. Uma transformação como ln(Área) costuma aproximar os imóveis muito grandes do restante da amostra; um imóvel atípico na forma direta pode deixar de sê-lo na forma transformada.

    5.3 Muitos dados, muitos alarmes

    A marcação Outlier é feita imóvel por imóvel. Com α = 5%, espera-se que cerca de 5% dos imóveis sejam marcados mesmo em uma amostra sem nenhum imóvel atípico de verdade: 1 em cada 20 dados, 5 em cada 100.

    Por isso, em amostras maiores:

    • não se assuste com alguns imóveis marcados como Outlier — é o esperado;
    • para apontar um imóvel como atípico com segurança, use a coluna Sig. com o limite mais rigoroso 0,05 / n (correção de Bonferroni), ou informe esse valor no campo Significancia α. Com 30 dados, o limite é 0,05 / 30 ≈ 0,0017;
    • desconfie quando a quantidade de imóveis marcados for muito maior que α × n: isso costuma indicar que a amostra reúne mais de um segmento de mercado, e não imóveis isolados.

    5.4 O que fazer com um imóvel atípico

    A Distância de Mahalanobis aponta, mas não decide. Para cada imóvel atípico:

    • Confira os dados: área, padrão, idade, localização. Erros de digitação (uma área de 1.200 m² em vez de 120 m², por exemplo) são a causa mais comum.
    • Verifique se o imóvel pertence ao mesmo mercado: um imóvel de outro segmento (comercial em uma amostra residencial, um galpão em uma amostra de lojas) deve ser retirado da amostra, com justificativa.
    • Verifique a influência na equação: um imóvel com características atípicas só compromete o modelo se o seu preço também estiver fora da tendência. Consulte a Distância de Cook e os Resíduos Studentizados (Ferramentas → Resíduos do modelo, aba Distância de Cook).
    • Considere uma transformação: se o imóvel é atípico apenas pela escala de uma variável (área muito grande, por exemplo), uma transformação como ln(x) pode resolver.

    Não retire um imóvel apenas porque a Distância de Mahalanobis é alta. Um imóvel correto e do mesmo mercado amplia a faixa de características coberta pelo modelo; retirá-lo pode reduzir o campo de aplicação da equação.

    5.5 Mascaramento

    Quando há dois ou mais imóveis atípicos parecidos entre si, eles deslocam a média e aumentam a dispersão da amostra, e cada um pode parecer menos atípico do que é. Por isso:

    • observe o gráfico de quantis: um grupo de pontos afastado da reta merece atenção, mesmo que nenhum esteja acima do corte;
    • depois de corrigir ou retirar um imóvel, recalcule e repita a análise — as distâncias de todos os dados mudam, e outro imóvel pode passar a se destacar.

    5.6 Exemplo ilustrativo

    Os números abaixo são apenas um exemplo de leitura, com uma amostra hipotética de 30 apartamentos e três variáveis independentes (área, número de vagas e idade), na forma direta. O valor de corte para α = 0,05 é 7,16; o limite de Bonferroni é 0,05 / 30 ≈ 0,0017.

    IdDist. MahalanobisSig.Outlier
    41,800,6241Não
    115,600,1165Não
    178,400,0241Sim
    2612,900,0010Sim
    • Id 4: comportamento normal (D² próximo do número de variáveis, 3).
    • Id 11: distância acima da média, mas abaixo do corte: imóvel comum.
    • Id 17: acima do corte, mas com Sig. acima do limite de Bonferroni. Com 30 dados, é esperado que um ou dois imóveis fiquem nessa faixa. Vale conferir os dados, sem conclusão precipitada.
    • Id 26: Sig. abaixo do limite de Bonferroni — forte indício de características atípicas. Na tabela, verifique a combinação de área, vagas e idade (por exemplo, um apartamento pequeno com três vagas) e confira os dados. Em seguida, veja a Distância de Cook desse imóvel para saber se ele altera a equação.

    6. Levando os resultados para o laudo

    A análise das características atípicas faz parte da verificação da amostra. No laudo, registre:

    • os imóveis identificados como atípicos, o critério usado (α e, se for o caso, a correção de Bonferroni) e se as variáveis foram analisadas na forma direta ou transformada;
    • o que foi verificado em cada um (conferência dos dados, segmento de mercado, influência na equação);
    • a decisão tomada — manter, corrigir ou retirar — e a justificativa.

    A Distância de Mahalanobis é uma análise complementar e não entra no cálculo do Grau de Fundamentação (NBR 14653-2). O seu papel é dar segurança de que a amostra representa um mercado homogêneo e de que nenhum imóvel com características incompatíveis está sustentando a equação.

    7. Pontos importantes para dados de imóveis

    7.1 Variáveis dicotômicas e códigos

    A Distância de Mahalanobis supõe variáveis com variação contínua. Variáveis dicotômicas (0/1) e códigos (por exemplo, padrão 1, 2, 3) também entram no cálculo, mas um imóvel que é o único com determinada característica (o único de esquina, o único de padrão alto) aparece sempre com distância elevada. Isso é correto — ele é de fato único na amostra —, mas não indica erro. O importante, nesse caso, é verificar se há imóveis suficientes com aquela característica para estimar o seu efeito.

    7.2 Amostras pequenas e muitas variáveis

    Com poucos dados em relação ao número de variáveis, todos os imóveis tendem a ficar “afastados” uns dos outros, e as distâncias ficam limitadas a um valor máximo de (n − 1)² / n (seção 2.3). O SisDEA usa a distribuição exata, que leva esse limite em conta, mas a capacidade de detectar imóveis atípicos é naturalmente menor. Continue observando as regras de micronumerosidade da norma.

    7.3 Amostras com mais de um segmento

    Se a amostra reúne imóveis de mercados diferentes (por exemplo, casas térreas e sobrados, ou duas regiões muito distintas), a Distância de Mahalanobis tende a marcar um grupo inteiro de imóveis. Nesse caso, o problema não está nos imóveis, mas na composição da amostra: considere uma variável que diferencie os segmentos ou separe as amostras.

    7.4 Característica atípica não é preço atípico

    A Distância de Mahalanobis não usa o preço. Um imóvel com características atípicas e preço compatível com elas segue a tendência dos demais e, em geral, fortalece a equação. Para avaliar o preço, use os Resíduos Studentizados; para avaliar o efeito na equação, use a Distância de Cook.

    8. Mensagens do sistema

    MensagemCausaO que fazer
    “A significância α deve estar entre 0 e 1.”Foi informado no campo Significancia α um valor menor ou igual a 0, ou maior ou igual a 1.Informe um valor entre 0 e 1 (por exemplo, 0,05, ou 0,05 / n para a correção de Bonferroni).
    “Não foi possível calcular a distância de Mahalanobis. Verifique se o número de dados é maior que o número de variáveis independentes mais um e se as variáveis não são constantes nem linearmente dependentes.”A amostra tem dados de menos para o número de variáveis (n ≤ p + 1), alguma variável tem o mesmo valor em todos os dados, ou uma variável é combinação exata de outras (por exemplo, duas variáveis iguais). A janela é fechada em seguida.Reduza o número de variáveis, aumente a amostra ou revise as variáveis habilitadas e retire a redundante ou constante. Se o aviso aparecer só na forma transformada (ou só na direta), revise as transformações da equação.
    A janela é fechadaO modelo deixou de estar calculado.Calcule a regressão linear e abra novamente Variáveis → Mahalanobis.

    9. Resumo — fluxo recomendado

    • Calcule a regressão linear e escolha a equação.
    • Abra a guia Variáveis → Mahalanobis.
    • Na forma direta, identifique os imóveis acima do corte e os que se destacam nos gráficos (ative Numerar pontos com Ctrl+N)
    • Em amostras maiores, use o limite 0,05 / n para confirmar os imóveis realmente atípicos.
    • Na tabela, veja qual combinação de características torna cada imóvel atípico e confira os dados.
    • Desmarque Variáveis na forma direta para ver quais imóveis têm alta alavancagem na equação.
    • Consulte a Distância de Cook e os Resíduos Studentizados dos imóveis atípicos antes de decidir retirá-los.
    • Após cada alteração, recalcule e repita a análise, um dado de cada vez.
    • Registre no laudo os imóveis atípicos, as verificações feitas e as decisões tomadas.