12 Métricas para análise de preditores
MAE
Definição
O erro médio absoluto é uma métrica estatística utilizada para medir a distância entre os valores previstos e os reais (erro), ou seja, o erro. Para calculá-lo, obtemos a média das diferenças absolutas entre os valores previstos e os valores reais, como mostrado na fórmula a seguir:
\[ MAE = \frac{\sum^{n}_{i=1}|y_i - x_i|}{n} \]
Sendo \(y_i\) o valor predito e \(x_i\) o valor real.
Interpretação
Como comentado anteriormente, o calculo é baseado na distância entre os dados previstos e reais, portanto, quanto menor o valor do MAE, melhor será o desempenho do modelo pois isso indica uma maior proximidade entre esses valores.
Limitações
O MAE é pouco sensível a outliers, ou seja, erros grandes e pequenos tendem a ter a mesma influência e isso pode ser um problema em situações onde erros grandes seriam inaceitáveis por exemplo.
MSE
Definição
O erro médio quadrático segue a mesma lógica do MAE, calcula a distância entre o valor predito e o real, mas utilizando o quadrado ao invés do módulo, o que o torna mais sensível a outliers e penalizando mais erros grandes. Ele também pode ser utilizado como função de custo (loss function) em modelos de regressão, como forma de otimizar os parâmetros do modelo, especialmente em regressão linear e em redes neurais, pois costumar ser diferenciável, o que facilita minimizar a função utilizando algoritmos de otimização, como o gradiente descendente, por exemplo. Sendo assim, sua fórmula é:
\[ MSE = \frac{\sum^{n}_{i=1}(y_i - x_i)^2}{n} \]
Onde \(y_i\) corresponde ao valor predito e \(x_i\) ao real.
Interpretação
Assim como o MAE, quanto menor o MSE de um modelo, melhor. Contudo, sua interpretação requer cuidado, pois um mesmo valor de MSE pode ser suficientemente próximo do zero ou não dado o contexto, além de não estar na mesma unidade dos dados.
Limitações
Como citado anteriormente, o MSE tem uma sensibilidade maior a outliers, o que pode aumentar seu valor e indicar que o desempenho do modelo está pior quando isso não é verdade. Além disso, ele é dependente da escala dos dados, de maneira que modelos que preveem faixas de valor mais altas terão naturalmente um MSE maior, tornando a comparação entre diferentes bases de dados injusta. Para contornar esse problema, podemos normalizar ou padronizar os dados antes de realizar o cálculo.
\(R^2\)
Definição
O \(R^2\), também conhecido como coeficiente de determinação, é uma medida que explica a proporção da variância da variável resposta que pode ser explicada pelas variáveis explicativas, ou seja, o quão bem os dados se ajustam ao modelo. Dessa forma, ele assume valores de zero até um, onde 1 significaria que os dados se encaixaram perfeitamente. Existem diversas maneiras de se calcular seu valor, vamos abordar a mais comum nesse texto e ela se baseia em utilizar os erros ao quadrado e a variância total do modelo, de maneira que essa abordagem destaca o quão melhor o modelo de regressão funciona em comparação com simplesmente prever a média da resposta.
\[ R^2 = 1 - \frac{RSS}{TSS} = 1 - \frac{\sum(y_i - x_i)^2}{\frac{1}{n} \sum(x_i - \bar{x})^2} \]
onde \(RSS\) (residual sum of squares) é a soma dos erros ao quadrado e \(TSS\) (total sum of squares) é a variância total da variável resposta.
Interpretação
\(R^2\) é a porcentagem de variação explicada pela relação entre duas variáveis. \(R^2\) é sempre uma porcentagem entre 0% e 100% com 0%, o que significa que seus valores previstos não lhe disseram absolutamente nada sobre Y e 100%, o que significa que seus valores previstos eram perfeitamente precisos. Então, para responder ao exemplo que você deu, se \(R^2\) = 0.8, então diríamos: “80% da variação observada na variável Y é explicada por nossa regressão (ou então você gerou previsões para Y)”. Contudo, devemos nos atentar a valores muito altos pois eles podem indicar overfitting.
Limitações
É importante lembrar que o R-quadrado não mede a causalidade. Só porque nossas variáveis explicativas explicam a variância da variável resposta não significa que elas sejam a causa disso. Além disso, o R-squared não indica se as previsões são precisas.
Relação entre métricas
- O \(MAE\) e o \(MSE\) tendem a diminuir juntos quando o modelo melhora
- O \(MSE\) e o \(R^2\) estão inversamente relacionados
- \(MSE ≥ MAE²\) (por desigualdade de Jensen)