O que é Regressão Linear? Saiba como fazer a sua

Regressão linear: o que significa?

Regressão Linear: a análise de regressão gera uma equação para descrever a relação estatística entre uma ou mais variáveis preditoras e a variável resposta. A regressão linear encontra a linha que melhor representa as variáveis de entrada com a variável de saída. Dizemos melhor, pois como você deve ter observado nos gráficos de dispersão que realizou, é muito difícil encontrar uma linha que passe em cima de todos os dados. Se você quiser aplicar essa técnica na sua empresa, comece baixando nossa Apostila Green Belt. Lá tem o passo a passo para você executar essa técnica.

Como utilizar a regressão linear?

Será que todos vão ficar acima do peso ou ser tornar obesos? Sim, dizia um artigo que li, por volta de 2048, todos os americanos já serão obesos. Em 2048 terei 64 anos e espero não ser obeso, mas li que serei. O que fazer?

O artigo da Obesity teve muito publicidade. Vários jornais alertaram para o “apocalipse da obesidade”, “todos estamos mais gordos” e coisas do gênero. Ellenberg lembra que este tipo de reação e mito é muito comum nos EUA. No pós-guerra, rapazes deixavam crescer o cabelo, e, portanto, estavam sujeitos a serem açoitados pelos comunistas.

Já em nossa geração, quem jogava videogame demais, estava fadado a sair matando de maneira indiscriminada por pura diversão. Agora, comeremos fast-food demais, e todos morreremos fracos e imóveis, cercados de embalagens de papelão vazias, estirados em sofás dos quais há muito perdemos a capacidade de nos levantar. O artigo sobre obesidade certificava essa ansiedade comum a todos nós como um fato cientificamente comprovado.

Boa notícia. Não estamos fadados a ficars acima do peso em 2048. Por quê? Nem toda curva é uma reta. Mas dizia Newton, toda curva é bem próxima de uma reta. Esse é a ideia que orienta a regressão linear, técnica estatística que está para as ciências sociais como a chave de fenda para os consertos domésticos. É aquela ferramenta que você vai usar quase com certeza, qualquer que seja o serviço.

Toda vez que você lê no jornal que pessoas com mais primos são mais felizes, ou que países com mais fast-foods têm preceitos morais mais amplos, ou que cortar pela metade o consumo de vitamina B3 duplica seu risco de ter pé de atleta, ou que a cada US$ 10 mil a mais em renda tornam você 3% mais propenso a tornar-se alguém de direita, você está encontrando o resultado de uma regressão linear.

O que está por trás da regressão linear?

Você tem duas coisas que quer relacionar – digamos, o custo de anuidades da universidade e a média de resultados dos exames finais do ensino médio dos alunos admitidos. Você poderia pensar que escolas com resultados de exames mais elevados teriam propensão a ser mais caras. No entanto, uma olhada nos dados nos diz que essa não é uma lei universal.

A Elon University tem uma pontuação média de 1.217, e cobra uma anuidade de 20.441,00. O Guilford College cobra 23.420,00, mas a média de ingresso nos exames de conclusão é de apenas 1.131. Agora, se você as 31 universidades privadas que informaram suas anuidades e pontuações para ingresso em 2007, perceberá uma tendência clara.

Figura 1: gráfico de dispersão entre anuidade e pontuação nos exames finais do EM.

Cada ponto do gráfico representa uma das faculdades. Os dois pontos bem altos no canto superior direito, com pontuações de exames nas alturas e preços idem? Wake Forest e Davidson. O ponto solitário perto da base, a única escola privada na lista com anuidade inferior a 10 mil, Cabarrus College.

A figura 1 mostra claramente que escolas com notas mais altas têm em geral, preços mais altos. Mais quanto mais altos? É aqui que a regressão linear entra em cena. Os pontos da figura não estão obviamente numa linha reta. Provavelmente você poderia traçar uma linha reta a mão livre cortando muito aproximadamente o meio dessa nuvem de pontos. A regressão linear expulsa o trabalho de adivinhação, achando a reta que mais se aproxima daquela que passa por todos os pontos.

Como encontrar a “reta da previsão” na regressão linear?

Para encontrar o que significa “mais se aproxima”, deve-se: substituir a anuidade real em cada escola pela estimativa sugerida pela reta, e então computar a diferença entre a anuidade real e a estimada para cada escola, e aí elevar ao quadrado cada um desses números e somar todos esses quadrados.

Aí você obterá uma espécie de medida total de quanto a reta está desviada em relação aos pontos, e você escolhe a reta que torna essa medida a menor possível. Quadrados? Pitágoras? A geometria subjacente à regressão linear nada mais é que o teorema de Pitágoras transposto e alçado a um contexto dimensional muito mais elevado, mas essa história requer mais álgebra do que o interesse neste momento.

Figura 2: regressão linear entre anuidade e pontuação nos exames finais do EM.

A reta na figura 2 tem uma inclinação de cerca de 28. Isto significa: se a anuidade fosse de fato totalmente determinada pela pontuação dos exames finais, cada ponto extra nos exames corresponderia a adicionar 28 dólares na anuidade. Se você puder aumentar à média nos exames dos seus calouros admitidos em cinquenta pontos, poderá cobrar US$ 1.400 a mais de anuidade. Na visão dos pais, cem pontos do filho irão lhes custar US$ 2.800 a mais por ano.

A regressão linear é uma ferramenta maravilhosa, escalável e tão fácil de executar quanto clicar um botão na sua planilha. Você pode usá-la para conjuntos de dados envolvendo duas variáveis, como o exemplo anterior, mas funciona igualmente bem para três variáveis, ou mil. Sempre que você desejar entender que variáveis conduzem a outras variáveis, e em que direção, ela é a primeira coisa à qual você recorre. E funciona absolutamente com qualquer conjunto de dados.

Quais cuidados tomar na hora de fazer uma regressão linear?

Porém, cuidado. Você pode fazer regressão linear sem pensar se o fenômeno que está modelando é realmente próximo de linear. Mas NÃO deve. Regressão é como uma chave de fenda, contudo, se olharmos o quão perigoso é o seu uso, é melhor compararmos ela à uma serra de bancada. Se você usá-la sem prestar cuidadosa atenção, os resultados podem ser desastrosos.

A regressão linear em um míssil

Figura 3: trajetória do lançamento de um míssil ICBM.

Imagine que a figura 3 seja um registro da posição do míssil em momentos distintos. Animado pelo novo conceito que aprendeu, faz uma rápida regressão linear e obtém ótimos resultados. Há uma reta que passa quase exatamente pelos pontos que você registrou.

Figura 4: linha reta que passa pela trajetória do míssil.

Sua reta fornece um modelo muito preciso para o movimento do míssil: para cada minuto que passa, o míssil aumenta sua altitude num valor fixo de 400 metros. Após uma hora, estará a 24 quilômetros de altitude. E quando ele desce? Não desce nunca. Uma reta inclinada ascendente segue seu rumo indefinidamente. E agora? É um novo míssil espião alienígena?

Nem toda curva é uma reta. E a curva do voo do míssil não o é. É uma parábola, lembra-se das aulas de física do colegial? Movimento balístico não é mesmo? Exatamente como círculo de Arquimedes, ela parece uma reta quando vista de perto, e é por isso que a regressão linear faz um bom serviço dizendo-lhe onde o míssil estará cinco segundo depois que você o rastreou da última vez. Mas e uma hora depois?  Seu modelo diz que o míssil está na estratosfera, passeando pelo espaço sideral.

Ellenberg cita um trecho de Vida no Mississipi de Mark Twain para mostrar o perigo da extrapolação linear impensada.

Quais são os exemplos de aplicação da regressão linear?

“O Mississipi entre o Cairo e Nova Orleans tinha 1.960 quilômetros de comprimento 176 anos atrás. Passou a ter 1.900 após o corte de 1722. Tinha 1.670 após o corte American Bend. Desde então perdeu 123 quilômetros. Consequentemente, seu comprimento é de apenas 1.547 quilômetro no presente. … No espaço de 176 anos, o baixo Mississipi encolheu 399 km. É uma média de mais de 2 km por ano.

Portanto, qualquer pessoa calma, que não seja cega ou idiota, poder ver que, no período oolítico siluriano, pouco mais de 1 milhão de anos atrás, o baixo rio Mississipi tinha mais de 2 milhões de quilômetros de comprimento, estendendo-se sobre o golfo do México como uma vara de pescar. Do mesmo modo, qualquer pessoa pode ver que daqui a 742 anos o baixo Mississipi terá apenas 2 km de comprimento, e Cairo e Nova Orleans terão juntado suas ruas e estarão labutando confortavelmente juntas sob um único prefeito e um conselho de anciãos. Há algo fascinante na ciência. Obtemos tais retornos de conjectura por atacado a partir de uma ninharia de investimento de fato.”

Como a regressão linear te ajuda a emagrecer?

Qual percentual de americanos que estarão acima do peso em 2048? Como será que o grande autor Youfa Wang e seus colaboradores geraram a projeção para revista Obesesity? O Estudo Nacional do Exame sobre Saúde e Nutrição acompanha o índice de massa corporal (IMC) que classifica como acima do peso, pessoas com IMC maiores de 25. No começo dos anos 1970, pouco menos da metade dos americanos tinham IMC tão alto. No começo dos anos 1990, este número já era quase 60%, e em 2008 de quase 75%.

Gerando a regressão linear destes dados e os extrapolando-os, esta reta cruzaria 100% em 2048. E é por isso que Wang escreve que todos os americanos serão obesos em 2048, se a tendência atual continuar. Mas é claro que a tendência não vai continuar, pois é impossível que em 2060, 109% dos americanos sejam obesos. Como a gravidade que curva a trajetória do míssil numa parábola, esta não é uma lei.

Quanto maior a proporção de gente acima do peso, menos magros restam para converter, e mais lentamente a proporção aumenta em direção aos 100%. Na verdade, a curva provavelmente se tornar horizontal em algum ponto abaixo dos 100%. Sempre haverá magros entre nós. De fato, apenas quatro anos depois, o levantamento do Centro de Saúde mostrou que a escalada do predomínio do sobrepeso já havia começado a desacelerar.

Comece agora a fazer sua regressão linear!

Quais os erros possíveis da regressão linear?

Mas o artigo sobre a Obesity oculta o PIOR CRIME contra a matemática e o senso comum. A regressão linear é fácil de fazer – uma vez que se fez uma, as outras são tranquilas. Então Wang e companhia dividiram seus dados segundo grupos étnicos e sexo. Homens negros, por exemplo, tinham menos propensão a estar acima do peso que o americano médio, e, mais importante, sua taxa de sobrepeso crescia apenas com metade da velocidade. Se sobrepusermos a proporção de homens negros acima do peso sobre a proporção global de americanos acima do peso, junto com a regressão linear que Wang e companhia elaboraram, veremos que homens negros são mais magros. Eles só estarão todos acima do peso em 2095. Em 2048, só 80% serão obesos.

Conseguem localizar o problema? Se todos os americanos estarão acima do peso em 2048, onde deverão estar aqueles 1 em 5 futuros homens negros sem problema de peso? No exterior? A contradição básica passa sem ser mencionada no artigo. Artigos como este me lembram das brincadeiras que fazíamos quando algum colega, numa prova de física, registrava que a altura do poste era de 5 quilômetros.

Lembre-se: higiene matemática é importante. Quanto você está testando em campo um método matemático, tente computar a mesma coisa de várias maneiras diferentes. Se você obtiver respostas diferentes, há algo de errado em seu método.

Depois de toda essa matemática, não deixe de baixar nossa apostila de Green Belt, é grátis! E, se você já é Yellow Belt, Green Belt ou Black Belt, pode baixa-la mesmo assim, para estudar e tirar dúvidas que sempre aparecem.