A análise de dados e o Cargo Cult Science

dados
31 de maio de 2017
Última modificação: 31 de maio de 2017

Autor: Virgilio Marques Dos Santos
Categorias: Análise de dados, Blog

O que é a Cargo Cult Science?

Num discurso no início de 1974 no Instituto de Tecnologia da Califórnia, Richard Feynman falou sobre a proteção contra a “cargo cult Science”. Os cultos à carga, explicou ele, eram sociedades tribais pré-industriais do Pacífico Sul que estavam desesperadas para atrair a riqueza material (carga) que viram durante a Segunda Guerra Mundial. Na sequência da sua interação com a tecnologia avançada, essas sociedades tribais – desesperadas para ver o retorno da carga – tentaram reafirmar o influxo de bens, fazendo antenas de rádio de bambu e pistas de imitações de pista de pouso.

dados

A impressionante traquitana, porém, parecia muito com a atividade da guerra. Entretanto, mesmo apesar dos esforços de reconstrução, os aviões e sua carga nunca voltaram. A mesma coisa começamos a ver na “Ciência”, que se parece com a Ciência, mas lhe falta integridade, honestidade e experimentos reprodutíveis. Essa “Ciência” pode ser colocada na mesma categoria da “cargo cult Science”.

Agora, mais do que nunca, o potencial de análise de dados está sendo realizado em novos campos. As empresas estão voltando cada vez mais formando equipes de analistas de dados para ajudar a avaliar seus produtos. O marketing está sendo transformado por empresas como Target, em um processo de reconhecimento de padrões de compra individuais.

Ao melhorar a condição humana, Bill Gates escreveu em sua Carta Anual de 2013, sobre como quantificar metas e medir o desempenho são cada vez mais necessárias na erradicação de doenças. E como Hans Rosling diz tão bem, “é somente medindo que podemos atravessar o rio dos mitos”.

E os dados do Big Data?

À medida que o mundo de Big Data cresce, enfrentamos enormes oportunidades que mudarão o mundo, mas precisamos nos proteger contra a ciência de dados a la Cargo Cult Science. Por meio de medições falsas e compreensões precárias das estatísticas, corremos o risco de criar uma indústria definida por conclusões duvidosas e inúmeros falsos alarmes.

Apesar de uma enorme pressão, seja financeira ou política, é complicado apresentar cientistas de dados como oráculos residentes no topo da montanha mágica. Os praticantes têm uma obrigação perante a teimosa verdade. Para isso, devem apresentar todos os resultados – triunfos e armadilhas, para não enganar os leigos e permitir que as pessoas tomem decisões por si mesmas de maneira equivocada.

A “Ciência” na Ciência dos Dados

Em um artigo clássico de 1975 sobre os desafios na mensuração do viés de gênero (Bickel, Hammel e O’Connell. Science 187, 4175 (1975)). Bickel et al. Apresentou dados das taxas de admissão da Universidade de Berkeley. Em uma demonstração clara das armadilhas e erros possíveis na análise estatística comum, eles mostraram que, no agregado, as mulheres foram aceitas em uma taxa quase 10% menor do que os homens (35% a 44%, respectivamente).

No entanto, após uma análise mais aprofundada, a causa real da diferença não era viés de gênero, mas as mulheres costumavam se candidatar a programas mais difíceis com menores taxas gerais de admissão (um exemplo perfeito do Paradoxo de Simpson). Na verdade, na maioria dos departamentos, as mulheres realmente tinham maiores taxas de admissão do que os homens. Embora as implicações para a análise do viés de gênero possam ser confusas, o impacto na análise estatística é claro: é fácil encontrar números que sugerem uma boa história, mas difíceis de chegar a conclusões em que você deve confiar.

Além deste aviso trivial, existe uma disciplina clara que podemos seguir para evitar armadilhas semelhantes. Você pode lembrar que em suas aulas de ciência na escola, havia uma forte ênfase na configuração experimental e na honestidade total dos relatórios de resultados, fossem eles “bons” ou não. O objetivo presuntivo de tudo isso foi você aprender que a ciência é mais do que apenas uma coleção de fatos interessantes. Em vez disso, o que distingue a ciência da conjectura é o método científico que a acompanha.

Como se dá a Ciência de Dados?

A ciência dos dados é, apropriadamente chamada, porque sua prática correta reflete esses mesmos valores. O problema não é que as pessoas estejam sendo desonestas ou falsificando seus dados (são práticas que são tão obviamente erradas ou imorais que esperamos que ninguém as faça), mas a ciência precisa de outro nível de honestidade que vá além de reportar os resultados que sustentam nossas conclusões. Não podemos apenas informar os resultados que apoiam nosso caso. Em vez disso, devemos apresentar todos os fatos, inclusive os que contradizem nossas conclusões.

Tomemos, por exemplo, o caso de um cientista de dados encarregado de fornecer informações sobre o desempenho do anúncio on-line. As agências de anúncios ou clientes geralmente pedem para saber qual a cópia que eles criaram é a melhor. Além disso, eles desejam saber o que perfil demográfico responde melhor ao seu produto. Uma indústria inteira foi criada para ajudar a resolver esses problemas.

Quais são os problemas da Ciência de Dados?

Infelizmente, quatro problemas principais raramente são mencionados:

  1. Resultados não transferíveis: a solução mais comum vem de perceber quais os trabalhos demográficos melhores em uma determinada campanha. Então eles relatam e recomendam que, para todas as campanhas para esse público-alvo, utilize-se o modelo com melhor valor para um caso específico. Os clientes então, ficam desapontados quando os resultados não se transferem para outros casos. O problema é que para descobrir isso, eles acabaram gastando muito dinheiro desnecessário.
  2. Experimentos não replicáveis: a maioria desses pseudo experimentos ocorre em campanhas específicas. Infelizmente, porque eles não são repetidos (ou as aprendizagens são extrapoladas de uma única campanha), há poucos acúmulos de conhecimento ou confiança nesses resultados.
  3. Causalidade não passível de inferência: fundamentalmente, a inferência de causalidade (por exemplo, se você definir esses lances, você terá custos mais baixos) não pode ser feita simplesmente a partir de dados observacionais. Além disso, as ferramentas de aprendizado de máquinas, que muitas empresas afirmam usar para resolver essa inferência de causalidade, são fundamentalmente inúteis contra esse objetivo, uma vez que se baseiam em prever correlações sem estrutura causal. O padrão ouro aqui é o teste randomizado, que deve ser projetado antes que as campanhas funcionem, uma distinção sutil, mas muito importante. É meu amigo, quem mandou não estudar Planejamento de Experimentos no Green Belt?
  4. Recomendações estatisticamente pobres ou insignificantes: uma das demandas mais comuns das agências é saber exatamente o que o título, corpo, imagem, público-alvo, etc melhorou. Ostensivamente, eles poderiam criar um anúncio Frankenstein que se encaixasse em todos esses parâmetros! Infelizmente, na maioria das vezes: a) os dados necessários para fazer tais determinações são, de fato, estatisticamente insignificantes e as pessoas estão apenas se informando sobre o ruído. b) Essa prática é fundamentalmente falha, já que o desempenho do anúncio não é simplesmente uma soma dos atributos de um anúncio.

Como funcionam as consultas de dados?

Talvez com curiosidade, as consultas de dados raramente ofereçam (e poucos clientes estão satisfeitos) uma conclusão de que os dados que estão sendo analisados não forneceram uma visão significativa. Em contraste, “o Google gerou cerca de 12.000 experimentos randomizados em 2009, com [somente] cerca de 10 por cento destes levando a mudanças de negócios”. (Manzi, Jim. Não controlado: O Suprising Payoff de Trial-and-Error para Negócios, Política e Sociedade. S.1: Livros básicos, 2012.). Há poucas razões para acreditar que os dados que você está analisando renderiam uma diferença tão marcante em conclusões para a tomada de ações.

O problema prejudicial para essa falta de rigor é que os fatos surgirão eventualmente. As pessoas vão tentar essas recomendações fracas e descobrir seus resultados mistos ou sem graça. E, embora possamos fugir com isso, a curto prazo, todos nós sofremos de uma erosão da fé na ciência dos dados reais.

Qual é a visão alternativa sobre o valor do Data Science?

Os cientistas devem fazer suposições simplificadoras para analisar qualquer sistema complicado. Não há motivo para ter medo de fazer suposições. Nós pagamos muito dinheiro para poder termos uma visão e não pode inferir com facilidade – e devemos confiar que isso proporciona algum valor. No entanto, a chave para construir nossa compreensão é conhecer os pressupostos que estamos realizando. Só podemos corrigir aqueles que descobrimos serem incorretos se permanecermos fiel à completa honestidade do rigor científico.

Uma falácia comum é pensar que a ciência possui uma bala de prata que irá dissolver imediatamente a necessidade de fazer qualquer suposição, mas essa visão subestima grosseiramente a complexidade dos sistemas que desejamos entender. Quantas variáveis devemos controlar para entender como alguém escolhe as roupas que ele quer usar?

Quantos fatores interdependentes determinam a intenção do cliente de comprar um bem embalado do consumidor? Quantos sinais influenciam os impulsos de compra a curto prazo de um potencial cliente? Essas questões são fundamentalmente difíceis. Mas a única maneira de abordá-los é se começarmos a buscar os ganhos compostos para construir sobre o conhecimento científico.

Muitas vezes, as pessoas acreditam que a abordagem para resolver questões complexas é apenas reduzir nossos padrões de confiança ao tomar uma decisão sobre os dados (mais tecnicamente, isso pode se traduzir em reduzir o nível de significância em um teste estatístico). Em vez de confiar em uma mistura de resultados pseudo-significativos (ou pseudocientíficos), devemos ter a disciplina para reconhecer aqueles que consideramos verdadeiros e reconhecer que o resto são atualmente suposições que teremos que rever mais tarde. O valor da ciência dos dados não é a suspeita de conclusões. O valor está nas poucas conclusões que encontramos e que são definitivamente verdadeiras.

As teorias da nossa cabeça estão fundamentadas em dados?

As pessoas têm teorias perfeitamente razoáveis. Eles não devem ser intimidados por conclusões ou narrativas da Cargo Cult Science. À medida que pensamos em coisas como a forma como queremos criar nossos filhos ou cuidar da nossa saúde, nós nos esforçamos para seguirmos as recomendações de falsos especialistas que não utilizam uma base científica em sua metodologia.

Os números de observações simples, que não possuem ensaios aleatórios e experimentação científica, não são suficientes para convencer-nos a mudar as práticas aprimoradas por anos de experiência. Mas quando reconhecemos esses raros casos de descoberta científica, reconhecemos como coisas em que devemos confiar. O mesmo deve ser dito na prática comercial.

Conhecedores do Método Científico: temos a responsabilidade de não conversar com leigos de forma enganosa. Claro, talvez não possamos obter o mesmo financiamento e receita. No entanto, temos um imperativo para não destruir o potencial real da ciência dos dados. Potencial este que vai aplacar suas preocupações com a vantagem projetada. Deixe as pessoas tomarem suas próprias decisões sobre o que é certo e deem-lhes a informação para permitir que elas repitam isso sozinhas. Data Science será lucrativo nos próximos anos, mas nessa jornada, não podemos comprometer a integridade da ciência.

O que Feynman falava sobre a Cargo Cult Science?

O grande prêmio Nobel de 1965, Feynman, advertiu que, para evitar se tornar cientistas da Cargo Cult Science, os pesquisadores devem evitar enganar-se. Devem estar dispostos a questionar e duvidar de suas próprias teorias e seus próprios resultados, e investigar possíveis falhas em uma teoria ou um experimento. Ele recomendou que os pesquisadores adotem um nível excepcionalmente alto de honestidade que raramente é encontrado na vida cotidiana e deu exemplos na publicidade, política e psicologia para ilustrar que a desonestidade diária que deveria ser inaceitável na ciência. Feynman advertiu,

Aprendemos com a experiência de que a verdade aparecerá. Outros pesquisadores repetirão sua experiência e descobrirão se você estava errado ou certo. Os fenômenos da natureza concordarão ou não, com sua teoria. E, embora você possa ganhar alguma fama e entusiasmo temporário, você não ganhará uma boa reputação como pesquisador se você não tentar ter muito cuidado nesse tipo de trabalho. E é esse tipo de integridade, esse tipo de cuidado para não enganar a si mesmo, que está faltando em grande parte da pesquisa tomada pela Cargo Cult Science.

Um exemplo da Cargo Cult Science é uma experiência que usa os resultados de outro pesquisador em vez de um controle experimental. Uma vez que as condições do outro pesquisador podem diferir das do presente experimento de maneiras desconhecidas, as diferenças no resultado podem não ter relação com a variável independente em consideração. Outros exemplos, dados por Feynman, são de pesquisa educacional, psicologia (particularmente parapsicologia) e física. Ele também menciona outros tipos de desonestidade, por exemplo, promovendo falsamente a pesquisa para garantir o financiamento.

Qual é a apelo da FM2S sobre análise de dados?

Por isso, faço aqui um apelo pela verdade. Sei que um artigo desses é um tanto quanto fora do modelo que escrevo sempre, mas achei válido. Não aguento mais ver várias receitas prontas no Linkedin, em blogs ou no Facebook que nada mais fazem do que gerar falsas esperanças e problemas. Por favor, escrevam suas dicas apenas se tiverem base técnico-científica para tal. Sem isso, sem método científico, é muito fácil nos enganarmos as consequências disso são perigosas e desastrosas.

Quando digo ter orgulho da Certificação Green Belt e Black Belt que ministramos, digo porque para mim, lá estão as ferramentas para vocês se protegerem contra as besteiras que vão tentar te vender. Gatilhos mentais, imagens bonitas e muito bla-bla-bla, não vão te fazer mais esperto e nem a sua vida mais fácil.

Deixe seu comentário

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

quinze − 5 =