Data Mining: aprenda os primeiros passos

Data Mining
05 de julho de 2015
Última modificação: 05 de julho de 2015

Autor: Virgilio F. M. dos Santos
Categorias: Blog

O que é Data Mining?

Data mining é o processo de encontrar anomalias, padrões e correlações em grandes conjuntos de dados para prever resultados. Usando uma ampla gama de técnicas, você pode usar essas informações para aumentar as receitas, cortar custos, melhorar os relacionamentos com clientes, reduzir riscos e mais.

Qual é a história do data mining?

O processo de data mining para descobrir conexões ocultas e prever tendências futuras tem um longo histórico. Às vezes referido como “descoberta de conhecimento em bancos de dados”, o termo “data mining” não foi cunhado até a década de 1990. Mas sua base é composta por três disciplinas científicas entrelaçadas: estatísticas (o estudo numérico das relações de dados), inteligência artificial (inteligência humana, mostrada por software e/ou máquinas) e aprendizado de máquina (algoritmos que podem aprender dos dados para fazer previsões). O que era antigo é novo novamente, já que a tecnologia de mineração de dados continua evoluindo para acompanhar o potencial ilimitado de dados importantes e poder de computação acessível.

Ao longo da última década, os avanços no poder e na velocidade de processamento nos permitiram avançar além das práticas manuais, tediosas e demoradas para análise de dados rápida, fácil e automatizada. Quanto mais complexo os conjuntos de dados coletados, mais potencial existe para descobrir informações relevantes. Os varejistas, os bancos, os fabricantes, os fornecedores de telecomunicações e as seguradoras, entre outros, estão usando a mineração de dados para descobrir relacionamentos entre tudo, desde preços, promoções e dados demográficos até a economia, o risco, a concorrência e as mídias sociais estão afetando seus modelos comerciais, receitas, operações e relações com o consumidor.

Por que o data mining é importante?

Então, por que a mineração de dados é importante? Você viu os números surpreendentes – o volume de dados produzidos está dobrando a cada dois anos. Apenas dados não estruturados representam 90% do universo digital. Mas mais informações não significam necessariamente mais conhecimento.

A mineração de dados permite que você:

  • Deslize todo o ruído caótico e repetitivo em seus dados.
  • Compreenda o que é relevante e depois faça um bom uso dessas informações para avaliar os resultados prováveis.
  • Acelere o ritmo de tomar decisões informadas.

Quais indústria utilizam o data mining?

Comunicações

Em um mercado sobrecarregado onde a concorrência é apertada, as respostas estão freqüentemente dentro dos dados do consumidor. As empresas de multimídia e telecomunicações podem usar modelos analíticos para dar sentido aos dados das montanhas de clientes, ajudando-os a prever o comportamento do cliente e a oferecer campanhas altamente direcionadas e relevantes.

Seguro

Com o know-how analítico, as companhias de seguros podem resolver problemas complexos em matéria de fraude, conformidade, gerenciamento de riscos e atrito do cliente. As empresas usaram técnicas de mineração de dados para avaliar produtos de forma mais eficaz em linhas de negócios e encontrar novas formas de oferecer produtos competitivos para sua base de clientes existente.

Educação

Com visões unificadas e orientadas por dados sobre o progresso dos alunos, os educadores podem prever o desempenho dos alunos antes de colocar o pé na sala de aula – e desenvolver estratégias de intervenção para mantê-los em curso. A mineração de dados ajuda os educadores a acessar os dados dos alunos, prever os níveis de realização e identificar estudantes ou grupos de estudantes que precisam de atenção extra.

Fabricação

Alinhar planos de abastecimento com previsões de demanda é essencial, como é a detecção precoce de problemas, garantia de qualidade e investimento em brand equity. Os fabricantes podem prever o desgaste dos ativos de produção e antecipar a manutenção, o que pode maximizar o tempo de atividade e manter a linha de produção conforme o cronograma.

Bancário

Algoritmos automatizados ajudam os bancos a entender a base de clientes e os bilhões de transações no coração do sistema financeiro. A mineração de dados ajuda as empresas de serviços financeiros a obter uma melhor visão dos riscos de mercado, detectar fraudes mais rápidas, gerenciar obrigações de conformidade regulamentar e obter retornos ótimos em seus investimentos de marketing.

Varejo

Os grandes bancos de dados de clientes mantêm idéias ocultas que podem ajudá-lo a melhorar os relacionamentos com os clientes, otimizar campanhas de marketing e prever as vendas. Através de modelos de dados mais precisos, as empresas de varejo podem oferecer campanhas mais direcionadas – e encontrar a oferta que faz o maior impacto no cliente

Data mining e o Planejamento Estratégico?

Iniciam-se as famosas reuniões de planejamento estratégico e a definição do portfólio de projetos para o próximo ano. Como insumos, estas reuniões utilizam-se de muitas análises (data mining), gráficos e previsões. Pergunta: como elaborar uma boa análise (data mining) para ajuda-lo na tomada de decisões? Resposta: por meio de uma boa análise estatística. Réplica: mas não consigo encontrar dados para o meu negócio. Tréplica: você já procurou no Google Trends?

Como já falamos aqui, o Google Trends é uma poderosa ferramenta de Data Mining do Google que lhe ajuda a entender o comportamento de um determinado termo de busca. Por exemplo, como estão as buscas sobre aluguel de apartamentos? Será que o mercado está forte? Será que vale a pena comprarmos um imóvel para alugar? Minha predição é de que não. Acho que o mercado está esfriando rapidamente, mas uma simples busca no Trends basta para entendermos se nossa predição é verdade ou não.

Data Mining

Figura 1: gráfico x-barra do índice médio anual de pesquisas do termo “apartamentos para alugar”.

Por meio da figura 1 parece que as pesquisas por aluguel de apartamento continuam altas, com a média de 2015 sendo a mais alta dos últimos anos. Mas vamos dar um zoom maior e analisar a média dos meses de 2012 para cá.

Data Mining

Figura 2: gráfico x-barra do índice médio mensal de pesquisas do termo “apartamentos para alugar”.

Data Mining

Pela figura 2 vê-se que a média mensal de 2015 é muito parecida com a de 2014. Nossa predição de que o mercado de aluguel estava despencando não condiz com os dados. Parece que o mercado continua como estava em 2014. Outro fato que chama a atenção na figura 2 são os picos de alguns meses. Parece que há sazonalidade na busca. Há meses em que as pessoas procuram mais imóveis para alugar do que outros. Um gráfico que nos ajuda a entender quais são os meses de maior procura é o gráfico Box Plot.

Data Mining

Figura 3: distribuição das buscas por alugar apartamento ao longo dos meses.

A figura 3 nos mostra perfeitamente que janeiro, fevereiro e março são o mês que as buscas por aluguel “bombam”.  Desta forma, se quisermos lançar uma nova plataforma de aluguel de apartamentos ou lançarmos uma ação de marketing, fica claro qual mês devemos fazê-lo. Viu como estas informações nos ajudam a planejar o futuro? Isto é Data Mining a custo zero e aplicação total. Portanto minha dica é PDSA e análise dos dados de pesquisa do Google. E como aprender a elaborar análise de dados? Blog da FM2S ou um de nossos cursos de Green Belt ou Black Belt. Se preferir, envie-nos suas dúvidas por e-mail. Adoraremos fazer as análises.

Deixe seu comentário

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *