Fala galera, suave?
Faz um tempo que venho estudando o ecossistema Big Data, conceitos, tecnologias, na teoria e na pratica. E quanto mais eu estudo, mais fico entusiasmado com este universo. Eu venho da área de Banco de Dados e de tanto ouvir falar que a área está acabado (para mim não é verdade), resolvi estudar com mais intensidade este novo mundo.
Uma das minhas grandes duvidas iniciais, era entender o que de fato significava Big Data. E pesquisando pude perceber que Big Data não é uma única tecnologia, mas sim uma combinação de tecnologias (antigas e novas) utilizadas para processar grandes volumes de dados com o objetivo de extrair “valor” da informação para determinado negocio/necessidade.
Certa vez, ouvi a seguinte definição e um evento e achei sensacional:
“Big data é o poder computacional de buscar e processar grandes volumes de dados afim de gerar respostas para perguntas que ainda não existe”
Esse poder computacional aliado a diversas tecnologias tem a capacidade de gerenciar e processar grandes volumes de dados, de diferentes tipos e origens que permite analises em tempo real, o tal no near-real-time.
O BI (Business Intelligence) tem o poder de olhar no retrovisor gerando estatísticas e dando um norte para tomada de decisões futuras, já com o Big data, podemos analisar o passado com o presente possibilitando analise preditiva sob determinado aspecto de negocio.
Para exemplificar, vamos usar os seguinte exemplo:
Imagine a cena, um ladrão entra na agência bancaria e tenta arrombar na força bruta o caixa eletrônico, na parte superior existe uma câmera que está captando está imagem, no interior do caixa existe sensores captando os movimentos.
No BI iria acontecer o seguinte, os dados seriam captados e processados no D-1, no dia seguinte o gerente ia ler o “relatório” e falar, arrombaram o caixa eletrônico (já foi), vamos precisar aumentar a segurança nas agencias (com base no passado, foi tomada uma decisão).
Agora imagine como seria com Big Data, o mesmo cenário, tentativa de arrombamento, câmeras, sensores, processos rodando na nossa arquitetura big data (irei explicar mais sobre isso em outros posts) em near-real-time (tempo real), uma anomalia é identificada e um processo de “Enviar Policia” é acionado em tempo real e o assalto é evitado. Entenderam a diferença? com um processo extremamente rápido, captando dados de diversas fontes foi possível identificar um “problema” em tempo real e corrigi-lo (tomada de ação).
Hoje grande parte das Instituições Financeiras estão utilizando arquitetura de Big Data como solução para anti fraude, principalmente relacionado a cartão de crédito. Imagine, você passa o cartão no mercado e naquele tempo (uns 5 segundos) é validado se você tem crédito, se essa operação é suspeita e ai libera ou nega sua transação.
Em termos técnicos, Big Data pode ser definido por algumas características, os famosos Vs:
- Volume dos dados.
- Velocidade de processamento dos dados.
- Variedade dos dados (Imagem, texto, dados relacionais, som, etc).
Antigamente esses 3 Vs definiam Big Data, porem com a evolução outros 2 Vs foram adicionados, ficando como conhecemos hoje os “5 Vs do Big Data”
- Veracidade da informação processada e analisada.
- Valor da informação para o negocio final, diversos estudiosos da área, coloca esse ultimo V como o mais relevante.
O V do valor é qualificado como importante, por que, não necessariamente, precisamos ter teras de dados, diversos tipo ou processar em segundos para qualificar um ambiente como Big Data, porem, se a informação não fazer sentido no final disso tudo, o trabalho não gerou nenhum valor.
Conceitualmente podemos dizer que Big Data é isso, na pratica o negocio fica muito mais legal e é ai que aparecem os famosos, Hadoop, HDFS, Spark, Kafka, Hive, Flume, Pig, NoSql entre outras tecnologias que estão sendo muito estudadas e atualizadas hoje em dia.
Esse foi o primeiro post sobre o assunto, em breve seguiremos com conceitos de arquitetura e posteriormente vamos estudar algumas dessas tecnologias do ecossistema Big Data com direito a parte pratica, porque nem só de conceito vive o homem.
Espeto ter ajudado a entender um pouco do que é Big Data, agora você está pronto para explicar esse assunto para alguém no bar haha.
Print (“Valeu e até o próximo post”)
Luiz Henrique Garetti