#05-[Série] SQL Server Big Data Clusters – Principais Tools para trabalhar com BDC

Falla Turma,

Antes de iniciar a configuração do seu Big Data Clusters é importante verificar a instalação e versão de algumas ferramentas que serão necessárias durante o gerenciamento e uso do BDC.

Não sabe como instalar o BDC ainda? No problem… clique nesse link e siga o passo a passo 😉

Azure Data Studio (ADS)

Anteriormente chamado de SQL Operations Studio o renovado Azure Data Studio é uma ferramenta para manipulação de dados com uma ótima experiência e com conectadores para diversos data sources, o que facilita muito o trabalho quando você tem ambientes On-Premises e no Azure.

Por que ele é importante para o BDC? Após a instalação e configuração do cluster, com o ADS poderemos conectar e gerenciar diversos recursos de uma forma simples e rápida. Com ele também é possível realizar operações no HDFS (via interface gráfica) o que agiliza muito durante o dia a dia.

Link para Instalação:
https://docs.microsoft.com/pt-br/sql/azure-data-studio/download-azure-data-studio?view=sql-server-ver15

Data Virtualization Extension
Após instalar o Azure Data Studio, habilite a extensão de Virtualização de Dados, será fundamental para o gerenciamento do BDC.

Link da Extension:
https://docs.microsoft.com/en-us/sql/azure-data-studio/data-virtualization-extension?view=sql-server-ver15


AzData

O AzData é um utilitário de linha de comando (desenvolvido em Python) muito útil para acessar e gerenciar o Big Data Clusters. Com ele também podemos trabalhar com API’s REST.

Sempre que faço um deploy do cluster, logo em seguida executo o comando:

azdata bdc status show -o table

Esse comando retorna status de todos os Pods e serviços do meu Cluster, é ótimo para realizar um troubleshooting e analise rápida do ambiente.

Link para instalação:
https://docs.microsoft.com/en-us/sql/big-data-cluster/deploy-install-azdata?view=sql-server-ver15

Link com as variações e opções do comando:

https://docs.microsoft.com/pt-br/sql/big-data-cluster/reference-azdata?view=sql-server-ver15


Kubectl

Esse comando é outro que utilizo muito quando estou trabalhando com o BDC e também quando estou fazendo outros testes com o Kubernetes.
Para quem já trabalha com Kubernetes e Docker esse comando é muito conhecido, o que é ótimo, pois nesse caso a Microsoft está utilizando o Kubernetes puro.

Alguns comando do Kubectl que utilizo no dia a dia:

### Enpoints Kubernetes
kubectl get svc master-svc-external -n bdccluster

### Lista os Nodes do Clusters
kubectl get nodes

### Pods em execução no Ambiente.
kubectl get pods --all-namespaces

### Informações detalhadas sobres os Pods em execução no Cluster atual
kubectl describe pod master-0 -n bdccluster

Link para instalação e configuração: https://kubernetes.io/docs/tasks/tools/install-kubectl/


AzureCLI

Se você seguir esse passo a passo de instalação irá observar que estamos realizando o Deploy do BDC sob um clusters AKS (Azure Kubernetes Services). E para esse caso, nada melhor que o AzureCLI que é uma ferramente de linha de comando para gerenciar os serviços na Azure. É como se fosse acessar o portal Azure via linha de comando.

No dia a dia para automações e acesso rápido a informações do seu ambiente, ter acesso a uma ferramenta dessa é uma mão na roda 😉

Link para instalação:
https://docs.microsoft.com/pt-br/cli/azure/install-azure-cli?view=azure-cli-latest


Curl

Curl é acrônimo de “Client URL” é open source e inicialmente baseada em sistemas operacionais Unix.
Podemos utilizar o curl como alternativa para transferência de dados, utilizando protocolos como, HTTP, HTTPS, FTP, FTPS, IMAP, POP3, SFTP, SMTP entre outros.

A lib ” libcurl ” é uma biblioteca open source para transferência de dados via URL.

No nosso caso, podemos utilizar o curl para testar conexão com o cluster, e transferir dados para o HDFS. Nas minhas demos sempre utilizo esse comando para gerar uma massa de dados no HDFS para posteriormente processar os dados via Spark, é simples e rápido.

Link para instalação:
https://curl.haxx.se/windows/


Com esse Exército em mãos… não existirá um Cluster BDC capaz de escapar da sua mira (hahaha).

Brincadeiras a parte, agora é só se divertir. Se quiser seguir um passo a posso de instalação do Big Data Clusters com deploy no AKS (Azure Kubernetes Services, é só seguir esse passo a passo e ser feliz 🙂

Qualquer duvida é só me comentar aqui ou me mandar um e-mail, que vamos conversando.

Fique de olho no blog, pois esse mês estou preparando vários artigos bacanas com o BDC, Kafka, Spark, Twitter e mais algumas coisas legais 😉

Abraços [ ]s
Garetti

Comente sobre isso: