Big Data

Big Data

Termos utilizado para grande quantidade de dados armazenados, dados unidades que valem ouro que podem compor informações de grande valor se estruturadas corretamente. Quanto mais dados, provavelmente mais precisa será a informação e mais valiosa.

Quando falamos de Big Data estamos falando de processar primeiramente dados brutos que pode ainda não estar formatados corretamente, podem ter campos nulos, erros, campos em branco, tipos de dados distintos, isso é chamado de Data Lake.

Data Lake

Repositório onde os dados brutos são armazenados para posteriormente serem processados, pode ser um S3 da amazon ou Azure Storage geralmente com baixo custo para armazenamento.

DataBricks

Plataforma de processamento de dados, geralmente se conecta em fonte de dados, pode ser banco de dados SQL ou fontes de dados massivos, o que geralmente é utilizado fonte de Data Lake para que os dados sejam tratados, valores nulos, em branco, aplicadas regras de negócio, realizados cálculos e limpeza de dados não pertinentes. Gerando os dados organizados são enviados para algum banco de dados que pode ser SQL Server se for poucos dados mas geralmente são dados massivos então para esse fim, é utilizado BigQuery.

BigQuery

BigQuery são banco de dados utilizados para armazenamento de dados já processados, armazenam dados em grande escala para que possam ser consultados rapidamente mesmo quando grandes quantidades. Geralmente nesse modelo de armazenamento a maior parte do custo é cobrada por quantidade de dados processados na consulta.

Data WareHouse

Banco de dados que guardam informações organizadas já processadas são chamados de Data WareHouse.

PowerBI

Uma plataforma da Microsoft para desenvolvimento de gráficos, representações visuais dos dados, é capaz de se conectar a fonte de dados de planilhas e banco de dados. Integrado com PowerPoint Teams entre outros serviços da Microsoft. Este pode ser considerado o avanço das planilhas pode ser mais utilizado nos setores financeiros do que técnicos.

Conclusão

Nesse post procurei citar termos que foram famosos nos ultimos tempos, antes mesmo do Boom das LLMS esse era um tópico bem explorado, o BigData a utilização dos dados massivos com inteligencia e performance ganhou foco, primeiro as CLOUDs ganharam o foco, depois BigData e agora IA com a explosão das LLMs.