Início Spark no InfoQ Brasil
Artigos
Feed RSS-
/articles/apache-spark-graphx/pt/smallimage/big-data-spark-1530723071452.jpg)
Big Data com Apache Spark - Parte 6: Análise de grafos com Spark GraphX
Este artigo apresenta o GraphX do Apache Spark usado para o processamento e análise de grafos, com exemplos de algoritmos de grafo como: PageRank, Componentes Conectados e Contagem de triângulos.
-
/articles/apache-sparkml-data-pipelines/pt/smallimage/Spark-ML.jpg)
Big Data com Apache Spark - Parte 5: Spark ML
Nessa quinta parte da série sobre Apache Spark, o autor Srini Penchikala explica o pacote Spark ML e como usá-lo para criar e administrar pipelines de dados de machine learning.
-
/articles/estendendo-outputstream-apache-spark/pt/smallimage/image100-1568843910964.jpg)
Estendendo o OutputStream do Apache Spark Structured Streaming
Nem sempre o suporte padrão de saída do processamento de streams do Apache Spark Structured Streaming pode atender suas necessidades, por isso esse artigo mostra como estender a saída do stream e implementar sua própria integração externa. Apresento como estender o OutputStream com um exemplo completo de integração, persistindo o resultado do processamento em banco de dados relacional.
-
/articles/apache-spark-streaming/pt/smallimage/logo3.jpg)
Big Data com Apache Spark Part 3: Spark Streaming
Este é o terceiro artigo da série Big Data com Apache Spark. Nos 2 primeiros artigos abordamos o processamento de dados estáticos. Neste artigo trataremos do processamento de dados em streaming e em tempo real. O artigo busca mostrar como podemos usar o Apache Spark para realizar análises sob informações em cenários onde os dados são gerados continuamente.
-
/articles/apache-spark-sql/pt/smallimage/logo2.png)
Big Data com Apache Spark Parte 2: Spark SQL
O Spark SQL, é parte integrante do framework de Big Data Apache Spark, utilizado para processamento de dados estruturados, que permite executar consultas SQL no conjunto de dados do Spark. É possível realizar tarefas ETL sobre os dados em diferentes formatos, como por exemplo JSON, Parquet, banco de dados e com isto, executar consultas ad-hoc.
-
/articles/apache-spark-introduction/pt/smallimage/logo2.png)
Big Data com Apache Spark - Parte 1: Introdução
O Apache Spark é um framework de big data construído para ser veloz, fácil de usar e com analises sofisticadas. Nesse artigo, Srini Penchikala mostra como o Spark ajuda no processamento e analise de Big Data com sua API padrão. Também compara o Spark com a implementação tradicional de MapReduce do Apache Hadoop.