Início Apache_Spark no InfoQ Brasil
Notícias
Feed RSS-
Engenharia de dados no Badoo: lidando com 20 bilhões de eventos por dia
O Badoo é uma rede social para solteiros que atualmente lida com bilhões de eventos por dia, explica Vladimir Kazanov, líder de engenharia de plataforma de dados. Na Skills Matter, Kazanov falou sobre alguns dos desafios de operar nessa escala e quais ferramentas o Badoo usa para processar e relatar esses dados.
-
Keynote do ApacheCon 2019: Google Cloud aprimora o processamento de big data com o Kubernetes
Na ApacheCon América do Norte, Christopher Crosbie palestrou sobre "Mais um negociador de recursos para Big Data? Como o Google Cloud está aprimorando o processamento do Data Lake com o Kubernetes", destacando os esforços do Google para tornar o software de big data Apache "nativo na nuvem", desenvolvendo operadores opensource para fornecer planos de controle para a execução do software Apache.
-
Pipelines modernos de Big Data com Kubernetes
Tecnologias de gerenciamento de containers, como o Kubernetes, permitem implementar pipelines modernos de Big Data. Eliran Bivas, arquiteto sênior de Big Data na Iguazio, falou, em Dezembro de 2017, na Conferência KubeCon + CloudNativeCon North America 2017 sobre pipelines de Big Data e como o Kubernetes pode ajudar a desenvolvê-los.
-
Microsoft atualiza os serviços e ferramentas de IA para desenvolvedores e cientistas de dados
Durante a conferência Ignite de 2017, a Microsoft lançou várias atualizações relacionadas aos seus serviços e ferramentas de Inteligência Artificial (IA). Essas atualizações incluem a liberação do serviço Azure ML Experimentation, Azure ML Model Management, Azure ML Workbench e a disponibilidade geral dos serviços cognitivos da Microsoft.
-
Basho: Suporte a análise de dados em memória, cache e integração com NoSQL
A plataforma de dados Basho oferece análises de dados em memória principal, cache de informações e buscas. A Basho Technologigies anunciou em maio a disponibilização da plataforma, que poderá ser usada para implantar e gerenciar projetos de Big Data, IoT e aplicações em nuvem.
-
Análise em tempo real no Pinterest utilizando o MemSQL e o Spark Streaming
A Pinterest, empresa por trás da ferramenta de bookmarking visual que ajuda a descobrir e salvar idéias criativas, está usando análise de dados em tempo real para tomada de decisões orientada a dados. Estão experimentando o MemSQL e a tecnologia Spark para o engajamento de usuários em tempo real.
-
Apache Spark 1.3: Data Frames, Spark SQL e melhorias na MLlib
O Apache Spark lançou a versão 1.3 do seu projeto. As principais melhorias são: a adição do DataFrames API; melhor maturidade do Spark SQL; assim como diversos novos métodos adicionados a biblioteca de aprendizado de maquina MLlib; e uma melhor integração do Spark Streaming com o Apache Kafka.