Início Bancos de dados no InfoQ Brasil
Artigos
Feed RSS-
/articles/processamento-de-dados-apache-spark-3/pt/smallimage/capa-artigo3-1563224300987.jpg)
Processamento de Dados em "Tempo Real" com Apache Spark na Wavy: Parte 3
Grandes volumes de dados para processar? Necessidade de informação em "tempo real"? Essas são as necessidades que temos de processamento de dados na Wavy, mais de 100 milhões de transações por dia. Esse artigo mostra como utilizamos o Apache Spark para processar grandes influxos de dados de forma contínua, ao final vamos compartilhar dicas e lições aprendidas no uso dessa ferramenta.
-
/articles/processamento-de-dados-apache-spark-2/pt/smallimage/capa-artigo-2-1563219453333.jpg)
Processamento de Dados em "Tempo Real" com Apache Spark Structured Streaming: Parte 2
O Apache Spark provê uma nova API de manipulação e processamento de streams de dados chamada Structured Streaming. Foi desenvolvida para ser altamente escalável e resiliente. Nesse artigo mostro em detalhes sua forma de funcionamento e suas principais configurações por meio de um exemplo prático, efetuando o processamento e agregação contínua de arquivos de dados.
-
/articles/processamento-de-dados-apache-spark-1/pt/smallimage/capa-artigo1-1563216129021.jpg)
Processamento de Dados em "Tempo Real" com Apache Spark: Parte 1
Nessa série de artigos vou abordar como utilizar o processador de streams do Apache Spark para criar uma aplicação de processamento de dados em "tempo real". Além de aprofundar na nova API de streams, o Structured Streaming, vou dar mais detalhes da arquitetura e mostrar a implementação da nossa solução para processar altos volumes de dados na Wavy.
-
/articles/challenges-of-data-preparation-for-predictive-maintenance/pt/smallimage/spark-logo-s-1546543470140.jpeg)
Conquistando os desafios de preparação de dados para manutenção preditiva
Ian Downard aborda neste artigo alguns dos mais difíceis desafios que envolve a preparação de dados enfrentados pelos profissionais de Machine Learning na área da Indústria, discutindo as soluções que envolvem a ingestão de dados e aplicação de Aprendizado de Máquina aplicada relacionados às aplicações de manutenção preditiva.
-
/articles/eclipse-jnosql-arangodb/pt/smallimage/arangodb100-1556138932643.jpg)
ArangoDB: Um banco, uma linguagem e múltiplos data models
Com a complexidade dos bancos de dados atuais, existem diversas características de persistência e estrutura de dados. De modo que, algumas vezes é necessário utilizar mais de um banco de dados, o que, em contra medida resulta numa maior complexidade uma vez que é necessário manter mais de uma instância de banco de dados. Conheça o ArangoDB, o verdadeiro canivete suíço dos bancos de dados.
-
/articles/sentiment-analysis-whats-with-the-tone/pt/smallimage/sentiment-analysis-whats-with-the-tone-s-1553089460149.jpeg)
Análise de sentimentos: duas abordagens básicas para começar
A análise de sentimentos é amplamente aplicada em aplicações de voz do cliente (VOC). Neste artigo, os autores discutem a análise de sentimentos baseada em processamento de linguagem natural (NLP) com machine learning e abordagens lexicais usando ferramentas KNIME de análise de dados.
-
/articles/postgresql-bigdata/pt/smallimage/image3-1552579504687.jpg)
PostgreSQL BRIN índices como uma solução para Big Data
Você já imaginou o PostgreSQL como uma solução para Big Data? Em um cenário o qual seja necessário escrever mais de duas mil linhas por segundo e ler mais de 60 mil linhas o mais rápido possível? Este artigo é um relato de experiência sobre os motivos pelos quais adotamos o PostgreSQL como solução de Big Data em substituição à ferramentas tradicionais como o Apache Cassandra
-
/articles/natural-language-processing-with-java-book-review/pt/smallimage/natural-language-processing-with-java-book-review-1551734113233.jpg)
Processamento de Linguagem Natural com Java - segunda edição: revisão e entrevista
O livro Processamento de Linguagem Natural com Java - Segunda Edição aborda o tópico PLN (ou em inglês: NLP - Natural Language Processing) e várias ferramentas que os desenvolvedores podem usar em seus aplicativos. O InfoQ falou com o co-autor Richard Reese sobre o livro.
-
/articles/spark-application-monitoring-influxdb-grafana/pt/smallimage/spark-application-monitoring-influxdb-grafana-s-1549462035252.jpeg)
Monitorar performance de aplicações Spark usando o profiler de JVM do Uber, com InfluxDB e Grafana
Neste artigo, Amit Baghel discute como monitorar aplicações baseadas no Apache Spark usando o profiler de JVM do Uber, o banco de dados InfluxDB e a ferramenta de visualização Grafana.
-
/articles/how-to-choose-stream-processor/pt/smallimage/how-to-choose-stream-processor-logo-s-1548097747564.jpeg)
Como escolher um processador de stream para a sua aplicação
Processadores de stream são plataformas de software que permitem aos usuários responderem mais rapidamente aos streams de dados que chegam em comparação ao processamento tradicional de dados em lotes. Neste artigo, os autores apresentam a arquitetura de referência de processadores de stream, características importantes necessárias e opcionais com base nos casos de uso específicos.
-
/articles/machine-learning-unconscious-bias/pt/smallimage/analyzing-and-preventing-unconscious-bias-in-machine-learning--1542049338712.jpeg)
Analisando e prevenindo o preconceito inconsciente em Machine Learning
Este artigo é baseado na palestra de Rachel Thomas, “Analisando e Prevenindo o preconceito Inconsciente na Aprendizagem de Máquina” na QCon.ai 2018. Thomas trabalha na fast, um laboratório de pesquisa sem fins lucrativos que possui parceria com o Instituto de Dados da Universidade de São Francisco e fornece treinamento em Deep Learning para a comunidade de desenvolvedores.
-
/articles/book-review-testing-digital-age/pt/smallimage/testing-in-the-digital-age-logo-1538432985376.jpg)
Perguntas e Respostas sobre o livro Testing in the Digital Age (Testar na Era Digital)
O livro Testing in the Digital Age (Testar na Era Digital) explica o impacto gerado em testes pelos desenvolvimentos em robótica, inteligência artificial, internet e big data.