Início Apresentações Spark, Hadoop e Microservices na SoundCloud: extraindo informações de milhões de eventos
Spark, Hadoop e Microservices na SoundCloud: extraindo informações de milhões de eventos
49:59
Resumo
A SoundCloud é uma das maiores plataformas de áudio do mundo, produzindo uma quantidade enorme e crescente de dados. Nesta palestra será mostrado como a SoundCloud implementou sua arquitetura para monetização de conteúdo e como foi construído um pipeline para processamento de eventos, identificação de spams, e enriquecimento, filtragem e agrupamento dos dados.
Minibiografia
Anderson Parra de Paula é engenheiro de software há nove anos, com mestrado em Sistemas Distribuídos pela UFSCAR. Já desenvolveu aplicações utilizando Java, Scala, JavaScript, Ruby e Python em empresas no Brasil, Irlanda e Alemanha. Atua hoje como backend engineer da SoundCloud, em Berlim, onde está envolvido com a criação de uma pipeline de monetização utilizando Spark com Scala.
Sobre o Evento
Entre 24 e 26 de abril, São Paulo recebeu a décima edição brasileira do QCon. Organizado pelo InfoQ Brasil e com palestras selecionadas por um comitê independente, esta edição contou com 3 keynotes, 81 palestras e 93 palestrantes, sendo 19 internacionais. Esse foi o QCon mais internacional do Brasil, o que levou o QCon São Paulo ao patamar dos maiores QCons mundiais.
04 abr 2018