Accueil InfoQ Big Data sur InfoQ
-
Databricks Ouvre Les Sources De Delta Lake Ce Qui Rend Les Data Lake Plus Fiables
Databricks a récemment annoncé l’ouverture des sources de Delta Lake, sa couche de stockage propriétaire, pour apporter les transactions ACID à Apache Spark et aux charges de travail Big Data. Databricks est la société derrière les créateurs d’Apache Spark, alors que Delta Lake est déjà utilisé dans plusieurs sociétés telles que McGraw Hill, McAffee, Upwork et Booz Allen Hamilton.
-
Un Framework Big Data de Grande Valeur
Asha Saxena a récemment parlé lors de la conférence Enterprise Data World 2019 de la valeur des initiatives d'analyse des données volumineuses pour les organisations. Saxena a proposé un framework de données volumineuses pouvant contribuer à la maturité organisationnelle et aux compétences internes.
-
L'évolution De La Plateforme Big Data De Uber Avec Plus De 100 Pétaoctets
L'équipe d'ingénieurs d'Uber a expliqué comment sa plateforme Big Data avait évolué, passant de jobs ETL traditionnelles avec des bases de données relationnelles à une structure basée sur Hadoop et Spark. Un modèle d'ingestion évolutif, un format de transfert standard et une bibliothèque personnalisée pour les mises à jour incrémentielles sont les composants clés de la plateforme.
-
Les pipelines de big data modernes avec Kubernetes
Les technologies de gestion de conteneurs telles que Kubernetes permettent d'implémenter les pipelines de Big Data modernes. Eliran Bivas, architecte senior en Big Data chez Iguazio, a pris la parole lors de la récente CKubeCon + CloudNativeCon North America 2017 Conference sur les big data pipelines et sur la manière dont Kubernetes peut aider à les développer.
-
Améliorer Google Maps avec l'Apprentissage Profond et Street View
L'équipe Ground Truth de Google a récemment annoncé un nouveau modèle d'apprentissage profond pour l'extraction automatique d'informations à partir de fichiers d'image géo-localisée pour améliorer Google Maps.
-
Histoires de guerres dans l'IoT
Pour l'introduction de la Qcon London 2017, Alasdair Allan nous fait grâce de quelques histoires d'IoT montrant que ce champ est jeune et qu'il ressemble plus à une passoire sécuritaire à faire froid dans le dos.
-
Beam promu Projet Apache de Top Niveau
Beam a récemment été promu en projet top niveau à la Fondation Logicielle Apache.
-
Les Défis du Stream Processing et de l’Architecture Lambda
L'architecture Lambda a été une solution populaire qui combine les traitements par lots et les traitements de flux. Kartik Paramasivam de LinkedIn a écrit sur la manière dont son équipe a abordé le traitement des flux et les défis de l'architecture Lambda en utilisant Apache Samza pour le traitement des données.
-
AirFlow rejoint Apache Incubator
AirFlow a récemment rejoint le programme Apache Incubator. AirFlow est un système de workflow et de planification conçu pour gérer les pipelines de données. Développé par Airbnb pour leur usage interne, AirFlow a été rendu open source en septembre dernier, comme précédemment rapporté par InfoQ.
-
Hazelcast version 3.6 : Améliorations de Performance et Cloud Management
Hazelcast a publié la version 3.6 de sa Data Grid en mémoire et de mise en cache phare, apportant de nombreuses améliorations en matière de performance et de nouvelles options de gestion du cloud et de déploiement sur conteneurs.
-
Riley Newman sur l'usage du Data Science chez Airbnb
Riley Newman, responsable du data science chez Airbnb, a publié un article décrivant la manière dont la startup définit et utilise le data science. Il explique que les données peuvent être perçues comme la voix des clients, et que le data science est un acte d'interprétation. Il explique également plusieurs initiatives particulièrement importantes pour augmenter la capacité du data science.
-
MongoDB atteint la 3.2 et devient Enterprise Ready
MongoDB vient d'annoncer la nouvelle version de sa base NoSQL et produit. Capitalisant sur les nouvelles fonctionnalités introduites dans la 3.0, la version 3.2 étend et consolide l'intérêt de MongoDB vers le monde de l'entreprise.
-
Amazon Web Services lance son service de Machine Learning
Amazon Web Services vient de lancer son service Amazon Machine Learning qui permet aux utilisateurs d'utiliser des modèles prédictifs sur le cloud. Après Google avec Prediction API, et Microsoft avec Azure Machine Learning, Amazon est le dernier grand fournisseur de cloud à lancer un service similaire.
-
Pivotal publie les sources de sa Suite Big Data
Pivotal a décidé de publier les sources des composants de base de sa Suite Big Data et a annoncé "l’Open Data Platform", une initiative qui vise la promotion open source et la standardisation du Big Data.
-
Sortie d'Apache Flink 0.8.0, Feuille de route pour 2015 publiée
Apache Flink a publié la version 0.8.0 de leur projet. Outre les améliorations des performances, de compatibilité et de stabilité habituelles, il a également ajouté l’API de streaming Scala, où les capacités de streaming étaient jusqu'à présent absentes. Apache Flink a également été récemment promu pour passer au plus haut niveau des projets Apache.