Apache Flink a publié la version 0.8.0 de leur projet. Outre les améliorations des performances, de compatibilité et de stabilité habituelles, il a également ajouté l’API de streaming Scala, où les capacités de streaming étaient jusqu'à présent absentes. Apache Flink a également été récemment promu pour passer au plus haut niveau des projets Apache après avoir rejoint l'incubateur il y a environ neuf mois.
Apache Flink est un projet open source avec des objectifs similaires tels que Apache Spark. Il fonctionne au-dessus de la stack Hadoop et vise à faciliter l'écriture des systèmes scalables de traitement de données en fournissant des opérations de données plus puissantes que les opérations de base map/reduce du système Hadoop original.
Kostas Tzoumas, committer Flink et co-fondateur de data Artisans, une startup basée à Berlin autour d'Apache Flink, a récemment publié les diapositives d'une présentation qui constitue une introduction à Flink et décrit la feuille de route pour 2015.
Un point-clé de Flink, qui le démarque également de la version actuelle d’Apache Spark, est qu'il utilise une approche similaire à l'optimisation des requêtes dans les bases de données SQL. Il peut appliquer des optimisations globales à une requête afin d’obtenir une meilleure performance. Par exemple, Flink est capable de réorganiser les opérations pour améliorer les performances, ou sélectionner les différentes implémentations à exécuter un opérateur donné en fonction des propriétés de l’ensemble des données concernées.
Tel que discuté dans la présentation, ceci permet à Flink d’exécuter une séquence d'opérations en mode pipeline, alors que Spark devrait les exécuter les unes après les autres.
Flink fournit également des opérateurs comme les itérations pour obtenir plus de potentiel d'optimisation globale. Ainsi, au lieu d'émettre des requêtes dans une boucle for, Flink permet aux utilisateurs de formuler l'itération comme faisant partie de la requête.
Les éléments de la feuille de route pour 2015 comprennent une meilleure gestion de mémoire et la tolérance aux pannes, le support pour une utilisation interactive, les lots unifiés et le streaming et l'intégration de la bibliothèque de machine d'apprentissage Mahout parmi d’autres.
Initialement, Flink a commencé dans le cadre du projet de recherche en cours Stratosphere. Flink est également la plate-forme principale pour le Big Data Center de Berlin (Berlin Big Data Center), une initiative de recherche financée par le gouvernement allemand dans le but de réunir les chercheurs de l'apprentissage automatique et les chercheurs de traitement scalable des données.