Conscient de l’enjeu qu’ont pris les conteneurs dans les architectures modernes et dans les services informatiques des entreprises, Xebia, société de conseil en IT, organise le 29 juin 2016 la première édition du Paris Container Day, la conférence dédiée aux conteneurs en France.
Les 200 participants pourront assister tout au long de la journée à des conférences données par des speakers de renommée internationale représentant les acteurs majeurs de l’écosystème des conteneurs (tels que Docker, Google Cloud Plateform, AWS, Cloudbees, Red-Hat, pour ne citer qu'eux).
Dans le cadre de la conférence, InfoQ FR a rencontré Alex Rukletsov, Ingénieur à Mesosphere, pour discuter des solutions d'orchestration de conteneurs, et plus particulièrement de Mesos.
InfoQ FR : Bonjour Alex, pouvez-vous vous présenter à nos lecteurs et nous raconter votre parcours avant de rejoindre Mesosphere ?
Alex : Salut Julien ! Lorsque j'étais à l'université, j'étudiais les algorithmes probabilistes et les heuristiques, mais mon premier emploi consistait en fait à écrire un système distribué pour l'évaluation de stratégies de trading. Après un certain temps, j'ai décidé de revenir à des techniques probabilistes, et j'ai rejoint un groupe de recherche à l'Université de Heidelberg, où je travaillais sur la segmentation d'image et des algorithmes de reconstruction 3D, ainsi que l'étude du comportement des navires humains. J'ai changé de voie à nouveau en 2014 en rejoignant Mesosphere pour revenir dans le monde des systèmes distribués.
InfoQ FR : Vous êtes un Committer Apache, sur quels projets travaillez-vous - en plus de Mesos ?
Alex : Apache Mesos bénéficie de beaucoup d'attention ces derniers temps. Nous recevons beaucoup de feedback, demandes et une quantité importante de patchs. Bien que ce soit un fait gratifiant, il vient à un certain prix : nous devons grandir rapidement, développer une communauté saine, réduire les frustrations des utilisateurs et des contributeurs, et ne pas laisser la qualité se détériorer ! Cela occupe la majeure partie de mon temps ; à Mesosphere, je cherche à rester concentré et à garder le nombre de projets internes dans lesquels je suis impliqué le plus petit possible.
InfoQ FR : Pour ceux d'entre nous qui ne connaissent pas Mesos, pouvez-vous nous en dire plus sur ce projet et comment il peut aider les gens dans leur travail ?
Alex : Apache Mesos est un gestionnaire de ressources pour clusters. Ensemble avec d'autres outils, il forme ce qui est communément connu comme un gestionnaire de cluster. Un gestionnaire de cluster est à un cluster ce qu'un système d'exploitation est à un ordinateur : il fait abstraction des composants individuels et fournit plutôt des primitives de base qui permettent aux systèmes distribués de mettre en commun et de partager les ressources des datacenter.
La valeur principale de Mesos ou des systèmes similaires est qu'il permet aux utilisateurs de se concentrer sur des choses qui sont différenciatrices pour leur entreprise. Au lieu de gérer des serveurs ou des machines virtuelles, les ingénieurs peuvent améliorer un logiciel qui ajoute de la valeur au business de l'entreprise.
Par exemple, imaginez que vous concevez un système de publicité en temps réel en utilisant des composants open-source. Avec DC/OS, une plate-forme de gestion de cluster développée par mesosphere et construite autour Mesos Apache, des systèmes complexes comme Spark, Kafka, Cassandra deviennent considérablement plus faciles à installer et plus efficaces à utiliser. Ainsi, au lieu d'investir beaucoup de ressources dans la mise en place et le maintien de l'infrastructure, vous pouvez vous concentrer sur votre tâche d'un système de publicité en temps réel.
InfoQ FR : Il existe d'autres outils autour de Mesos, comme Marathon et Chronos. Comment se situent-ils dans l'écosystème Mesos ?
Alex : Mesos est juste un noyau, ou si vous voulez, un noyau d'un gestionnaire de cluster. Il fournit certaines primitives, telles que l'allocation des ressources, l'isolement, la gestion des quotas pour d'autres outils. Voyez Mesos comme le noyau Linux : bien que ce soit un élément crucial, il a besoin des pilotes, des services et des applications utilisateurs pour faire un travail significatif sur son ordinateur.
Marathon est un framework Mesos pour les services de longue durée, très semblable à
initsous Linux. Chronos est un analogue distribué decron. Il y a douzaine de frameworks Mesos disponibles pour différents types de charges de travail : Spark, Hadoop, Cook, Kafka pour n'en citer que quelques-uns.Mesos a été conçu pour être petit ; il est prévu pour que des outils supplémentaires soient construits pour tirer parti des primitives de Mesos. Sécurité et Réseaux sont de bons exemples : alors que ce sont tous des éléments importants de DC/OS, ils ne font pas partie de Mesos.
InfoQ FR : Quel est votre rôle au sein de mesosphere, et quel est votre domaine d'expertise ?
Alex : Je crois que mon titre officiel est Lead Tech, mais je dirais que mon travail consiste à veiller à ce que Mesos demeure une base solide pour les gestionnaires de cluster. Non seulement DC/OS compte sur Mesos, mais il y a des entreprises qui exécutent d'énormes charges de travail sur des clusters Mesos, y compris Twitter et Apple avec Siri. S'assurer que les ingénieurs peuvent compter sur l'infrastructure grâce à Mesos, et ainsi passer plus de temps sur le code de leur application est mon objectif principal.
Dans Mesos, je suis un mainteneur du sous-système allocator, et j'ai également contribué à l'authentification, l'autorisation, la gestion du cycle de vie des tâches et des endpoints HTTP pour l'opérateur.
InfoQ FR : Comment Mesos diffère-t-il des autres solutions d'orchestration de conteneurs comme Swarm ou Kubernetes ?
Alex : C'est une question à laquelle il est très difficile de répondre précisément ! Les deux sont d'excellents produits, et nous avons reconnu cela en ajoutant le support pour les conteneurs Docker en 2014, ainsi que le fait de pouvoir lancer Kubernetes et Swarm sur Mesos. En fait, quand nous avons revu la conception des cycles de vie des tâches dans Mesos, nous avons examiné comment Swarm et Kubernetes font, et ils nous ont donné une inspiration sur la façon dont nous pouvions améliorer cela pour Mesos !
Cependant, Mesos est bien plus que de l'orchestration de conteneurs : son but est de fournir des services et des outils avec des primitives pour la création de systèmes distribués de nombreux types. Si vous regardez les nombreux framweworks écrits pour Mesos, ils vont de systèmes de fichiers au déploiement continu à de nombreux types d'ordonnanceurs. Ainsi, alors que vous pouvez faire de l'orchestration de conteneurs et des microservices avec Marathon sur Mesos, par exemple, vous pouvez également déployer un ensemble de pipelines de traitement de données sur du bare metal.
Mesos est capable de faire tout cela grâce à son architecture d'allocation des ressources à deux niveaux. Il délègue la planification des décisions à des framweworks, leur permettant d'utiliser les ressources disponibles de la manière la plus optimale pour leurs charges de travail.
Mesos prend également en charge plusieurs formats de conteneurs : Docker, rkt et cgroups Linux (qui sont natifs pour Mesos). En raison de la conteneurisation universelle qui sera incluse dans Mesos 1.0, les utilisateurs peuvent sélectionner le format de conteneur de leur choix et de les exécuter en utilisant soit leur propre outillage ou l'outillage Mesos. Cette dernière option offre des avantages tels que le maintien de conteneurs en ligne au cours des mises à jour.
Vraiment, le but de Mesos est de donner aux utilisateurs un maximum de choix et d'être la meilleure base pour l'exécution de nombreux types de systèmes et d'applications distribuées.
InfoQ FR : Mesosphere a récemment lancé DC/OS, pouvez-vous nous en dire plus sur ce nouveau produit ?
Alex : Non seulement nous l'avons lancé, mais nous l'avons rendu Open-Source !
La plupart du temps, avoir uniquement Apache Mesos ne suffit pas pour faire fonctionner efficacement le cluster (rappelez-vous mon noyau Linux vs comparaison Linux). Voilà pourquoi nous avons vu différentes équipes, construire des choses semblables autour de Mesos : mise en réseau, la surveillance, la sécurité, la découverte de service, gestion utilisateur/groupe, l'interface utilisateur, CLI, installateurs pour le Cloud, etc.
Toutefois, certaines entreprises ne disposent pas d'assez de puissance d'ingénierie pour ajouter ces composants supplémentaires. Voilà comment l'idée de DC/OS est née : utiliser notre expertise pour sélectionner ou créer des composants supplémentaires, les accorder, s'assurer qu'ils communiquent bien les uns avec les autres, et que le tout soit facile à installer et à utiliser. Et DC/OS est un écosystème, un projet cadre pour environ 30 autres projets open-source. Il est soutenu non seulement par Mesosphere, mais aussi par plus de 60 partenaires dans le monde entier.
Il a été intéressant de voir les types de bénéfices que les utilisateurs DC/OS (à la fois avec la version open source et la version entreprise de mesosphere) ont récolté jusqu'à présent. Certains ont réduit le nombre d'instances Cloud dont ils ont besoin pour fonctionner, d'autres sont en train de construire des systèmes PaaS basés sur des conteneurs, au dessus d'OpenStack, et d'autres on pu installer Spark et Kafka pour alimenter de nouvelles applications de données en temps réel. Cela témoigne de l'énorme potentiel d'Apache Mesos et des technologies connexes si elles sont assez faciles à utiliser par tout le monde.
InfoQ FR : Merci Alex pour cet entretien.