Éditeur de logiciels sous licences et open-source, Talend propose des solutions facilitant la mise en place de flux de données (Flux inter-applicatifs, construction d’entrepôts de données, problématique MDM / données de référence, analyse de données, informatique décisionnelle…) au sein d’un système d’information. Ces solutions sont axées sur une programmation graphique des flux de données.
Talend Open Studio (TOS)
Talend Open Studio est la version gratuite et open-source des solutions Talend. Chaque solution permet la mise en place d'une solution à des besoins précis. Les solutions gratuites de Taledn sont les suivantes :
- Talend Open Studio for Data Integration : Cet outil est destiné aux problématiques ETL (Extraction, Transformation et Chargement des données). De nombreux connecteurs permettent de collecter des données provenant de sources de données variées (bases de données, fichiers, API). Ces flux sont également adaptés à la mise en place de traitements automatiques des données (transformations avancées, croisement des sources de données, traitement des données en masse).
- Talend Open Studio for ESB : (Entreprise Service Bus) : Cet outil utilise le même principe de programmation que le précédent. Cependant, cette seconde solution se différencie par son orientation vers un usage temps réel et gestion des événements. Deux fonctionnalités principales sont proposées : la mise en place de routes, permettant la détection de flux sur événement (dépôt de fichiers…) et la définition de Web Services (Rest et Soap).
- Talend Open Studio for Big Data : Cet outil a été pensé de la même manière que l’outil d'intégration de données. C’est une solution de définition de flux dans lequel on trouvera de nombreux connecteurs orientés Big Data (Distributions Hadoop, technologies NoSQL et autres solutions de gestion des fortes volumétries).
- Talend Open Studio for Data Quality : Cet outil permet l’inspection et l’audit de données. Cette interface est destinée à l’évaluation de la précision et de la qualité des données.
- Talend Open Studio for Data Preparation : Cet outil donne accès à des fonctionnalités ETL simplifiées pour la préparation de jeux de données, ceci pour permettre aux utilisateurs finaux d’utiliser leur processus de transformation et de croisement de données sans connaissances techniques avancées.
Talend Open Studio se base sur une approche graphique de la programmation utilisant l’environnement de développement Eclipse. Des composants matérialisés par des icônes font office de fonctions (exemples : lecture, écriture dans une base, lecture de fichiers JSON, XML, ..) qui traitent les données à travers un flux.
Le code source est généré en java et par conséquent compatible avec l’ensemble des systèmes d’exploitation (Windows, Linux ou Mac). Lorsque les fonctionnalités de Talend ne suffisent pas à traiter l’ensemble des problématiques, il est tout à fait possible de les étendre en implémentant vos propres librairies et fonctions Java.
Talend Open Studio for Data Integration (DI) est le module historique de Talend, son utilisation est la plus répandue parmi tous les modules Open Source. Parmi les principaux composants du Studio DI, on peut distinguer plusieurs grandes familles :
Dans les principaux composants du studio DI , on peut distinguer plusieurs grandes familles :
- Manipulation des fichiers : Lecture, écriture, copie, suppression (Fichiers délimités, positionnels, XML JSON, Excel…), import/export de données
- Base de données : SQL Server, Oracle, PostgreSQL, MySQL, ODBC, JDBC, AS400, DB2
- Sources de données : CRM, ERP, GED, application cloud, application interne
- Métadonnées : Définition centralisée du paramétrage d’accès aux systèmes
- Communication : Envoie/réception d’E-mail, Téléchargement et envoi FTP, Web service Rest et SOAP
- Transformation : Agrégation, conversion de type, filtres, jointure, mapping, trie, changement de structure
- Qualité de données : Changer l’encodage, vérifier l’unicité, remplacer
- Orchestration : liste de fichiers, boucles, attendre
- Gestion des logs : Affichage des logs, test de performance
- Système : Lancement d’une opération externe par commande, gestion d’une connexion SSH
Achat de licence Talend : version Entreprise
Au-delà des différentes versions gratuites de ses produits, Talend propose également des versions sous licence de ceux-ci. L’ensemble des fonctionnalités proposées par les outils gratuits pourront être retrouvés de manière packagée dans une ou plusieurs éditions de la plateforme Talend Entreprise.
Pourquoi utiliser la version Enterprise ?
Organisation du travail / Gestion de versions
Talend Open Studio est principalement conçu pour un développeur seul, travaillant sur un ordinateur unique. La version Enterprise est prévue pour un travail collaboratif, avec notamment l’intégration d’une gestion des sources par SVN ou Git, permettant à plusieurs développeurs de travailler sur un même projet en simultané.
Fonctionnalités complémentaires de Talend version Enterprise
Le studio Entreprise introduit de nouvelles fonctionnalités afin d’étendre les possibilités d’utilisation et les performances des flux de données. Voici une liste non-exhaustive des fonctionnalités apportées :
- Capture des changements dans les données (CDC) sur les bases de données
- Utilisation de structures de données dynamiques dans les flux
- Parallélisation des traitements / des écritures en base de données
- Définition de projets de références pour la définition de ressources partagées (Connexions, traitements standards…)
- Fonctionnalités avancées pour les flux EDI (Talend Data Mapper)
- Enchaînement de composants réutilisables (joblets)
- Visualiseur de données avancé
Ces fonctionnalités apportent une efficience accrue dans la mise en place et l’exécution des flux de données.
Administration du contenu
La version entreprise de Talend introduit un élément central : la console d’administration. Cette console permet la gestion et le contrôle de l’ensemble du contenu traité dans le cadre des projets d’intégration de données :
- Gestion des utilisateurs et de leurs habilitations ainsi que des projets et environnements de déploiement
- Création et affectation des utilisateurs
- Déploiement et planification des flux
- Suivi instantané des exécutions / définition d’alertes en cas d’erreurs
- Capacité native à faire de l’intégration et déploiement continu (CI / CD)
Tous ces éléments permettent de concentrer le travail sur la définition des flux et d’automatiser la supervision de la plateforme.
Ce module est nommé différemment selon son mode d’installation :
- On prem : Talend Administration Console (TAC)
- Cloud : Talend Management Console (TMC)
Intégration des projets Open Source
Lors de la souscription à une plateforme Talend, il sera possible d’intégrer automatiquement l’ensemble des projets définis dans les outils Open Source. Une phase de migration sera nécessaire pour passer les projets en version Entreprise, mais ce processus est industrialisé par Talend. Ceci vous permet d’intégrer automatiquement vos ressources au système de gestion des versions de la plateforme.
Modules complémentaires uniquement présents dans l'offre Enterprise
Selon le type de plateforme Talend Enterprise choisi, des modules complémentaires peuvent être accessibles :
- Talend Data Stewardship: Outil web à destination des utilisateurs métier permettant d’effectuer des campagnes de qualité sur nos données. Entre autre, les données considérées comme non conformes dans vos flux ETL pourront être redirigées vers cette brique applicative afin d’être corrigées, enrichies ou encore dédoublonnées par les utilisateurs concernés.
- Talend Data Preparation : Application en libre-service favorisant l’exploration, le nettoyage et la mise en forme des données de l’entreprise. Résolument orienté utilisateurs finaux, l’ensemble des opérations et jeux de données produits peuvent être ré-exploités dans des processus ETL industrialisés.
- Talend Cloud API Designer : Application web permettant de spécifier de manière graphique les APIs REST ainsi que de constituer leur documentation et de l’exposer aux usagers.
- Talend Cloud API Tester : Définissez vos scénarios de tests unitaires afin de vérifier que vos APIs fonctionnent telles qu'attendues ou encore qu’aucune régression applicative n’est à déplorer suite à une mise en production.
- Talend cloud Pipeline Designer : Interface de développement web des flux dans laquelle vous développez vos pipelines d’intégration de données simples et Big Data. L’exécution de vos pipelines peut s’opérer soit sur un moteur d’exécution on premise ou encore chez votre cloud privé (aws, Azure..)
Cloud vs On Premise
L’architecture payante de Talend est déclinée en deux versions :
- On-prem : L’ensemble des outils d’administration, de déploiement, de stockage des données de logs… sont installés sur l’architecture du client. Dans ce cas, l’installation des nouvelles versions est à la charge du client
- Cloud : Les fonctionnalités d’administration et de suivi des projets sont sur un environnement administré par Talend. Cet environnement est maintenu à jour par Talend. L’exécution des projets pourra être réalisée soit sur l’environnement Talend soit sur le système informatique du client.
Liste des éditions proposées par Talend
Talend propose différentes licences pour sa plateforme. Le coût de celles-ci dépend du nombre de fonctionnalités intégrées et du nombre d’utilisateurs de la plateforme. Chaque licence est associée à un niveau de support. Ces niveaux seront détaillés ensuite.
Talend Data Integration (Entry level)
- Support : Gold
- Data Integration (ETL / ELT)
Talend Big Data (Entry level)
- Support : Gold
- Big Data
Talend Data Management Platform
- Support : Platinium
- Data Integration (ETL / ELT)
- Data Quality
- Data Stewardship
Talend API Services Platform
- Support : Platinium
- Data Integration (ETL / ELT)
- ESB API
- Data Quality
- Data Stewardship
Talend Big Data Platform
- Support : Platinium
- Data Integration (ETL / ELT)
- Big Data
- Data Quality
- Data Stewardship
Talend Real-time Big Data Platform
- Support : Platinium
- Data Integration (ETL / ELT)
- ESB API
- Big Data
- Data Quality
- Data Stewardship
- Data Catalog
Talend Data Fabric
- Support : Platinium
- Data Integration (ETL / ELT)
- ESB API
- Big Data
- Data Quality
- Data Stewardship
- Data Catalog
- Data Preparation
Les niveaux de support Talend
Niveau 1 : Utilisateur enregistré
- Mises à jour automatiques
- Accès à la plateforme TalendForge, le forum communautaire
- Accès à l’espace documentaire
- Déclaration et suivi des bugs
Niveau 2 : Talend Enterprise Gold
- Support niveau 1
- Temps de réponse garantis
- Support via application web
- Support par e-mail
Niveau 3 : Talend Platform Platinium
- Support niveau 1 et 2
- Support par téléphone
Niveau 4 : Mission critique
- Support niveaux 1, 2 et 3
- Réduction des temps de réponse
- Support par téléphone 24h/24, 7j/7, 365j/an pour les problèmes majeurs