Blog Post Le traitement par lots, qu’est-ce que c’est et comment a-t-il évolué ?

Note de la rédaction : Compte tenu de l’évolution constante de l’automatisation informatique, nous avons pensé qu’il était judicieux de revoir notre analyse de 2019 concernant le traitement par lots.

Dans le traitement par lots, un ordinateur exécute automatiquement des tâches prédéfinies sur d’importants volumes de données, avec un minimum d’intervention humaine. Cette terminologie remonte aux tout débuts de l’informatique, lorsque les programmeurs empilaient des piles de cartes perforées pour entrer les données de la journée dans un ordinateur central – chaque pile constituant un lot à traiter.

Tout comme l’idée d’un « minimum d’intervention humaine » a manifestement évolué au fil des ans, le traitement par lots a progressé et inspiré de nouvelles pratiques telles que l’ordonnancement, l’automatisation des workloads et l’orchestration des services... même si chacune d’entre elles présente des caractéristiques bien distinctes. Dans cet article, nous nous proposons d’explorer ces nuances et de voir comment le traitement par lots s’inscrit dans le paysage moderne de l’automatisation informatique qui englobe le cloud, le big data, l’intelligence artificielle et l’internet des objets.

L’histoire du traitement par lots dans l’automatisation informatique

Dans les débuts, les données étaient collectées tout au long de la journée, puis on programmait des automatismes qui s’exécutaient pendant une fenêtre de traitement par lots – une période généralement nocturne réservée au traitement de grandes quantités de données. Toutes les opérations étant effectuées sur des mainframes, il était absolument essentiel de trouver la meilleure façon d’utiliser cette ressource finie (et limitée). Les fenêtres nocturnes libéraient des capacités pour la journée, permettant aux utilisateurs d’exécuter leurs tâches sans que le système soit ralenti par le traitement de gros volumes de données.

Les opérateurs informatiques soumettaient des tâches par lots sur la base d’un manuel d’instructions qui leur indiquait ce qu’ils devaient faire et comment gérer certaines situations, par exemple en cas de problème. Les tâches étaient généralement programmées à l’aide d’un JCL (Job Control Language), un concept standard des mainframes permettant de définir la manière dont les lots devaient être traités. Pour un mainframe, le JCL :

• identifiait l’auteur de la soumission de la tâche par lots,
• définissait quel programme devait être exécuté,
• indiquait l’emplacement des entrées et des sorties,
• spécifiait quand la tâche devait être exécutée.

Lorsque l’opérateur avait terminé d’exécuter un lot, il en soumettait un autre. Les premiers processus de traitement par lots étaient censés apporter un certain niveau d’automatisation à ce processus. Si cette approche s’est avérée efficace au début, elle est rapidement devenue source de problèmes à mesure que le nombre de machines, de tâches et de dépendances d’ordonnancement augmentait.

La place du traitement par lots dans l’automatisation informatique d’aujourd’hui

Le traitement par lots ayant été introduit il y a longtemps déjà, sa forme traditionnelle présente des limites. C’est particulièrement vrai si on le compare aux solutions d’automatisation modernes qui peuvent effectuer des traitements par lots parallèlement à des flux de travail en temps réel dans des environnements informatiques hybrides.

Les limites des systèmes traditionnels de traitement par lots sont notamment :

• Une quantité considérable d’interventions manuelles nécessaire à assurer la cohérence des lots
• L’incapacité à centraliser les workloads distribués sur différentes plateformes et applications
• L’absence de procédures de suivi pour vérifier l’achèvement des tâches
• Des règles d’ordonnancement rigides, basées sur le temps, qui ne tiennent pas compte des approches modernes en matière de données en temps réel
• Pas de redémarrage ou restauration automatique des tâches planifiées qui échouent

Les solutions d’automatisation informatique d’aujourd’hui permettent encore le traitement par lots des données qui n’ont pas besoin d’être gérées en temps réel, tels que les processus métier de routine, les bilans financiers mensuels et les salaires des employés. La nécessité de disposer de données quasi instantanément se fait toutefois toujours plus sentir.

Les solutions d’automatisation modernes offrent une grande souplesse d’utilisation :

• Le micro-batching divise les données en lots plus petits. Vous n’avez ainsi plus besoin d’attendre la fin de la journée (ou plus longtemps encore) pour exécuter un lot, les micro-lots pouvant être traités à des intervalles de quelques minutes ou même secondes, ce qui se rapproche du traitement en temps réel.
• Le traitement basé sur les événements exécute des tâches en fonction de déclencheurs transactionnels dans des plateformes, applications et systèmes divers.

Les plus courantes de ce type de solutions d’automatisation avancées sont les ordonnanceurs, les applications d’automatisation des workloads (WLA) et les plateformes d’orchestration et d’automatisation des services (SOAP).

Quelle est la différence ?

Quelle est la différence entre le traitement par lots et l’ordonnancement ?

L’ordonnancement est en quelque sorte un traitement par lots 2.0 : tous deux exécutent automatiquement des tâches séquentielles sur de gros volumes de données et ne requièrent qu’un minimum d’intervention humaine. Un ordonnanceur peut cependant exécuter des processus plus complexes sur la base d’un calendrier, de dates et d’heures spécifiques. En outre, l’ordonnancement est suffisamment efficace pour exécuter ces processus soit en arrière-plan pendant les heures de bureau soit pendant la nuit, en fonction de la puissance de traitement requise par la tâche.

Avec ce type d’outil, le « minimum d’intervention humaine » signifie qu’un administrateur IT doit surveiller l’ordonnanceur pour intercepter manuellement les tâches qui sont susceptibles d’échouer (ou qui l’ont déjà fait). Si par exemple un processus de paie récurrent tombe un week-end ou un jour férié, l’administrateur devra intervenir pour modifier le processus afin que les employés puissent être payés à temps.

Les outils d’ordonnancement sont généralement intégrés à un système d’exploitation : Windows Task Scheduler pour Microsoft, CRON scheduler pour Linux/UNIX ou Advanced Job Scheduler pour IBM.

Mais que se passe-t-il lorsque vous devez exécuter des tâches multi-plateformes ? Ou si vous voulez déclencher un flux de travail sur la base d’un événement, par exemple un ticket soumis par le biais de ServiceNow? L’automatisation des workloads, la prochaine évolution de l’automatisation informatique, permet de remédier à certaines de ces lacunes.

Quelle est la différence entre le traitement par lots et l’automatisation des workloads (WLA) ?

On pourrait penser que la WLA est simplement la version 3.0 du traitement par lots. C’est effectivement en quelque sorte le cas. Elle gère facilement les processus par lots et les ordonnanceurs traditionnels basés sur le temps et sur une plateforme unique. Elle peut même contrôler de manière centralisée les ordonnanceurs natifs intégrés à chaque plateforme.

Mais les solutions WLA disposent de fonctionnalités supplémentaires. Ces outils se distinguent par leur capacité à exécuter sur différents systèmes locaux des flux de travail basés sur des processus et transactions spécifiques. Ils utilisent également des connexions API sécurisées pour surveiller et automatiser les tâches dans des applications tierces. Les flux de travail WLA réagissent en temps réel à des événements tels que :

• des données spécifiques devenant disponibles dans SAP ou Informatica
• un nouvel employé ajouté à PeopleSoft
• une demande de prestation soumise via ServiceNow
• une autorisation accordée via Teams ou Slack

Présenté par Gartner dans son rapport de 2005 Hype Cycle for IT Operations Management, la WLA a apporté un nouveau niveau de flexibilité à l’automatisation informatique... tout au moins temporairement. En effet, à mesure que de nouvelles tendances apparaissaient et gagnaient en popularité (le cloud, le big data, l’intelligence artificielle et l’internet des objets, pour n’en citer que quelques-unes), les responsables informatiques étaient toujours en train de chercher des solutions encore plus avancées.

Quelle est la différence entre le traitement par lots et l’orchestration des services ?

Les plateformes d’orchestration et d’automatisation des services (SOAP) représentent l’évolution collective du traitement par lots, de l’ordonnancement et de l’automatisation des workloads, ainsi que quelques autres innovations prometteuses. Ces plateformes sont en mesure d’automatiser des tâches traditionnelles sur la base de calendriers et d’événements, qu’elles soient transactionnelles ou par lots. En outre, les SOAP permettent d’orchestrer les services métier en :

• synchronisant l’automatisation dans les environnements hybrides qui englobent des systèmes sur site, des fournisseurs de services cloud et des micro-services conteneurisés,
• intégrant des technologies tierces – fournisseurs de services cloud, outils ETL et ELT, ERP, conteneurs et applications telles que Salesforce, Slack et Teams – pour coordonner et automatiser les flux de données entre des fonctions et des plateformes hétérogènes,
• donnant aux différents utilisateurs, des DevOps aux DataOps en passant par les analystes métier, les moyens d’agir grâce à la création intuitive de flux de travail et à des autorisations d’accès adaptées aux rôles de chacun,
• standardisant les processus métier et informatiques dans l’ensemble de l’entreprise afin d’améliorer les performances et de réduire les coûts.

Gartner a introduit en 2020 la catégorie des SOAP, reconnaissant l’avancée significative de l’automatisation informatique que ces plateformes représentent. Elle prévoit que « d’ici à la fin de l’année 2024, 80 % des organisations qui assurent actuellement l’automatisation utiliseront des plateformes d’orchestration et d’automatisation des services pour orchestrer les workloads inter-domaines ».

Pour résumer

Le traitement par lots a certes beaucoup évolué, mais il a toujours sa place dans l’automatisation informatique moderne. Les plateformes d’automatisation avancées telles que les SOAP peuvent facilement intégrer l’ordonnancement basé sur le temps du traitement par lots et micro-lots. De plus, les SOAP permettent le traitement basé sur les événements, l’orchestration des services métier et la synchronisation de l’informatique hybride.

Vous souhaitez en savoir plus ? Consultez donc le rapport 2023 de Gartner Market Guide for Service Orchestration Platforms.