Optimisation des flux de données : Automatisation et synchronisation des systèmes avec Apache Airflow et dbt

Sandaya, acteur majeur de l'hôtellerie de plein air, a entrepris la modernisation de son Property Management System (PMS), l'outil central de gestion de son activité. 

L’enjeu majeur consistait à redéfinir l’ensemble des flux reliant le PMS aux systèmes de comptabilité, de CRM et de Business Intelligence pour garantir une migration sans perte d’information.

Nous devions assurer une refonte complète et conforme des flux de données (ISO, à savoir une migration à périmètre fonctionnel identique) et garantir une réduction des erreurs de transfert. 

En parallèle, nous devions offrir des interfaces de suivi claires pour le monitoring, assurer la traçabilité des données, centraliser la gestion des flux et créer une architecture robuste pour une maintenance simplifiée.

La solution repose sur le couplage d'Apache Airflow et de dbt pour orchestrer et transformer les flux de données entre le PMS, le CRM, la Compta et la BI.

• Apache Airflow assure une orchestration puissante et une surveillance en temps réel de chaque flux, garantissant une visibilité totale sur les échanges du SI.
• dbt (data build tool) permet de modéliser et de documenter les données selon des standards de rigueur industrielle, transformant le Shadow Data en actifs structurés et fiables.

L'approche "Data as Code" applique les meilleures pratiques DevOps pour industrialiser et fiabiliser les flux. Contrairement aux solutions SaaS "boîtes noires", le choix de l'Open Source combiné avec un hébergement on-premise garantit à Sandaya une entière souveraineté, la maîtrise de ses coûts et une architecture sur-mesure totalement extensible.

La qualité du système est sécurisée par un cycle de développement rigoureux : versioning via Git, revues de code systématiques et tests automatisés. Cette méthodologie assure une traçabilité complète et une mise en production sereine de chaque évolution.

Le projet a débuté par un POC stratégique afin de valider la faisabilité technique de l’architecture cible. Cette étape a permis de confirmer la pertinence du couplage des solutions Open Source Apache Airflow et dbt avant de lancer leur déploiement à grande échelle.

• Inventaire et rétro-ingénierie : Un travail de fond a été mené via des ateliers métiers pour identifier le Shadow Data dispersé dans le SI. Nous avons réalisé avec Sandaya une rétro-ingénierie complète des flux existants pour cartographier précisément les champs, les règles de calcul et le mapping nécessaire à partir du données du nouveau PMS.
• Architecture en médaillon : Le développement a été structuré autour d'une architecture en couches (Bronze, Silver, Gold). Cette approche permet de mutualiser le chargement des données brutes, qui sont ensuite transformées via dbt pour alimenter plusieurs flux sortants de manière cohérente.
• Le défi de la pré-production : La validation a représenté un challenge majeur, certains systèmes cibles (comme la Comptabilité) étant complexes à simuler en environnement de test. Nous avons dû redoubler de rigueur pour valider les comportements en condition nominale malgré l'absence de certains environnements miroirs.
• Déploiement et stabilisation : La mise en production a intégré une phase critique de stabilisation. Pour gérer les cas limites et les pannes liés aux volumes réels des données, une squad technique et fonctionnelle a été mobilisée.
• Résilience et observabilité : L'utilisation des fonctionnalités avancées d'Apache Airflow a été déterminante pour monitorer les flux et garantir leur résilience. La flexibilité de dbt a permis d'ajuster rapidement les règles métiers en fonction des retours terrains, assurant une stabilisation rapide et le respect des SLA.

En conclusion, ce déploiement itératif a permis de transformer une architecture subie en un système piloté, où la maîtrise technique de la phase de stabilisation a été la clé du succès opérationnel de Sandaya.

Le projet a transformé la donnée de Sandaya en un actif industriel pilotable. D’une logique fragmentée et silotée par métier, nous avons convergé vers une brique data centralisée, servant de socle unique à l'ensemble du système d'information.

• Indicateurs quantitatifs : Synchronisation quotidienne de 35 sources, plus de 3 000 appels API/jour et 50 millions de lignes traitées annuellement avec une fiabilité maximale.
• Gains opérationnels : Éradication des flux "Shadow Data" et des tâches manuelles (CSV). Le système permet désormais une mise à jour dynamique, descendant jusqu'à une fréquence de 10 minutes pour certains flux.
• Souveraineté : Maîtrise des coûts d'infrastructure et du patrimoine data grâce à une solution auto-hébergée sur un cloud souverain, garantissant une forte autonomie stratégique et évitant l'enfermement propriétaire (vendor lock-in).

Prochaines étapes : Fort de ce nouveau socle centralisé, l'ambition est d'étendre ce pipeline de données à l'intégralité des briques métiers (Marketing, RH, …). Ce socle devient le référentiel de données unique de l’entreprise, directement interrogeable par la BI pour fournir une vision 360° de l'activité.

Cette centralisation constitue le socle des futurs chantiers de gouvernance de la donnée. L'objectif est désormais de garantir une information saine, pérenne et partagée, initiant ainsi une véritable transformation de la culture data chez Sandaya sur le long terme.