Au sein de l'équipe Data de Bee2Link, vous contribuez à la conception et à la fiabilité de notre Data Platform en développant les pipelines de données qui alimentent nos solutions. À ce titre, vos principales missions sont les suivantes :
Missions principales :
Ingestion & Chargement des données
Concevoir et développer les pipelines d'ingestion depuis les sources métier (APIs, bases relationnelles, fichiers, événements)
Mettre en place et maintenir les flux ELT vers le Datalake AWS S3 (format Parquet, partitionnement, compression)
Fiabiliser les chargements incrémentaux et en batch : gestion des erreurs, alertes et rejeux
Transformation & Modélisation (ETL/ELT dbt)
Développer les transformations SQL et Python avec dbt (Data Build Tool) comme couche de transformation principale
Concevoir et maintenir les modèles dbt : staging, intermediate, marts avec tests d'unicité, non-nullité et références
Construire les Datamarts métier : données véhicules, leads, contrats, activité APV, campagnes marketing
Datalake, Redshift & Qualité des données
Optimiser le Datalake AWS S3/Parquet : organisation des buckets, gestion des accès IAM, cycle de vie
Développer et optimiser les requêtes sur Amazon Redshift : tuning, distribution, tri, gestion des workloads
Contribuer à la construction du Data Catalog, à la gouvernance des données (RGPD) et à la documentation technique
