Consultant Data Engineer – Cloud Azure

  • Company:
    Talent2Africa
  • Location:
  • Salary:
    negotiable / month
  • Job type:
    Full-Time
  • Posted:
    4 hours ago
  • Category:

Niveau : Intermédiaire à senior (3-5 ans d’expérience) Lieu de travail : Montréal, Québec, Canada Date de début : dès que possible Rémunération : 80K $ CAD à 90K $ CAD Vos missions Concevoir des solutions de données permettant de collecter, de nettoyer, d’organiser, de synthétiser et de modéliser efficacement les données; Déployer et optimiser des flux de donnés complexes avec Azure Data Factory pour l’ingestion des données, Databricks pour le chargement, transformation et stockage des données en format parquet/delta tables et Spark/Python/Scala pour le développement des librairies de chargement et de transformation; Mettre en place les pipelines de CI/CD permettant de valider la qualité de code et d’assurer des déploiements simplifiés; Assurer le suivi de la qualité des données et de la bonne mise en œuvre des règles de gouvernance; Travailler en étroite collaboration avec les Data Scientists et les lignes d’affaires; Assurer une veille technologique et diffuser les connaissances via l’organisation d’ateliers au sein de Eastern Canada Consulting ou d’évènements ouverts à la communauté; Expérience et compétences recherchées Vous êtes avant tout passionné(e) par les données, les enjeux qu’elles représentent et les technologies Cloud; Vous êtes titulaire d’un diplôme d’ingénieur ou Master, idéalement avec une spécialisation sur les métiers de l’ingénierie et de l’analytique des données; Vous avez au moins trois ans d’expérience de travail dans le domaine des données, du code, de la création de scripts Python (POO), Java, Scala, SQL, JS et Bash, de la conception, et du testing; Vous êtes familiarisé(e) avec les services infonuagiques Microsoft Azure et Databricks, les systèmes d’ingestion de flux temps réel avec Azure Event Hubs et de traitement avec Spark-Streaming et Delta Lake, ainsi que de pipelines de données automatisés Data Factory; Vous maîtrisez les outils de développement logiciel et les outils DevOps : Docker, Git, Jupyter, Linux, Ansible, Terraform, Docker, Kubernetes, Jenkins, Git, git-Bitbucket, Nexus, HahsiCorp Vault, OpenShift, Harness, etc.; Vous êtes bilingue français-anglais. Certifications appréciées : Databricks Certified Associate Developer for Apache Spark 3.0 Microsoft Certified: Azure Data Engineer Associate DP-200DP-201 Microsoft Certified: Azure Data Scientist Associate DP-100 Microsoft Certified: DevOps Engineer Expert AZ-400












© 2008-2021 by Expertini Limited. Algeria Jobs - Expertini. Empowering Employment Globally. All rights reserved.
Our essential accepted cookies, privacy policy and terms.
This site is also protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.