高级大数据工程师

16个月前全职
80K - 100K CAD / 年 ALTEN Canada

ALTEN Canada

location 多伦多
unsaved
在此职位描述中,为了方便阅读,我们使用了男性称谓,并没有任何歧视意图。 我们是谁?ALTEN是工程和IT咨询领域的领导者,在全球拥有57,400名顾问。三十多年来,我们一直致力于提升企业的技术性能。 职位描述:为了支持我们在银行领域的客户,我们正在寻找一位具有丰富的大数据工程和架构经验的高级大数据工程师和Hadoop顾问,特别关注Databricks、Hadoop和Spark等技术。 我们正在寻找一位积极主动、有数据工程经验的人,他们可能有不同的技术经验(例如,使用Snowflake代替Databricks)。 主要职责: 作为数据工程的首席工程师,负责管理和优化数据湖,特别是在Hadoop平台上,包括迁移到云端。 审查和改进Hadoop集群配置以解决性能问题。 在Hadoop集群上实施开发、测试和生产环境的隔离方案。 重新设计ETL流程,优先使用PySpark,并整合摄取脚本。 领导数据湖迁移到Databricks的概念验证(POC)项目。 保持在Spark开发方面的前沿,并关注数据工程的最佳实践。 资格要求: 精通英语和法语(母语或双语水平)。 丰富的数据工程和大数据经验。 在不同行业领域领导大数据项目的经验。 在复杂系统设计和架构方面具备扎实的技术能力。 能够每周在办公室工作两天,并在客户处工作一天(可以商议)。 教育背景: 工程学、计算机科学或相关领域的学士学位。 计算机科学或相关领域的研究生学位。 技能要求: 精通大数据技术(Hadoop、Spark、Databricks)。 熟练掌握ETL开发,优先使用PySpark。 熟练掌握云技术,特别是AWS(Redshift、S3 Glue)。 出色的问题解决和分析能力。 能够独立工作和团队合作。 良好的沟通和领导能力。 附加优势: 数据库操作、Databricks、Snowflake、机器学习、数字信号处理、MongoDB、TensorFlow或相关领域的认证。 工程学、计算机科学或相关领域的硕士学位。 具备与客户视角监控相关专利的经验将是一个加分项。