Cloudera数据工程师

14个月前全职
140K - 160K AUD Synechron

Synechron

location 悉尼
unsaved
Synechron是一家领先的全球数字咨询公司,为企业提供创新的技术解决方案。我们在人工智能、咨询、数据、数字化、云计算和DevOps以及软件工程方面拥有专业知识,提供定制的端到端解决方案,推动业务价值和增长。 我们有一个令人兴奋的机会,邀请一位积极上进、才华横溢的Cloudera数据工程师加入我们的团队,并与我们在金融行业的重要客户合作。 主要职责: 设计、构建和维护数据处理系统,以迁移和重构CDP中的数据管道-包括底层组件的相关版本升级。 技能要求: • 4年以上数据工程和迁移经验,最好具备Cloudera Data Platform经验。 • 对数据处理和迁移工具(如Spark、HDFS、Scala、Airflow)有深入理解。 • 执行数据分析、数据概要和数据映射,确保在迁移过程中数据完整性。 • 开发和实施数据迁移策略,包括数据验证和测试。 • 与跨职能团队合作,确保数据及时高效地迁移。 • 创建技术文档,包括数据迁移计划、数据流程图和流程文档。 • 为团队成员和利益相关者提供技术指导和支持。 • 具备Python或Shell脚本等脚本语言的经验。 • Cloudera开发者认证。