你是一个实践能力强、技术娴熟的数据工程师吗?加入一个备受瞩目的数据转型项目,在全球团队中扮演关键角色。
我们正在寻找多名高级/首席数据工程师加入我们的全球客户,帮助他们的商品全球市场团队开发创新应用和分析,为迁移项目做准备。
在这个职位上,您将建立复杂的数据模型,并与业务部门合作了解数据需求。您将从各种数据源/数据库中提供见解,并使用Python/JavaScript创建可重复使用的工具。
这个职位的一个重要部分将是使用Confluence、Collibra和Alation记录您的发现。这一切都将在敏捷环境中完成。
您需要具备以下技能:
• 在银行和金融行业有较强的数据建模经验
• 熟练使用SQL
• Python经验
• 了解Collibra和Alation
• 了解Hive、Spark、Presto等大数据查询工具
• 了解NoSQL数据库
• 使用Apache Oozie或Airflow等工具管理数据流水线
• 在大数据技术背景下,了解Java、C++或Scala等编程语言
• 有AWS之前的工作经验- EC2、S3、EBS、ELB、RDS、Dynamo DB、EMR、Apache Parquet等
• API集成
• 了解使用Collibra Kafka、Spark Streaming或其他技术进行实时集成。
您需要具备出色的书面和口头沟通能力,并且是一个团队合作者,能够预测工作量和优先级,以提高效率。
如果你符合以上要求,并想了解更多信息,请联系Steve Bielby,电话0419588115,或将您的简历发送至steve@clarrow.com.au。