我们正在寻找一名数据工程师,为期2年的合同工作。您将为金融服务行业最大且最知名的品牌之一工作,该品牌正在该地区扩大业务。
职位概述:
我们正在寻找一名才华横溢的数据工程师加入我们充满活力的团队。数据工程师在设计、实施和维护我们的数据基础设施和流程中发挥着至关重要的作用。这个人将与我们的数据科学家、分析师和业务利益相关者密切合作,确保我们的数据系统的完整性、可靠性和效率。
主要职责:
• 设计、开发和维护可扩展的数据流水线,用于摄取、处理和转换来自各种来源的大量数据。
• 设计、实施和维护数据和人工智能中心数据平台
• 与跨职能团队合作,了解数据需求并将其转化为技术解决方案。
• 具备面向对象分析和设计的经验。
• 熟悉常见的算法和数据结构
• 优化数据存储和检索过程,以提高性能和成本效益。
• 管理数据建模设计,编写和优化ETL作业。
• 排除与数据流水线、ETL流程和数据基础设施相关的问题。
• 熟悉CI/CD、自动化和基础设施即代码的DevOps实践和工具。
• 熟悉数据预处理和特征工程的机器学习概念和工具。
• 了解数据工程领域的行业趋势和最佳实践,并为我们的数据架构的持续改进做出贡献。
• 为团队的初级成员提供技术指导和辅导。
所需技能和资格:
• 计算机科学、工程或相关领域的学士学位;优先考虑研究生学位。
• 在初创公司或金融服务背景下作为数据工程师的经验。
• 在编程语言(如Python、PySpark等)方面有丰富的经验。
• 熟练掌握SQL技能,并具有与关系型和非关系型数据库(如PostgreSQL、MongoDB、Hadoop)的工作经验。
• 有大数据技术和框架(如Hadoop、Spark、Kafka)的实际经验。
• 熟悉AWS、Azure或Google Cloud等云平台及相关服务(如S3、EMR、BigQuery)。
• 具备Azure Databricks经验者优先考虑。
• 具备数据建模、模式设计和数据仓库概念的经验。
• 出色的解决问题的能力,并能在快节奏、协作的环境中有效工作。
如果您具备扎实的工程基础,并对在协作和充满活力的环境中进行实际部署感到兴奋,请务必申请。
Argyll Scott Consulting Pte Ltd