理想的候选人应具备数据建模、SQL、大数据技术和云平台的强大专业知识。您将与数据科学家、分析师和业务团队合作,以确保高效的数据流动和决策的可访问性。
AWS/GCP/Azure 数据工程认证
职位概述
我们正在寻找一位熟练的数据工程师,负责设计、开发和维护可扩展的数据管道、ETL 过程和数据基础设施。理想的候选人应具备数据建模、SQL、大数据技术和云平台的强大专业知识。您将与数据科学家、分析师和业务团队合作,以确保高效的数据流动和决策的可访问性。
主要职责
• 设计与构建数据管道:开发和优化 ETL/ELT 工作流,以获取、处理和转换大规模数据集。
• 数据仓库与建模:设计和维护数据仓库(如 Snowflake、Redshift、BigQuery),并实施高效的数据模型。
• 大数据处理:使用分布式系统(如 Spark、Hadoop)处理大规模数据。
• 云与基础设施:在云平台(AWS、GCP、Azure)上部署和管理数据解决方案,使用 S3、Databricks、Airflow 等服务。
• 数据质量与治理:通过监控、验证和治理实践确保数据的准确性、一致性和安全性。
• 协作:与数据科学家、分析师和业务团队密切合作,了解数据需求并交付可扩展解决方案。
• 性能优化:提高查询性能,减少延迟,增强系统可靠性。
• 自动化与 CI/CD:为数据工作流实施自动化,并与 DevOps 实践集成。
所需技能与资格
• 教育:计算机科学、工程或相关领域的学士/硕士学位。
• 经验:至少 5 年的数据工程或相关职位经验。
• 编程:精通 Python、SQL,选修 Java/Scala。
• 数据库与大数据:具有 SQL/NoSQL 数据库(PostgreSQL、MySQL、MongoDB)、Spark、Hadoop、Kafka 的经验。
• ETL 与数据管道:具备 Airflow、dbt、Talend、Informatica 或类似工具的实践经验。
• 云平台:精通 AWS(Redshift、Glue、Lambda)、GCP(BigQuery、Dataflow)或 Azure(Data Factory、Synapse)。
• 数据仓库:了解 Snowflake、Redshift 或 BigQuery。
• DevOps 与版本控制:熟悉 Git、Docker、Kubernetes、CI/CD 管道。
• 分析技能:具备强大的问题解决和数据优化能力。
优先技能
• 具有实时数据处理(Kafka、Flink)经验。
• 了解机器学习管道和 MLOps。
感兴趣的候选人,请点击“申请”开始您的求职之旅,并通过官方 PERSOLKELLY 求职申请平台 - GO Mobile 直接提交您的简历。
我们遗憾地通知您,只有入围的候选人才会收到通知。
Saravanan | 注册号:R1871815
PERSOLKELLY 新加坡私人有限公司 | EA 许可证号:01C4394
这与就业与就业能力研究所私人有限公司(“e2i”)合作。e2i 是一个赋能网络,旨在为寻求就业和就业能力解决方案的工人和雇主提供支持。e2i 作为工人与雇主之间的桥梁,连接工人以通过工作匹配、职业指导和技能提升服务提供工作保障,并与雇主合作以通过招聘、培训和工作重设计解决方案满足人力需求。e2i 是全国工会大会设立的三方倡议,旨在支持全国范围内的人力和技能提升倡议。申请此角色即表示您同意 e2i 的个人数据保护法(PDPA)。
通过向我们发送您的个人数据和简历(CV),您被视为同意 PERSOLKELLY 新加坡私人有限公司及其附属机构收集、使用和披露您的个人数据,具体用途请参见可在 https://www.persolkelly.com.sg/policies 获取的隐私政策。您承认您已阅读、理解并同意隐私政策。