数据工程师 - 12个月合同

15个月前合同
MORGAN MCKINLEY PTE. LTD.

MORGAN MCKINLEY PTE. LTD.

location 新加坡
unsaved
加入充满激情的数据世界,帮助我们建立成功的数据驱动洞察力的基础! 我们正在寻找一位熟练且经验丰富的数据工程师,为我们的数据迁移项目发挥关键作用。您将负责设计、开发和实施数据摄取和ETL组件,确保准确可靠的数据流向我们的数据仓库。 您将要做的事情: • 深入挖掘数据,通过探索性数据分析揭示趋势和模式。 • 准备和清理数据,确保其质量并为迁移做好准备。 • 理解源数据并将其有效映射到目标系统。 • 使用行业标准工具设计和实施我们数据仓库的ETL框架。 • 构建和维护DBT管道,将原始数据转换为可用于报告和可视化的数据模型。 • 开发数据摄取框架,使用DBT从源文件加载数据到暂存层。 • 利用Python编排数据管道,连接摄取、DBT和Power BI。 • 监控数据质量并识别任何问题,将其报告给源系统。 • 实施最佳实践并映射规则,以有效地在ODS、SOR和数据集市之间移动数据。 • 设置、配置和调度ETL作业,实现数据流的顺畅。 • 在DBT中开发数据管道可观察性测试,检测异常、新鲜度问题和数据质量问题。 • 对ETL组件进行单元测试,并支持系统集成和用户验收测试。 您的特点: • 数据热衷者,拥有计算机科学、工程学、商业分析、信息系统或相关领域的硕士/学士学位。 • 至少3至4年相关经验。 • 在构建云数据管道和数据仓库方面有经验,最好是在云数据仓库环境中。 • 熟练使用Azure Data Factory、Azure Databricks和DBT Cloud等ETL工具。 • 熟悉现代数据堆栈,特别是Snowflake、Airflow和AWS数据服务。 • 是一位善于沟通和团队合作的人,在协作环境中蓬勃发展。 加分项: • 有Hadoop、MapReduce、Hive、Pig和Spark等大数据技术经验。 • 对统计建模、机器学习、数据挖掘和文本挖掘概念有了解。 • 在解决问题时采用数据驱动方法的记录。 有兴趣的候选人可以通过申请系统申请或发送至sg-techcontracting@morganmckinley.com。我们将通知入围的候选人。 通过向我们发送您的个人数据和简历(CV),您被视为同意Morgan Mckinley Pte Ltd及其关联公司根据隐私政策(https://www.morganmckinley.com/sg/privacy-policy)收集、使用和披露您的个人数据。您确认已阅读、理解并同意隐私政策。 Morgan McKinley Pte Ltd Koh Boon Sien EA许可证号:11C5502 EA注册号:R1110345