加入充满激情的数据世界,帮助我们建立成功的数据驱动洞察力的基础!
我们正在寻找一位熟练且经验丰富的数据工程师,为我们的数据迁移项目发挥关键作用。您将负责设计、开发和实施数据摄取和ETL组件,确保准确可靠的数据流向我们的数据仓库。
您将要做的事情:
• 深入挖掘数据,通过探索性数据分析揭示趋势和模式。
• 准备和清理数据,确保其质量并为迁移做好准备。
• 理解源数据并将其有效映射到目标系统。
• 使用行业标准工具设计和实施我们数据仓库的ETL框架。
• 构建和维护DBT管道,将原始数据转换为可用于报告和可视化的数据模型。
• 开发数据摄取框架,使用DBT从源文件加载数据到暂存层。
• 利用Python编排数据管道,连接摄取、DBT和Power BI。
• 监控数据质量并识别任何问题,将其报告给源系统。
• 实施最佳实践并映射规则,以有效地在ODS、SOR和数据集市之间移动数据。
• 设置、配置和调度ETL作业,实现数据流的顺畅。
• 在DBT中开发数据管道可观察性测试,检测异常、新鲜度问题和数据质量问题。
• 对ETL组件进行单元测试,并支持系统集成和用户验收测试。
您的特点:
• 数据热衷者,拥有计算机科学、工程学、商业分析、信息系统或相关领域的硕士/学士学位。
• 至少3至4年相关经验。
• 在构建云数据管道和数据仓库方面有经验,最好是在云数据仓库环境中。
• 熟练使用Azure Data Factory、Azure Databricks和DBT Cloud等ETL工具。
• 熟悉现代数据堆栈,特别是Snowflake、Airflow和AWS数据服务。
• 是一位善于沟通和团队合作的人,在协作环境中蓬勃发展。
加分项:
• 有Hadoop、MapReduce、Hive、Pig和Spark等大数据技术经验。
• 对统计建模、机器学习、数据挖掘和文本挖掘概念有了解。
• 在解决问题时采用数据驱动方法的记录。
有兴趣的候选人可以通过申请系统申请或发送至sg-techcontracting@morganmckinley.com。我们将通知入围的候选人。
通过向我们发送您的个人数据和简历(CV),您被视为同意Morgan Mckinley Pte Ltd及其关联公司根据隐私政策(https://www.morganmckinley.com/sg/privacy-policy)收集、使用和披露您的个人数据。您确认已阅读、理解并同意隐私政策。
Morgan McKinley Pte Ltd
Koh Boon Sien
EA许可证号:11C5502
EA注册号:R1110345