数据工程师(6个月合同)

新加坡 2天前合同 网络
面议
星和的客户生命周期管理(CLM)团队致力于理解、提升和优化客户旅程。从获取到留存,CLM团队运用数据驱动的策略提供无与伦比的客户体验。通过数据科学、商业智能、客户洞察、NPS和数字分析的结合,CLM团队确保星和的产品与客户需求保持一致,从而提高忠诚度、满意度和增长。 数据工程师将以6个月的合同加入CLM团队,领导从Neteza(IBM PureData)到Snowflake的遗留数据基础设施迁移。这一角色对于现代化星和的数据平台至关重要,确保现有表格、数据管道和ETL流程无缝转移到云原生的Snowflake环境。数据工程师将与数据科学、商业分析和数字分析团队密切合作,确保迁移的数据保持完整性、可访问性和性能标准,以支持持续的客户分析和商业智能计划。 主要职责 遗留数据迁移:将现有表格、模式和数据资产从Neteza迁移到Snowflake,确保数据完整性和迁移过程的完整性。 ETL管道转换:转换和优化现有ETL/ELT流程以适应Snowflake,利用云原生特性提高性能和可扩展性。 模式设计与优化:重新设计和优化数据模型、维度模式和数据集市以适应Snowflake环境,同时保持与下游分析的兼容性。 数据验证与测试:开发和执行全面的数据验证框架,以验证源系统(Neteza)和目标系统(Snowflake)之间的准确性和一致性。 迁移文档:创建详细的迁移运行手册、数据字典和技术文档,以支持知识转移和操作连续性。 利益相关者合作:与数据科学、商业分析和数字分析团队合作,优先安排迁移活动,尽量减少对持续分析操作的干扰。 资格 教育水平: 计算机科学、信息系统、数据工程或相关领域的学士学位。相关领域的硕士学位更佳。 所需经验和知识: 3-5年数据工程或相关领域的经验 对数据仓库概念、ETL流程和数据建模技术有深入了解 具有数据迁移项目经验,尤其是从遗留的本地系统到云平台的迁移 具有Neteza(IBM PureData)或类似遗留数据仓库系统(如Teradata、Oracle)的实际操作经验 具有云数据平台的经验,特别是Snowflake和AWS 精通SQL并有NoSQL数据库经验 了解数据治理原则和数据隐私法规 职位特定技术技能: 精通Python或Scala进行数据处理和自动化 具有ETL工具(如Apache NiFi、Talend、Informatica)的经验 具有Snowflake特定功能(Snowpipe、Tasks、Streams、Time Travel、Zero-Copy Cloning)的经验 熟悉数据迁移工具和方法 了解数据可视化工具(如Tableau、PowerBI)以支持数据质量检查和管道监控 熟悉版本控制系统(如Git)和CI/CD实践 具有容器技术(如Docker)和编排工具(如Kubernetes)的经验 理解数据安全最佳实践和实施 行为技能: 强大的问题解决和分析能力 出色的沟通能力,以便与技术和非技术团队成员协作 积极主动地识别和解决数据相关问题 能够有效管理多个项目和优先事项 注重细节,关注数据质量和系统可靠性 适应不断发展的技术和变化的业务需求 强大的团队合作技能和在协作环境中工作的能力 立即申请,请点击Skye!