职位名称
数据工程顾问角色
描述
我们正在寻找一位高技能的数据工程师-顾问加入我们的团队。理想的候选人将具备设计、分析和排除大规模分布式系统故障的专业知识。
• 为每个业务实体创建和管理单一主记录，确保数据的一致性、准确性和可靠性。
• 实施数据治理流程，包括数据质量管理、数据分析、数据修复和自动化数据溯源。
• 在云、私有数据中心和混合数据生态系统中创建和维护多个强大且高性能的数据处理管道。
• 从各种数据源汇总大型复杂数据集。
• 与数据科学家、机器学习工程师、业务分析师和业务用户合作，获得可操作的洞察和可靠的客户获取、运营效率及其他关键业务绩效指标的前瞻性。
• 开发、部署和维护多个微服务、REST API和报告服务。
• 设计和实施内部流程以自动化手动工作流程，优化数据交付，并重新设计基础设施以实现更大的可扩展性。
• 建立设计、分析和排除大规模分布式系统故障的专业知识。
所需技能和资格
• 有构建和运营大规模数据湖和数据仓库的经验。
• 熟悉Hadoop生态系统和大数据工具，包括Spark和Kafka。
• 具备使用主数据管理（MDM）工具和平台的经验，如Informatica MDM、Talend数据目录、Semarchy xDM、IBM PIM & IKC或Profisee。
• 熟悉MDM流程，如金记录创建、生存权、对账、丰富和质量。
• 在数据治理方面有经验，包括数据质量管理、数据分析、数据修复和自动化数据溯源。
• 具备流处理系统的经验，包括Spark-Streaming。
• 有使用一个或多个云服务提供商（如Azure、GCP或AWS）的云服务工作经验。
• 具备Delta Lake和Databricks的经验。
• 在关系SQL和NoSQL数据库（包括Hive、HBase和Postgres）方面有高级工作经验。
• 对SQL有深入理解，并能够优化数据查询。
福利
如果您具备所需的技能和资格，请与我们分享您的最新简历。 
新加坡