数据工程师,遗留平台(PEGA)

新加坡 5天前合同 网络
面议
职责 • 领导将历史许可证数据从 OneILS(Pega SaaS)一次性迁移到组织管理的数据库。 • 设计、构建和维护可靠的数据管道,以便从 OneILS 持续提取到中央数据库。 • 制定集中式许可证数据仓库的战略和实施路线图。 • 与内部团队和外部供应商合作,以确保所有报告需求的数据质量、一致性和完整性。 • 支持不断变化的业务需求,包括新的报告格式和分析需求。 • 就集成策略提供建议并执行,使用 Databricks 等平台来实现可扩展的自助业务报告。 • 进行数据库和 ETL 系统的日常监控、调优和维护,包括容量规划、问题诊断和预防措施,以确保系统高可用性。 • 根据最终用户需求构建、测试和维护可重用和高效的数据模型。 • 为最终用户和集成系统开发安全的数据访问机制。 • 研究、评估和实施新技术,以持续增强数据基础设施和流程。 • 与数据管理人员合作,建立和执行数据治理政策、标准和最佳实践。 • 维护涵盖元数据、数据来源和关键数据资产的全面数据目录。 • 实施数据质量检查和验证流程,以保持高数据准确性和可靠性。 • 强化数据安全最佳实践,包括访问控制、加密和数据掩码,以保护敏感数据。 要求 • 具有大规模数据迁移和 ETL 项目的丰富经验,最好是在受监管或复杂的环境中。 • 较强的 SQL 技能和现代 ETL 工具的实际操作经验。 • 精通使用 Python、Java 或 Scala 构建数据管道。 • 熟悉遗留平台(如 Pega)和现代数据库,如 PostgreSQL 或 SQL Server。 • 有使用 Databricks 的经验。 • 展示出将数据仓库解决方案投入运营和支持的能力。