数据工程师

15个月前全职
PRUDENTIAL ASSURANCE COMPANY SINGAPORE (PTE) LIMITED

PRUDENTIAL ASSURANCE COMPANY SINGAPORE (PTE) LIMITED

location 新加坡
unsaved
该职位将在支持普洱保险公司新加坡战略目标的交付中发挥关键作用,这些目标作为分析路线图的一部分进行捕捉。您将与数据和分析卓越中心(CoE)、技术和业务团队密切合作。该职位负责通过构建世界一流的系统、流程和工程标准,以实现大规模高级分析和机器学习,推动普洱新加坡的业务增长。您将通过开发路线图中定义的用例来构建数据解决方案、流程和标准。 - 构建管道以摄取组织内部和外部(例如政府、供应商和社交媒体)的各种数据。 - 优化现有的管道。 - 测试数据结构,确保它们适用于数据分析师和科学家使用。 - 为数据科学家准备和维护安全原型、开发、测试和数据操作环境。 - 设计和实施有效的数据存储解决方案和模型。 - 协助数据模型和AI/ML部署。 - 评估数据库实施程序,确保其符合内部和外部法规。 - 为管理和执行团队准备准确的数据库设计和架构报告。 - 监控系统性能,进行定期测试、故障排除和集成新功能。 - 自动化低价值任务 • *我们正在寻找的人** • *技术技能和工作经验** - 至少有一家主要云基础设施提供商(Azure/AWS/GCP)的经验 - 使用Apache Spark(Spark SQL、DataSet / Dataframe API)或Hive查询语言(HQL)构建数据管道的经验 - 熟悉大数据ETL处理工具 - 数据建模、数据映射数据仓库和数据集市解决方案的经验 - 熟悉Hive和Hadoop文件格式(Avro / Parquet / ORC) - 基本脚本知识(shell / bash) - 处理多个数据源的经验,包括关系数据库(SQL Server / Oracle / DB2 / Netezza)、NoSQL / 文档数据库、平面文件 - 了解Jenkins、JIRA、Bitbucket、Artifactory、Bamboo和Azure Dev-ops等CICD工具。 - 使用Git版本控制的DevOps实践 - 对改进输出质量的行业标准和技术进展保持兴趣。 - 能够调试、优化大规模数据处理作业 - 精通Python或Scala SQL DataBricks - 了解Azure Data Factory Azure DevOps BitBucket或GitHub 机器学习 MLFlow ML(机器学习)框架(例如scikit-learn、TFX、PyTorch等)。 - 最好具备寿险行业知识。 • *能力和个人特质** - 灵活性、创造力和接受和利用建设性反馈的能力。 - 好奇心和出色的人际交往能力。 - 具备团队合作精神 - 能够在最少的监督下成功管理一系列职责的能力。 • *教育** - 计算机科学或相关学科的硕士学位或同等工作经验。 - 拥有来自知名MOOC或云供应商的数据工程证书将受到欢迎 • *语言**: 流利的英语书写和口语能力