数据工程师 (RSAF) - 4 年经验

新加坡 1个月前合同 网络
3.8万 - 4.9万 / 月
[12 个月合同,可续签] 您将参与的工作: ● 将业务用户和数据科学家的数据需求转化为技术规范。 ● 与合作机构的 IT 团队协作,完成以下任务: ○ 设计并构建数据摄取管道,以收集、清理、合并和协调来自不同源系统的数据。 ○ 日常监控数据库和 ETL 系统,例如:数据库容量规划和维护、监控和性能调优;诊断问题并部署措施以防止再次发生;确保数据库的最大正常运行时间; ○ 根据最终用户的数据需求构建、测试和更新有用且可重用的数据模型。 ○ 设计并构建安全机制,以便最终用户和系统访问数据仓库中的数据。 ○ 研究、提出并开发新技术和流程,以改善机构的数据基础设施。 ○ 与数据管理员合作,建立并执行数据治理政策、最佳实践和程序。 ○ 维护数据目录,以记录数据资产、元数据和数据来源。 ○ 实施数据质量检查和验证流程,以确保数据的准确性和一致性。 ○ 实施并执行数据安全最佳实践,包括访问控制、加密和数据掩码,以保护敏感数据。 我们寻找的候选人: ● 拥有计算机科学、软件工程、信息技术或相关学科的学士学位。 ● 至少 4 年相关工作经验。 ● 深入理解系统设计、数据结构和算法、数据建模、数据访问和数据存储。 ● 候选人必须有在生产环境中使用 AI 进行代码开发的经验。 ● 精通编写 SQL,用于 Postgres、MSSQL 等数据库。 ● 在使用云技术(如 AWS、Azure 和 Google Cloud)方面有良好的表现。 ● 有使用编排框架(如 Airflow、Azure Data Factory)的经验。 ● 具有分布式数据技术(如 Spark、Hadoop)的经验。 ● 精通编程语言,如 Python、Java 或 Scala。 ● 熟悉构建和使用 CI/CD 管道。 ● 熟悉 DevOps 工具,如 Docker、Git、Terraform。 优先要求: ● 有数据和 IT 系统架构设计的经验。 ● 有设计、构建和维护批处理和实时数据管道的经验。 ● 有 Databricks 的经验。 ● 有实施技术流程以加强数据安全、数据质量和数据治理的经验。 ● 熟悉政府系统及其与数据治理、数据管理、数据基础设施和数据安全相关的政策。