[12 个月合同,可续签]
您将参与的工作:
● 将业务用户和数据科学家的数据需求转化为技术规范。
● 与合作机构的 IT 团队协作,完成以下任务:
○ 设计并构建数据摄取管道,以收集、清理、合并和协调来自不同源系统的数据。
○ 日常监控数据库和 ETL 系统,例如:数据库容量规划和维护、监控和性能调优;诊断问题并部署措施以防止再次发生;确保数据库的最大正常运行时间;
○ 根据最终用户的数据需求构建、测试和更新有用且可重用的数据模型。
○ 设计并构建安全机制,以便最终用户和系统访问数据仓库中的数据。
○ 研究、提出并开发新技术和流程,以改善机构的数据基础设施。
○ 与数据管理员合作,建立并执行数据治理政策、最佳实践和程序。
○ 维护数据目录,以记录数据资产、元数据和数据来源。
○ 实施数据质量检查和验证流程,以确保数据的准确性和一致性。
○ 实施并执行数据安全最佳实践,包括访问控制、加密和数据掩码,以保护敏感数据。
我们寻找的候选人:
● 拥有计算机科学、软件工程、信息技术或相关学科的学士学位。
● 至少 4 年相关工作经验。
● 深入理解系统设计、数据结构和算法、数据建模、数据访问和数据存储。
● 候选人必须有在生产环境中使用 AI 进行代码开发的经验。
● 精通编写 SQL,用于 Postgres、MSSQL 等数据库。
● 在使用云技术(如 AWS、Azure 和 Google Cloud)方面有良好的表现。
● 有使用编排框架(如 Airflow、Azure Data Factory)的经验。
● 具有分布式数据技术(如 Spark、Hadoop)的经验。
● 精通编程语言,如 Python、Java 或 Scala。
● 熟悉构建和使用 CI/CD 管道。
● 熟悉 DevOps 工具,如 Docker、Git、Terraform。
优先要求:
● 有数据和 IT 系统架构设计的经验。
● 有设计、构建和维护批处理和实时数据管道的经验。
● 有 Databricks 的经验。
● 有实施技术流程以加强数据安全、数据质量和数据治理的经验。
● 熟悉政府系统及其与数据治理、数据管理、数据基础设施和数据安全相关的政策。