角色描述:
您将成为数据与人工智能工程团队的重要成员。作为数据工程师,您将支持以可扩展、可重复和安全的方式进行数据的收集、存储和分析。此外,您还将:
- 执行利益相关者的参与、开发、实施和维护用于大规模数据收集、存储、访问和分析的系统。
- 实施数据管道,以提取可用于数据科学和人工智能(DSAI)应用的操作和传感器数据。
- 开发和管理数据架构的持续改进,并确保与业务需求、数据管理和治理政策的一致性。
- 参与评估可能技术的优劣,并推荐最能满足组织需求的解决方案。
- 设计、开发和维护交互式仪表板,以提供洞察和数据可视化,支持业务决策。
您将从事的工作:
1. 与业务用户和数据科学团队密切合作,识别有助于实现业务目标的相关数据,例如用于政策制定和运营/流程优化的分析。
2. 支持数据架构框架、标准和原则的设计和定义,包括建模、元数据、隐私、安全性、参考数据和主数据。
3. 协助开发大数据集的数据管道,如操作、传感器或非结构化数据,以:
- 支持业务用例的DSAI模型/应用的实施
- 执行数据验证和质量控制检查
- 自动化模型和仪表板的定期更新
- 通过常见的分析工具(如Tableau)提供安全的数据访问
4. 识别可以自动化的数据流程和任务,以提高员工生产力。
5. 协助编制和维护数据目录,以提高对支持业务用例的数据的认识。
6. 协助通过研讨会和数据产品的共同开发来发展数据能力,促进数据驱动的文化。
7. 与利益相关者合作以了解业务需求,使用数据可视化工具设计和开发交互式仪表板,开发和维护数据管道,为仪表板创建和维护文档,与跨职能团队合作以确保数据一致性,并保持最新的数据可视化技术。
我们寻找的条件:
1. 数据科学、计算机工程、电气工程、信息系统或其他相关学科的背景,具备数据工程的能力。
2. 具备良好的Python和SQL编程和脚本编写能力。
3. 熟悉数据管理、数据架构、ETL流程(针对结构化和非结构化数据源)以及使用分布式处理框架构建数据管道,例如Cloudera Hadoop。
4. 具备以下任何领域的知识或经验是加分项:
- 在数据工程和数据架构设计与实施方面的经验,包括在架构或开发组织级别的企业数据湖或数据仓库解决方案方面的经验。
- 具有中大型数据处理管道、分布式数据存储和分布式文件系统的工作经验,特别是企业数据平台和大数据工具。
- 在政府商业云中使用的云平台经验,例如AWS和Azure- 熟练使用数据可视化工具,如Tableau、Power BI
5. 在解决问题方面具有创造性和创新性。
6. 以成就为导向,专注于交付,同时保持所需的质量。
7. 具有良好组织能力的团队合作精神。
8. 具有与结合技术、业务和数据科学能力的跨学科团队合作的经验。
9. 具备优秀的口头和书面沟通能力,能够提出想法并影响利益相关者。
关于新加坡海事及港务管理局
"新加坡海事及港务管理局(MPA)成立于1996年2月2日,使命是将新加坡发展为全球领先的枢纽港和国际海事中心(IMC),并推进和维护新加坡的战略海事利益。
MPA是新加坡港口和海事发展的推动力,承担港务局、港口监管、港口规划、IMC冠军和国家海事代表的角色。
MPA与行业和其他机构合作,以提高我们港口水域的安全性、保安性和环境保护,促进港口运营和增长,扩大海事辅助服务集群,并促进海事研发和人力发展。"