[职位描述]
您将成为数字工厂的重要成员。数字工厂开发和运营数字和网络产品,并将研发项目转化为适用于海事行业的实际应用。
作为数据工程师,您将支持以可扩展、可重复和安全的方式收集、存储和分析数据。此外,您还将:
• 进行利益相关者参与、开发、实施和维护数据收集、存储、访问和分析系统的工作。
• 实施数据管道,提取可以在数据科学和人工智能(DSAI)应用中利用的运营和传感器数据。
• 开发和管理数据架构的持续改进,并确保与业务需求、数据管理和治理政策保持一致。
• 参与评估可能技术的优势和劣势,并推荐最符合组织需求的解决方案。
• 设计、开发和维护交互式仪表板,提供洞察和数据可视化以支持业务决策。
[您将从事的工作]
1. 与业务用户和数据科学团队密切合作,确定可以帮助实现业务目标的相关数据,例如用于政策制定和运营/流程优化的分析。
2. 支持数据架构框架、标准和原则的设计和定义,包括建模、元数据、隐私、安全、参考数据和主数据。
3. 协助开发用于大型数据集(如运营、传感器或非结构化数据)的数据管道,以实现以下目标:
• 支持业务用例的DSAI模型/应用的实施
• 执行数据验证和质量控制检查
• 自动化模型和仪表板的定期更新
• 通过Tableau等常用分析工具提供安全访问数据
4. 确定可以自动化的数据流程和任务,以提高工作效率。
5. 协助编制和维护数据目录,以增加对支持业务用例的可用数据的认识。
6. 协助开发数据能力,促进数据驱动文化,通过研讨会和共同开发数据产品。
7. 与利益相关者合作,了解业务需求,使用数据可视化工具设计和开发交互式仪表板,开发和维护数据管道,创建和维护仪表板文档,与跨职能团队合作以确保数据一致性,并及时了解最新的数据可视化技术。
[我们寻找的人才]
• 数据科学、计算机工程、电气工程、信息系统或其他相关学科背景,具备数据工程方面的能力。欢迎应届毕业生申请。
• 熟练使用Python和SQL进行编码和脚本编写。
熟悉数据管理、数据架构、ETL流程(用于结构化和非结构化数据源)以及使用分布式处理框架(如Cloudera Hadoop)构建数据管道。
• "以下任何领域的知识或经验都是加分项:
• 数据工程和数据架构设计与实施的经验,包括在架构或开发组织级企业数据湖或数据仓库解决方案方面的经验。
• 有中大型数据处理管道、分布式数据存储和分布式文件系统的工作经验,尤其是企业数据平台和大数据工具。
• 在政府商业云平台(如AWS和Azure)中使用云平台的经验。
• 熟练使用Tableau、Power BI等数据可视化工具"
• 在解决问题方面具有创造力和创新能力。
• 以成就为驱动,注重交付,同时保持所需的质量。
• 具备团队合作精神和较强的组织能力。
• 有与结合技术、业务和数据科学能力的跨学科团队合作的经验。
• 具备优秀的口头和书面沟通能力,能够推销想法并影响利益相关者。