概述:
我们的客户正在寻找一位积极主动的高级数据工程师,加入数据架构团队,负责设计和构建稳健可靠、可扩展的数据基础设施,支持人工智能和机器学习项目。
职责:
• 设计和构建稳健可靠、可扩展的数据基础设施,支持人工智能和机器学习项目。
• 与业务分析师和数据科学家密切合作,理解复杂的业务问题,并将其转化为技术解决方案。
• 开发和维护批处理和实时数据处理的数据流水线。
• 通过实施最佳实践和数据治理策略,确保数据质量和完整性。
• 优化数据存储,以实现高效的查询和分析。
• 与前台、中台、财务和数据治理团队的各个用户密切合作,开发报告和数据分析能力。
• 接收新增强需求,设计、开发、测试和部署前后端。
• 能够在软件堆栈的任何位置设计、开发、修改、实施和支持软件组件。
• 确定最复杂的软件问题的根本原因,并开发实用、高效和永久的技术解决方案。
• 与新兴技术和行业趋势保持最新,推动创新,保持竞争优势。
要求:
• 计算机科学或相关工程领域的学士/硕士学位。
• 5年以上数据工程经验,重点关注分析和人工智能。
• 熟练掌握编程语言,如Python、C#、Scala、Java。
• 熟悉云平台(例如AWS、Azure、GCP)及其与数据相关的服务。
• 精通关系数据库,如MS SQL,以及一种或多种非关系数据库,如Hadoop、Cassandra、MemSQL等。
• 精通数据建模、ETL开发和数据仓库。
• 有大数据工具和框架的经验(例如Hadoop、Spark)。
• 熟悉机器学习框架和库。
• 较强的分析和解决问题的能力。
• 有分布式系统架构构建经验。
• 有成功交付给客户的24x7关键系统构建经验。
• 有干净编码、面向测试的开发等软件工程最佳实践经验,包括编码标准、代码审查、源代码管理、构建流程、测试和运维。
• 理解各种金融数据领域,如参考数据、交易数据、市场数据、衍生数据(如曲线、波动率结构)等。
• 有与前台、中台、风险管理职能领域合作的经验。
• 有出色的组织和时间管理能力。
• 优秀的书面和口头沟通能力。
• 能够在履行职责时行使自由裁量权和独立判断能力。
• 出色的沟通和协作能力。