高级数据工程师

15个月前全职
Hedge Fund Client

Hedge Fund Client

location 纽约
unsaved
概述: 我们的客户正在寻找一位积极主动的高级数据工程师,加入数据架构团队,负责设计和构建稳健可靠、可扩展的数据基础设施,支持人工智能和机器学习项目。 职责: • 设计和构建稳健可靠、可扩展的数据基础设施,支持人工智能和机器学习项目。 • 与业务分析师和数据科学家密切合作,理解复杂的业务问题,并将其转化为技术解决方案。 • 开发和维护批处理和实时数据处理的数据流水线。 • 通过实施最佳实践和数据治理策略,确保数据质量和完整性。 • 优化数据存储,以实现高效的查询和分析。 • 与前台、中台、财务和数据治理团队的各个用户密切合作,开发报告和数据分析能力。 • 接收新增强需求,设计、开发、测试和部署前后端。 • 能够在软件堆栈的任何位置设计、开发、修改、实施和支持软件组件。 • 确定最复杂的软件问题的根本原因,并开发实用、高效和永久的技术解决方案。 • 与新兴技术和行业趋势保持最新,推动创新,保持竞争优势。 要求: • 计算机科学或相关工程领域的学士/硕士学位。 • 5年以上数据工程经验,重点关注分析和人工智能。 • 熟练掌握编程语言,如Python、C#、Scala、Java。 • 熟悉云平台(例如AWS、Azure、GCP)及其与数据相关的服务。 • 精通关系数据库,如MS SQL,以及一种或多种非关系数据库,如Hadoop、Cassandra、MemSQL等。 • 精通数据建模、ETL开发和数据仓库。 • 有大数据工具和框架的经验(例如Hadoop、Spark)。 • 熟悉机器学习框架和库。 • 较强的分析和解决问题的能力。 • 有分布式系统架构构建经验。 • 有成功交付给客户的24x7关键系统构建经验。 • 有干净编码、面向测试的开发等软件工程最佳实践经验,包括编码标准、代码审查、源代码管理、构建流程、测试和运维。 • 理解各种金融数据领域,如参考数据、交易数据、市场数据、衍生数据(如曲线、波动率结构)等。 • 有与前台、中台、风险管理职能领域合作的经验。 • 有出色的组织和时间管理能力。 • 优秀的书面和口头沟通能力。 • 能够在履行职责时行使自由裁量权和独立判断能力。 • 出色的沟通和协作能力。