数据工程师

新加坡 29天前全职 网络
面议
准备好进入对冲基金的精彩世界了吗?我们正在寻找一位有才华且有动力的**数据工程师**,拥有3-4年的经验,成为我们客户团队的重要成员。 在这个角色中,您将是设计、构建和优化数据管道和基础设施的幕后策划者,这些数据管道和基础设施支持我们最前沿的量化和投资策略。可以将其视为我们数据宇宙的架构师,您构建的每个部分都对高风险决策产生直接影响。 • **主要职责**: - **数据管道开发**:设计、开发和维护强大且可扩展的数据管道,以从多个来源摄取、清理和转换大量结构化和非结构化数据。确保数据的可用性、可靠性和一致性,以供下游分析和建模使用。 - **数据集成和存储**:实施高效的数据集成解决方案,以连接各种内部和外部数据源。构建和优化数据存储系统,包括数据湖、数据仓库和实时流平台。 - **性能优化**:监控和改进ETL流程和数据库系统的性能,以最小化延迟并最大化吞吐量。确保数据基础设施的高可用性和容错性。 - **与团队合作**:与量化分析师、投资组合经理和数据科学家密切合作,了解他们的数据需求并提供量身定制的解决方案。与IT和DevOps团队合作,在生产环境中部署和维护基础设施。 - **数据质量和治理**:建立和执行数据质量和验证流程,以确保准确性和完整性。实施数据治理实践,以保持对监管要求的合规性。 - **技术探索**:保持对数据工程技术和工具最新进展的了解。评估并推荐新技术,以增强基金的数据能力。 • **资格要求**: - **教育背景**:计算机科学、工程、数据科学或相关领域的学士或硕士学位。 - **经验**:3-4年数据工程的实际经验,最好是在金融服务或对冲基金行业。 • **技术技能**: - 精通Python、Java或Scala等编程语言。 - 拥有SQL和数据库技术(如PostgreSQL、MySQL或Snowflake)的丰富经验。 - 拥有大数据工具(如Hadoop、Spark)和云平台(如AWS、Azure、GCP)的实际经验。 - 具有使用数据管道工具(如Apache Airflow、Luigi或类似框架)的经验。 - 熟悉实时流技术,如Kafka或Kinesis。 - 了解数据建模、仓储概念和ETL最佳实践。 • **优先资格**: - 在对冲基金或金融服务行业的经验是非常理想的。 - 了解金融数据集和市场数据提供商(如Bloomberg、Refinitiv)。熟悉机器学习工作流程并将AI/ML模型集成到数据管道中。