高级大数据工程师 (美国)

16个月前全职
Zortech Solutions

Zortech Solutions

location 纽约
unsaved
请提交一个可以进行面试的人选 职位描述 我们正在寻找一位高技能和经验丰富的高级数据工程师加入我们充满活力的团队。作为一名高级数据工程师,您将在我们的大数据项目中设计、实施和维护数据流水线和基础设施,发挥关键作用。您在Java、Python、Spark集群管理、数据科学、大数据、REST API开发方面的专业知识,以及对Databricks和Delta Lake的了解,将对推动我们的数据项目取得成功至关重要。 职责: - 使用Java、Python和Spark设计、开发和实施可扩展的数据流水线和ETL流程。 - 与数据科学家、分析师和其他利益相关者合作,了解数据需求并设计高效的解决方案。 - 管理和优化Spark集群,确保高性能和可靠性。 - 执行数据探索、数据清洗和数据转换任务,为分析和建模准备数据。 - 开发和维护数据模型和模式,支持数据集成和分析。 - 实施数据质量和验证检查,确保数据的准确性和一致性。 - 利用REST API开发技能创建和集成数据服务和端点,实现无缝数据访问和使用。 - 监控和排除数据流水线性能问题,识别和解决瓶颈和故障。 - 了解大数据、数据工程、数据科学和REST API开发领域的最新技术和趋势,并提出流程改进建议。 - 指导初级团队成员,提供技术领导力和分享最佳实践。 资格: - 计算机科学、数据科学或相关领域的硕士学位。 - 至少3年的数据工程专业经验,熟悉Java、Python、Spark和大数据技术。 - 熟练掌握Java和Python的编程技能,具备构建可扩展和易于维护代码的专业知识。 - 在Spark集群管理、优化和性能调优方面具有丰富的经验。 - 对数据科学概念有扎实的理解,并具有与数据科学家和分析师合作的经验。 - 熟练掌握SQL,具有关系数据库(如Snowflake、Delta Tables)的经验。 - 使用Flask或Spring等框架设计和开发REST API的经验。 - 熟悉基于云的数据平台(如Azure)。 - 具备数据仓库概念和工具(如Snowflake、BigQuery)的经验者优先考虑。 - 解决问题和分析能力强,能够应对复杂的数据工程挑战。 - 出色的沟通和协作能力,能够在团队环境中有效工作。 如果您是一位高度积极和熟练的高级数据工程师,对大数据、数据工程和REST API开发充满热情,我们非常希望能听到您的声音。加入我们的团队,为我们的数据驱动项目的成功做出贡献,努力在行业中产生重大影响。