职位：高级大数据工程师
地点：新泽西（混合办公）
持续时间：6个月以上
职位描述：
请推荐可以进行面试的候选人，旅行费用将由客户支付。
职位描述：
我们正在寻找一位技术高超、经验丰富的高级数据工程师加入我们充满活力的团队。作为一名高级数据工程师，您将在我们的大数据项目中设计、实施和维护数据管道和基础架构，发挥至关重要的作用。您在Java、Python、Spark集群管理、数据科学、大数据、REST API开发以及Databricks和Delta Lake方面的专业知识将对推动我们的数据项目的成功至关重要。
职责：
- 使用Java、Python和Spark设计、开发和实施可扩展的数据管道和ETL流程。
- 与数据科学家、分析师和其他利益相关者合作，了解数据需求并设计高效的解决方案。
- 管理和优化Spark集群，确保高性能和可靠性。
- 进行数据探索、数据清洗和数据转换任务，为分析和建模准备数据。
- 开发和维护数据模型和模式，支持数据集成和分析。
- 实施数据质量和验证检查，确保数据的准确性和一致性。
- 利用REST API开发技能创建和集成数据服务和端点，实现无缝的数据访问和使用。
- 监控和排除数据管道性能问题，识别和解决瓶颈和问题。
- 了解大数据、数据工程、数据科学和REST API开发的最新技术和趋势，并提出流程改进建议。
- 指导和协助初级团队成员，提供技术领导力并分享最佳实践。
资格：
- 计算机科学、数据科学或相关领域的硕士学位。
- 至少3年的数据工程专业经验，熟悉Java、Python、Spark和大数据技术。
- 在Java和Python方面具有扎实的编程能力，熟练构建可扩展和可维护的代码。
- 在Spark集群管理、优化和性能调优方面具有丰富的经验。
- 对数据科学概念有深入的理解，并具有与数据科学家和分析师合作的经验。
- 熟练掌握SQL，并具有关系型数据库（如Snowflake、Delta Tables）的经验。
- 具有使用Flask或Spring等框架设计和开发REST API的经验。
- 熟悉基于云的数据平台（如Azure）。
- 具有数据仓库概念和工具（如Snowflake、BigQuery）的经验者优先考虑。
- 具备解决复杂数据工程问题的强大问题解决和分析能力。
- 出色的沟通和协作能力，能够在团队环境中有效工作。
如果您是一名积极进取、技术高超的高级数据工程师，对大数据、数据工程和REST API开发充满热情，我们很乐意听到您的声音。加入我们的团队，为我们的数据驱动型计划的成功做出贡献，努力在行业中产生重大影响。 
纽约