职位描述：
我们正在寻找一位高级Java Spark工程师，为一位非常重要的客户提供服务。
主要职责：
1. 设计和开发能够对大量数据应用复杂转换的Spark数据处理管道。
2. 帮助团队对处理大量数据的复杂Spark作业进行性能调优，以在有限的时间内完成。
3. 开发和增强通用数据处理框架，注重效率、可扩展性和代码可重用性。
4. 使用Kafka、Flink实现和优化流数据处理管道。
5. 向初级团队成员提供指导和技术指导，在数据处理和流处理方面推广最佳实践。
6. 了解Java、Spark、流处理和大数据处理、AWS服务的最新趋势和技术。
7. 主导代码审查，确保高编码标准和实践。
要求：
理想的候选人应具备以下资格：
1. 计算机科学、工程或相关领域的学士或硕士学位。
2. 在软件开发方面具有10年以上相关专业经验，专注于Java、Spark、流处理和批量高容量数据处理。
3. 在大规模数据环境中性能调优Spark作业的实际经验。
4. 在使用Kafka、Spark、Flink进行流数据技术和实时数据处理方面具有扎实的背景。
5. 具备构建通用框架/库的经验，尤其是用于数据处理。
6. 出色的问题解决能力和算法思维。
7. 具备AWS云平台和服务的经验（包括SNS、SQS、Event bridge、lambda、glue、lake formation等）。
8. 了解Docker、Kubernetes和其他容器化和编排工具。
9. 如果候选人在MLOps方面有工作经验，并具备使用供应商产品（如Sagemaker、Tecton、Feast、Databricks等）实施和管理离线/在线/内联特征存储的特定专业知识，即使在上述经验方面稍显不足，也可以申请。
必备的实际经验：
至少10年的编程经验（熟练掌握Java）
云平台 - AWS
Spark - 性能调优
机器学习运维
数据工程
附加要求：
MLOps知识
Flink
#PandoPandoLogic.，地点：Woodbridge, NJ - 07095 
纽约