职位标题：具有Azure的大数据工程师
地点：新泽西/泽西城
持续时间：6个月以上
经验：10年以上
薪资：每小时50美元至57美元
职位描述
我们正在寻找一位技术娴熟、经验丰富的高级数据工程师加入我们充满活力的团队。作为一名高级数据工程师，您将在我们的大数据项目中设计、实施和维护数据管道和基础设施，发挥关键作用。您在Java、Python、Spark集群管理、数据科学、大数据、REST API开发以及对Databricks和Delta Lake的了解将在推动我们的数据项目成功方面发挥重要作用。
职责
• 使用Java、Python和Spark设计、开发和实施可扩展的数据管道和ETL流程。
• 与数据科学家、分析师和其他利益相关者合作，了解数据需求并设计高效的解决方案。
• 管理和优化Spark集群，确保高性能和可靠性。
• 进行数据探索、数据清洗和数据转换任务，为分析和建模准备数据。
• 开发和维护数据模型和模式，支持数据集成和分析。
• 实施数据质量和验证检查，确保数据的准确性和一致性。
• 利用REST API开发技能创建和集成数据服务和端点，实现无缝的数据访问和使用。
• 监控和排除数据管道性能问题，识别和解决瓶颈和问题。
• 了解大数据、数据工程、数据科学和REST API开发的最新技术和趋势，并提出流程改进建议。
• 指导和引导初级团队成员，提供技术领导力并分享最佳实践。
资格
• 计算机科学、数据科学或相关领域的硕士学位。
• 至少3年的数据工程专业经验，熟练使用Java、Python、Spark和大数据技术。
• 在Java和Python方面具备较强的编程能力，擅长构建可扩展和可维护的代码。
• 在Spark集群管理、优化和性能调优方面具有丰富经验。
• 对数据科学概念有扎实的理解，并有与数据科学家和分析师合作的经验。
• 熟练掌握SQL，并具有关系数据库（例如Snowflake、Delta Tables）的经验。
• 具有使用Flask或Spring等框架设计和开发REST API的经验。
• 熟悉基于云的数据平台（例如Azure）。
• 具有数据仓库概念和工具（例如Snowflake、BigQuery）的经验者优先考虑。
• 出色的问题解决和分析能力，能够应对复杂的数据工程挑战。
• 优秀的沟通和协作能力，能够在团队合作的环境中有效工作。
WRW | 女性回归工作计划由eStaffing Inc.推出。
欢迎加入WRW，这是eStaffing Inc.为赋予女性职业发展和重新启动而设立的一个计划。在eStaffing Inc.，我们认识到女性在回归工作或职业发展方面面临的挑战，并致力于弥合这一差距。
加入我们的“免费培训”计划，进行职业发展、远程工作机会、职业重新启动、专业发展等。
关注我们-https://www.linkedin.com/company/wrw-women-return-to-work 
纽约