高级大数据工程师

16个月前远程全职
65 USD Dice

Dice

location 洛杉矶
unsaved
Dice是每个阶段的技术专家的领先职业目的地。我们的客户,Cloudious LLC,正在寻找以下职位。立即通过Dice申请! 职位:高级大数据工程师 地点:新泽西州(混合) 时薪:65美元 请提交能够参加面试的人员 职位描述: 我们正在寻找一位技术娴熟、经验丰富的高级数据工程师加入我们充满活力的团队。作为一名高级数据工程师,您将在我们的大数据项目中设计、实施和维护数据管道和基础设施,起着至关重要的作用。您在Java、Python、Spark集群管理、数据科学、大数据、REST API开发以及Databricks和Delta Lake方面的专业知识将对推动我们的数据项目的成功起到至关重要的作用。 职责: • 使用Java、Python和Spark设计、开发和实施可扩展的数据管道和ETL流程。 • 与数据科学家、分析师和其他利益相关者合作,了解数据需求并设计高效的解决方案。 • 管理和优化Spark集群,确保高性能和可靠性。 • 执行数据探索、数据清洗和数据转换任务,为分析和建模准备数据。 • 开发和维护数据模型和架构,支持数据集成和分析。 • 实施数据质量和验证检查,确保数据的准确性和一致性。 • 利用REST API开发技能创建和集成数据服务和终端点,实现无缝数据访问和使用。 • 监控和排查数据管道性能,识别和解决瓶颈和问题。 • 了解大数据、数据工程、数据科学和REST API开发的最新技术和趋势,并提出流程改进的建议。 • 指导和指导初级团队成员,提供技术领导力并分享最佳实践。 资格: • 计算机科学、数据科学或相关领域的硕士学位。 • 至少3年的数据工程专业经验,熟练使用Java、Python、Spark和大数据技术。 • 在Java和Python方面具有强大的编程能力,具备构建可扩展和可维护代码的专业知识。 • 在Spark集群管理、优化和性能调优方面有丰富的经验。 • 对数据科学概念有扎实的理解,并有与数据科学家和分析师合作的经验。 • 熟练掌握SQL,并具有关系数据库(例如Snowflake、Delta Tables)的经验。 • 使用Flask或Spring等框架设计和开发REST API的经验。 • 熟悉基于云的数据平台(例如Azure)。 • 具备数据仓库概念和工具(例如Snowflake、BigQuery)的经验者优先考虑。 • 解决复杂数据工程挑战的强大问题解决和分析能力。 • 出色的沟通和协作能力,能够在团队合作的环境中有效工作。 如果您是一位积极上进、技术娴熟的高级数据工程师,对大数据、数据工程和REST API开发充满热情,我们非常期待收到您的来信。加入我们的团队,为我们的数据驱动型项目的成功做出贡献,努力在行业中产生重要影响。