职位描述
云数据平台工程师将在实施数据应用程序和平台方面发挥关键作用,利用大数据技术,如 Hadoop、Python、Java 和 Spark。该职位涉及大量的数据工程和基础设施任务,重点是在云环境中移动数据。理想的候选人将具备使用 Snowflake、Hadoop 分发平台和云数据工具的经验,使其能够设计和管理全面的数据湖解决方案。
薪资和福利
• 根据经验提供具有竞争力的薪资
• 混合工作模式(每周 3 天在办公室)
• 工作地点:新泽西州伊塞林,北卡罗来纳州夏洛特,纽约州纽约
• 提供专业发展和持续学习的机会
为什么今天申请这个职位
这个角色提供了一个独特的机会,可以在快速发展的环境中为创新的数据解决方案做出贡献。您将成为一个重视协作并鼓励成长的团队的一部分,让您能够提升技能并在云数据领域推进职业生涯。
技能要求
• 5 年以上使用大数据/Hadoop、Python/Java/Spark 全栈实施数据应用程序或平台的经验
• 具备 Hadoop 生态系统技术的经验:Hive、HDFS、MapReduce、Spark、Yarn、Kafka、Pig、HBase、Sqoop、Elastic Search、Kerberos
• 精通 ETL/ELT 工具,如 AWS Glue ETL、Talend、Datastage
• 熟悉调度工具,如 Airflow、Autosys
• 了解 CI/CD 流程和工具,如 Terraform 和 Gitlab
• 出色的文档和多任务处理能力
• 具备 Agile 方法论的工作知识
职责
• 设计、开发和交付云数据存储解决方案
• 开发从本地到云的数据迁移自动化管道
• 实施基础设施即代码的自动化例程
• 与团队合作,识别数据存储解决方案的业务需求
• 记录系统约束并评估提议的变更
• 审查技术文档并协助系统操作
• 为云平台上的新技术和现有技术提供技术领导
资格要求
• 5 年以上云数据工程或平台工程的经验
• 具备数据湖摄取、验证和转换的证明经验
• 强大的沟通能力,以便进行协作和文档编写
• 能够在动态的敏捷环境中优先处理任务
教育要求
• 计算机科学或相关学科的学士或硕士学位
教育要求凭证类别
• 计算机科学或相关领域的学士或更高学位
经验要求
• 5 年以上实施和支持大数据技术的经验
• 设计和管理云数据解决方案的经验
为什么选择在纽约市工作
纽约市是技术和创新的活力中心,提供充满网络机会和职业成长的动态工作环境。凭借其多元文化、丰富历史和无数娱乐选择,在纽约市生活和工作提供了一个独特的体验,平衡了职业抱负和生活方式的丰富。