高级云数据平台工程师

5个月前全职 网络
面议 Global Channel Management, Inc.

Global Channel Management, Inc.

纽约
职位描述 云数据平台工程师将在实施数据应用程序和平台方面发挥关键作用,利用大数据技术,如 Hadoop、Python、Java 和 Spark。该职位涉及大量的数据工程和基础设施任务,重点是在云环境中移动数据。理想的候选人将具备使用 Snowflake、Hadoop 分发平台和云数据工具的经验,使其能够设计和管理全面的数据湖解决方案。 薪资和福利 • 根据经验提供具有竞争力的薪资 • 混合工作模式(每周 3 天在办公室) • 工作地点:新泽西州伊塞林,北卡罗来纳州夏洛特,纽约州纽约 • 提供专业发展和持续学习的机会 为什么今天申请这个职位 这个角色提供了一个独特的机会,可以在快速发展的环境中为创新的数据解决方案做出贡献。您将成为一个重视协作并鼓励成长的团队的一部分,让您能够提升技能并在云数据领域推进职业生涯。 技能要求 • 5 年以上使用大数据/Hadoop、Python/Java/Spark 全栈实施数据应用程序或平台的经验 • 具备 Hadoop 生态系统技术的经验:Hive、HDFS、MapReduce、Spark、Yarn、Kafka、Pig、HBase、Sqoop、Elastic Search、Kerberos • 精通 ETL/ELT 工具,如 AWS Glue ETL、Talend、Datastage • 熟悉调度工具,如 Airflow、Autosys • 了解 CI/CD 流程和工具,如 Terraform 和 Gitlab • 出色的文档和多任务处理能力 • 具备 Agile 方法论的工作知识 职责 • 设计、开发和交付云数据存储解决方案 • 开发从本地到云的数据迁移自动化管道 • 实施基础设施即代码的自动化例程 • 与团队合作,识别数据存储解决方案的业务需求 • 记录系统约束并评估提议的变更 • 审查技术文档并协助系统操作 • 为云平台上的新技术和现有技术提供技术领导 资格要求 • 5 年以上云数据工程或平台工程的经验 • 具备数据湖摄取、验证和转换的证明经验 • 强大的沟通能力,以便进行协作和文档编写 • 能够在动态的敏捷环境中优先处理任务 教育要求 • 计算机科学或相关学科的学士或硕士学位 教育要求凭证类别 • 计算机科学或相关领域的学士或更高学位 经验要求 • 5 年以上实施和支持大数据技术的经验 • 设计和管理云数据解决方案的经验 为什么选择在纽约市工作 纽约市是技术和创新的活力中心,提供充满网络机会和职业成长的动态工作环境。凭借其多元文化、丰富历史和无数娱乐选择,在纽约市生活和工作提供了一个独特的体验,平衡了职业抱负和生活方式的丰富。