REQ ID - 30895922
角色 - AWS云基础设施工程师
地点 - 西雅图,华盛顿州或库比蒂诺,加利福尼亚州
主要技能 - JAVA或Python,基础设施即代码和系统自动化,Apache Hadoop,Apache Spark,分布式文件系统(例如HDFS,CEPH,S3等),流式系统(例如Apache Flink,Apache Kafka),资源管理系统(例如Apache Mesos,Kubernetes),或身份和访问管理(例如Apache Ranger,Sentry,OPA)
关键资格
• 3年以上扩展和操作分布式系统的经验,如大数据处理引擎(例如Apache Hadoop,Apache Spark),分布式文件系统(例如HDFS,CEPH,S3等),流式系统(例如Apache Flink,Apache Kafka),资源管理系统(例如Apache Mesos,Kubernetes),或身份和访问管理(例如Apache Ranger,Sentry,OPA)
• 3年以上基础设施即代码和系统自动化经验
• 熟练掌握Java或类似语言
• 能够调试大规模分布式系统中的复杂问题
• 热衷于构建可靠、易于使用和易于维护的基础设施
• 出色的沟通和协作能力
• 有Spark和ETL处理流水线经验者优先,但不是必需的
• 有系统安全、身份协议和加密经验者优先,但不是必需的
职责:
· 通过自动化和基础设施即代码,在大数据环境中扩展和操作隐私和安全系统,利用Spark,Kafka,Presto,Flink,Hadoop等技术,在本地和AWS环境中
· 确保数据基础设施提供可靠的高质量数据,具有一致的SLA,具有良好的监控、警报和事件响应,并持续投资以减少技术债务
· 编写代码、文档,参与代码审查和设计会议