DB / Hadoop开发人员 您的工作将是什么样的？
• 应具备在Cloudera平台上开发的实际经验。
• 开发Unix Shell脚本
• 对Hadoop技术（如Pig、Hive、HBase、HDFS、Spark）有良好的理解，能够分析Hadoop系统上的问题。
• 使用Python API（pySpark）设计、开发和实施性能优越的ETL流水线，部署在AWS EMR上，并使用TWS调度程序进行管理。
• 提供Hadoop版本升级、集群补丁安装的支持。保持集群的高性能。
• 与项目利益相关者建立合作关系，就重要决策提供技术支持。
• 使用AWS原生或自定义编程，在AWS云上设计和实施数据工程、摄取和整理功能。
• 在大数据架构中设计和构建从摄取到消费的生产数据流水线，使用Java、Python、Scala。
• 对当前状态的数据平台进行详细评估，并创建适当的过渡路径到AWS云。您所需要的只有...
• 具有Cloudera平台上Hadoop开发活动的经验。具有将Spark作业连续集成/部署到EMR集群的经验，了解在AWS EMR集群中调度Spark应用程序的知识。
• 理解Hadoop MapReduce和Apache Spark之间的区别，熟练使用Git、SVN等代码版本控制工具，设计、构建和操作大规模企业数据解决方案和应用程序，使用一个或多个AWS数据和分析服务与第三方服务（如Spark、EMR、DynamoDB、RedShift、Kinesis、Lambda、Glue、Snowflake）结合使用。
• 具有以下任何一种AWS Athena和Glue Pyspark、EMR、DynamoDB、Redshift、Kinesis、Lambda、Snowflake的经验。
• 在Linux / Unix系统上使用Hadoop工作的2年以上经验。
• 在Yarn上有丰富的经验，具有实际经验的Oozie、HCatalog。
• 与客户/运营经理有良好的沟通能力，倾听并提供答案，强大的解决问题能力，能够收集和吸收信息，愿意在轮班/延长工时工作。
所需经验
3-6年
行业类型
就业类型
永久
地点
印度
最后更新日期：2023-12-22 
洛杉矶