主要技能要求:领先的Hadoop管理员
• Hadoop(最好是Hortonworks/Open Distribution),HDFS,Hive,Kafka,Spark,Oozie/Airflow,HBase
• SQL和HQL的中级熟练程度
• 对Linux和脚本技能有扎实的理解将是有利的
• 有Kerberos、TLS、Ranger和数据加密的经验
• 基本到中级的Spark经验
• 熟练掌握SQL。应该能够理解和实施性能优化。
• 内存管理经验
• 在Hadoop/Cloudera环境中具有队列分配和分发经验
• 应该能够在生产中扩展集群,并具有18/5或24/5生产环境的经验。
• 熟练掌握一种编程语言。
• 熟悉具有监控工具的Hive和Hadoop系统。Sqoop,Oozie和其他外部工具。
• 熟悉补丁升级。