职位标题 - 领导Hadoop管理员
客户名称:Visa
办公地点:加利福尼亚州福斯特城(现场)
持续时间-首先为期6个月,可能会延长。
链接
要求:
• 基本到中级的Spark经验
• 熟练掌握SQL。应能理解和实施性能优化。
• 内存管理经验
• 在Hadoop/Cloud era环境中的队列分配和分发经验
• 应能在生产环境中扩展集群,并具备18/5或24/5生产环境的经验。
• 熟练掌握一种编程语言。
• 熟悉Hive和Hadoop系统,具备监控工具的使用经验。Sqoop,Oozie和其他外部工具。
• 熟悉补丁升级。
领导Hadoop管理员所需的关键技能:
• Hadoop(最好是Hortonworks/Open Distribution),HDFS,Hive,Kafka,Spark,Oozie/Airflow,HBase
• 熟练掌握SQL和HQL
• 对Linux有扎实的理解,具备脚本编写技能将是优势
• 熟悉Kerberos,TLS,Ranger和数据加密