角色：大数据和Hadoop工程师
经验：10年以上
工作地点：加州，阳光城（现场）
合同
工作描述
具有10年的专业经验，涉及软件分析、设计、开发、部署和维护以及大数据应用软件。
具有在Iceberg、Tableau、Kafka、Superset、Druid、Hive metastore、apache、ranger、security、AWS等主要组件上实施大数据的经验。
具有创建Iceberg表并从不同文件格式加载数据的经验。
具有使用Sqoop将数据导入和导出到Hive和HDFS的经验。
具有使用Apache Kafka的Producer和Consumer API的经验。
熟练将Kafka与Spark Streaming集成，以实现更快的数据处理。
具有使用Spark Streaming编程模型进行实时数据处理的经验。
具有处理文本文件、序列文件、JSON、Parquet、ORC等文件格式的经验。
广泛使用Apache Kafka收集集群中的日志和错误消息。
对分布式计算和并行处理框架有深入的了解和理解。具有使用Hive Megastore进行分析的经验。
具有Superset、Druid的经验。
具有使用EC2（弹性计算云）集群实例、在S3（简单存储服务）上设置数据桶、设置EMR（弹性MapReduce）的经验。具有在Tableau上工作的经验，并从中启用了与Hive Metastore的JDBC/ODBC数据连接。
熟悉像GIT这样的版本控制系统。
对UNIX/LINUX命令有深入的了解。
对Python脚本语言有足够的了解。
对Scrum、敏捷和瀑布方法论有足够的了解。
高度积极和致力于最高水平的专业精神。
具有出色的书面和口头沟通能力。能够迅速学习和适应新兴技术和范例。
Diverse Lynx LLC是一个平等就业机会雇主。所有合格的申请人都将获得平等的就业机会，不受任何歧视。所有申请人将仅根据他们的能力、能力和在相应角色中执行职能的能力进行评估。我们在公司的所有层级上推广和支持多元化的劳动力。 
旧金山