Hadoop数据工程师职位 我们正在寻找一位有经验的Hadoop数据工程师加入我们的团队。作为一名Hadoop数据工程师，您将负责使用Spark结构化流、MapReduce和其他大数据框架设计和开发批处理和近实时数据管道。 主要职责： • 设计、开发和维护批处理和近实时数据管道。 • 从多个来源（如消息队列（Kafka）、文件共享、REST API、关系数据库）中摄取数据。 • 在HDFS Hive Impala或Spark SQL中转换、清理和验证数据。
