Hadoop数据工程师

新加坡 5天前合同 网络
面议
Trigyn有一个Hadoop数据工程师的合同机会。此职位将远程工作。 职位描述: 我们正在寻找一位有4-5年大数据实际经验的Hadoop数据工程师,以开发和维护Hadoop平台上的可扩展数据处理解决方案。 主要职责: · 使用Hadoop技术设计、构建和维护稳健的数据管道和ETL工作流。 · 使用Apache Spark开发和优化大规模数据处理作业。 · 管理和处理HDFS、Hive中的结构化数据。 · 确保数据管道中的数据质量、可靠性和性能调优。 · 与分析、报告和下游应用团队密切合作。 · 使用Sqoop或Kafka支持批处理和近实时数据摄取。