Trigyn有一个Hadoop数据工程师的合同机会。此职位将远程工作。
职位描述:
我们正在寻找一位有4-5年大数据实际经验的Hadoop数据工程师,以开发和维护Hadoop平台上的可扩展数据处理解决方案。
主要职责:
· 使用Hadoop技术设计、构建和维护稳健的数据管道和ETL工作流。
· 使用Apache Spark开发和优化大规模数据处理作业。
· 管理和处理HDFS、Hive中的结构化数据。
· 确保数据管道中的数据质量、可靠性和性能调优。
· 与分析、报告和下游应用团队密切合作。
· 使用Sqoop或Kafka支持批处理和近实时数据摄取。