职位要求:
• 在大规模环境中使用Hadoop、Spark和数据处理技术担任数据工程师的经验
• 在使用Hadoop、Spark和相关工具(HDFS、Hive、Pig等)设计和开发数据基础设施方面具有丰富的专业知识
• 有使用OpenShift容器平台(OCP)和使用Kubernetes进行容器编排的经验
• 熟练掌握数据工程常用的编程语言,如Spark、Python、Scala或Java
• 了解DevOps实践、CI/CD流水线和基础设施自动化工具(如Docker、Jenkins、Ansible、BitBucket)
• 有使用Graphana、Prometheus、Splunk的经验将是一个额外的优势