作为一名高级或领先的大数据DevOps工程师,您将与一个负责在私有和公共云环境中设置、扩展和维护大数据基础设施和工具的团队合作。
主要职责:
推动大数据基础设施的效率改进。
协调跨团队的基础设施和大数据项目。
领导与大数据相关的架构和设计工作。
确保大数据基础设施的可用性、效率和可靠性。
构建和支持运营任务的工具。
评估、设计、部署监控工具。
设计和实施灾难恢复/业务连续性实践和程序。
提供生产系统的电话支持。
要求:
7年以上使用Hadoop的经验,最好是开源版本。
3年以上领导大数据、DevOps、SRE、DBA或开发团队的经验。
有设置和运行1000个以上节点的Hadoop集群的经验。
扎实的NoSQL数据库知识,最好是Cassandra或ScyllaDB。
有运行和故障排除Kafka的经验。
至少了解以下工具之一:Terraform、Ansible、SaltStack、Puppet。
熟练掌握Shell脚本编程。
以下是一些有用的技能:
具有Prometheus的经验。
管理Snowflake的经验。
扎实的Graphite和Grafana知识。
Python或Perl脚本编程技能。
安装和管理Aerospike的经验。
具有以下数据库管理员经验之一:
PostgreSQL、MySQL、MariaDB。