我们正在寻找一位经验丰富的专业人士,领导我们的大数据工程工作。
• 开发并实施用于实时和批处理的大规模数据平台。
• 负责大数据应用程序的功能,以满足不断变化的业务需求。
• 构建下一代基于云的大数据基础设施,用于批处理和流处理数据应用。
• 提高性能、可扩展性和可用性。
• 参与最佳工程实践,包括设计模式、持续集成/持续交付、代码审查和自动化测试。
• 应用最先进的技术以推动创新。
• 与跨职能团队合作,包括项目经理、产品经理、软件开发工程测试人员和研究人员。
要求
• 5年以上Java、Scala、Python或类似语言的专业编程经验。
• 3年以上使用技术栈(如Spark、Flink、Singlestore、Kafka、NiFi和AWS大数据技术)进行大数据开发的经验。
• 具备系统、应用设计和架构的知识。
• 有构建高可用性和可扩展服务的经验。
• 对技术充满热情,愿意进行跨学科工作。
优先资格
• 有处理PB级大量数据的经验。
• 在云基础设施技术方面有证明能力,包括Terraform、K8S、Spinnaker、IAM、ALB和类似工具。
• 有使用ClickHouse、Druid、Snowflake、Impala、Presto、Kinesis等相关技术的经验。
• 有使用广泛的Web框架(如SpringBoot、Angular和React)的经验。