职位名称：Confluent Kafka 工程师 - 开发、UAT 和生产支持
工作地点：阿布扎比
职位概要
我们正在寻找一名技术娴熟的 Confluent Kafka 工程师加入我们充满活力的团队。理想的候选人将负责我们基于 Confluent Kafka 系统的开发、用户验收测试（UAT）和生产支持。此角色需要对 Kafka 架构有深入的专业知识，包括 Confluent 控制中心、KSQLDB、Kafka Streams 和 Kafka Connect。工程师将与跨职能团队密切合作，以确保我们的数据流服务的顺利运行，并在各种环境中提供支持。
经验
• 在生产环境中有 3 年以上使用 Apache Kafka 和 Confluent Kafka 的实际经验，包括使用 Confluent 控制中心、KSQLDB、Kafka Streams 和 Kafka Connect 的经验。
• 具有 Kafka 开发的丰富经验，包括生产者和消费者 API、流处理和连接器开发。
• 具有 Kafka 集群管理经验，包括设置、配置、监控和故障排除。
• 熟悉分布式系统、微服务架构和事件驱动的设计模式。
• 有云平台（如 AWS、Azure）和容器化（Kubernetes）经验者优先。
技术技能
• 熟练掌握 Java、Python 或 Scala 等编程语言。
• 对 Kafka 内部机制有深入了解，包括代理、zookeeper、主题、分区和偏移量。
• 具有使用监控工具（如 Prometheus、Grafana）和日志框架（如 Log4j、ELK Stack）的经验。
• 熟练使用 Confluent 控制中心监控、管理和优化 Kafka 集群。
• 具备使用 Kafka Streams 构建可扩展、容错流处理应用程序的专业知识。
• 具有使用 KSQLDB 在 Kafka 主题上进行实时处理和分析的经验。
• 深刻理解 Kafka Connect 用于将 Kafka 与外部数据源和接收器集成。
• 理解与 Kafka 相关的网络、安全和合规性方面。
• 熟悉 CI/CD 管道和自动化工具（如 Jenkins、GitLab CI）。
开发
主要职责：
• 设计、开发和实施基于 Kafka 的解决方案以满足业务需求，利用 Confluent 控制中心、KSQLDB、Kafka Streams 和 Kafka Connect。
• 编写和维护高质量的 Kafka 生产者、消费者和流处理应用程序代码。
• 开发和管理 Kafka 连接器，以实现与外部系统的无缝集成，确保数据一致性和可靠性。
• 利用 Kafka Streams 实时处理流数据，在数据通过管道时进行转换和丰富。
• 使用 KSQLDB 执行流处理任务，包括实时分析和转换。
• 与数据工程师、软件开发人员和 DevOps 团队合作，将 Kafka 解决方案与现有系统集成。
• 确保所有基于 Kafka 的解决方案具有可扩展性、安全性，并针对性能进行了优化。
用户验收测试（UAT）
• 制定和执行 UAT 计划，以验证 Kafka 解决方案，包括 Kafka Streams、KSQLDB 和 Kafka Connect 等组件，在部署到生产环境之前。
• 与 QA 团队密切合作，在 UAT 阶段识别和解决缺陷。
• 确保所有 UAT 活动符合组织的标准和最佳实践。
• 提供详细的 UAT 结果报告，并与开发人员合作实施必要的修复。
生产支持
• 监控和维护 Kafka 集群，包括 Confluent 控制中心等组件，以确保数据流服务的高可用性和可靠性。
• 排查和解决与 Kafka 性能、延迟和数据完整性相关的问题，包括 Kafka Streams、KSQLDB 和 Kafka Connect 的特定问题。
• 执行例行维护任务，例如对 Kafka 集群及相关组件进行补丁、升级和备份。
• 实施监控解决方案，以主动识别和缓解潜在的生产问题，利用 Confluent 控制中心实现全面的集群可见性。
• 为生产系统提供 24/7 支持，包括参与值班轮换。
资格
教育背景：计算机科学、信息技术或相关领域的学士学位。
