卡夫卡开发者

迪拜 无个税2天前全职 网络
面议
设计、开发和实施基于Kafka的解决方案以满足业务需求,利用Confluent Control Center、KSQLDB、Kafka Streams和Kafka Connect。编写和维护高质量的代码用于Kafka生产者、消费者和流处理应用程序。开发和管理Kafka连接器以实现与外部系统的无缝集成,确保数据一致性和可靠性。利用Kafka Streams进行实时流数据处理,在数据通过管道时进行转换和丰富。使用KSQLDB进行流处理任务,包括实时分析和转换。与数据工程师、软件开发人员和DevOps团队合作,将Kafka解决方案与现有系统集成。确保所有基于Kafka的解决方案具有可扩展性、安全性和性能优化。监控和维护Kafka集群,包括Confluent Control Center等组件,以确保数据流服务的高可用性和可靠性。排查和解决与Kafka性能、延迟和数据完整性相关的问题,包括Kafka Streams、KSQLDB和Kafka Connect的特定问题。执行例行维护任务,如修补、升级和备份Kafka集群及相关组件。实施监控解决方案以主动识别和缓解潜在的生产问题,利用Confluent Control Center实现全面的集群可视化。为生产系统提供24/7支持,包括参与值班轮换。熟练掌握Java、Python或Scala等编程语言。对Kafka内部机制有深入了解,包括代理、zookeeper、主题、分区和偏移量。具有使用监控工具(如Prometheus、Grafana)和日志框架(如Log4j、ELK Stack)的经验。熟练使用Confluent Control Center进行Kafka集群的监控、管理和优化。精通Kafka Streams用于构建可扩展、容错的流处理应用程序。具有使用KSQLDB进行Kafka主题实时处理和分析的经验。对Kafka Connect用于将Kafka与外部数据源和接收器集成有深入理解。了解与Kafka相关的网络、安全和合规性方面。熟悉CI/CD管道和自动化工具(如Jenkins、GitLab CI)。拥有计算机科学、信息技术或相关领域的学士学位。在生产环境中有3年以上Apache Kafka和Confluent Kafka的实际经验,包括使用Confluent Control Center、KSQLDB、Kafka Streams和Kafka Connect的经验。具有Kafka开发的成熟经验,包括生产者和消费者API、流处理和连接器开发。具有Kafka集群管理的经验,包括设置、配置、监控和故障排除。熟悉分布式系统、微服务架构和事件驱动的设计模式。有云平台(如AWS、Azure)和容器化(Kubernetes)经验者优先。