我们的客户,亚太地区领先的组织之一,正在寻找:
Kafka 开发工程师
职责
• 设计并实施基于 Kafka Streams 和 KSQL 的实时数据处理转换。
• 使用 Kafka Connect、Debezium 或自定义连接器开发和维护 CDC 管道。
• 处理来自大型关系数据集的初始数据加载,通过手动导出确保无缝过渡到增量 CDC。
• 处理复杂的关系模式,包括:
• 没有主键的表
• 有/没有约束的表
• 优化数据摄取和转换管道,以提高性能、可靠性和可扩展性。
• 与数据架构师、数据库管理员和应用团队合作,确保数据的完整性和一致性。
• 记录技术设计、数据流图和操作程序。
• 与跨职能团队和利益相关者有效沟通。
要求
• 具备 Apache Kafka、Kafka Streams 和 KSQL 的强大实践经验。
• 熟练掌握 Kafka Connect 和 CDC 工具(Debezium、Confluent)。
• 深入理解 Oracle、MS SQL Server 和 PostgreSQL 的内部结构及模式设计。
• 有处理非标准表结构和解决 CDC 复制挑战的经验。
• 熟悉手动数据导出/导入策略及其在流管道中的集成。
• 具备数据序列化格式(Avro、JSON、Protobuf)的深入知识。
• 有使用 Java 或 Scala 进行自定义 Kafka 开发的经验。
-----------------------------------------------------------------------------------------------------
有意申请者也可以将简历发送至 vimmi@nsearchglobal.com(为了更快处理,请注明申请的具体职位名称“Kafka 开发工程师”)
仅会通知入围的候选人。
-----------------------------------------------------------------------------------------------------
EA 许可证号码:10C3636
EA 人员姓名:Vimmi Baunthiyal
EA 人员注册号码:R1543982