Kafka 开发工程师

新加坡 5个月前合同 网络
5.3万 - 7.8万 / 月
我们的客户,亚太地区领先的组织之一,正在寻找: Kafka 开发工程师 职责 • 设计并实施基于 Kafka Streams 和 KSQL 的实时数据处理转换。 • 使用 Kafka Connect、Debezium 或自定义连接器开发和维护 CDC 管道。 • 处理来自大型关系数据集的初始数据加载,通过手动导出确保无缝过渡到增量 CDC。 • 处理复杂的关系模式,包括: • 没有主键的表 • 有/没有约束的表 • 优化数据摄取和转换管道,以提高性能、可靠性和可扩展性。 • 与数据架构师、数据库管理员和应用团队合作,确保数据的完整性和一致性。 • 记录技术设计、数据流图和操作程序。 • 与跨职能团队和利益相关者有效沟通。 要求 • 具备 Apache Kafka、Kafka Streams 和 KSQL 的强大实践经验。 • 熟练掌握 Kafka Connect 和 CDC 工具(Debezium、Confluent)。 • 深入理解 Oracle、MS SQL Server 和 PostgreSQL 的内部结构及模式设计。 • 有处理非标准表结构和解决 CDC 复制挑战的经验。 • 熟悉手动数据导出/导入策略及其在流管道中的集成。 • 具备数据序列化格式(Avro、JSON、Protobuf)的深入知识。 • 有使用 Java 或 Scala 进行自定义 Kafka 开发的经验。 ----------------------------------------------------------------------------------------------------- 有意申请者也可以将简历发送至 vimmi@nsearchglobal.com(为了更快处理,请注明申请的具体职位名称“Kafka 开发工程师”) 仅会通知入围的候选人。 ----------------------------------------------------------------------------------------------------- EA 许可证号码:10C3636 EA 人员姓名:Vimmi Baunthiyal EA 人员注册号码:R1543982