由于Caspian One咨询部门的持续成功,我正在与纽约的一家一流投资银行合作。
寻找有经验的数据工程师,对设计和构建实时大数据流架构充满热情?无论您是寻找下一个令人兴奋的项目加入一个经验丰富的团队,还是准备承担领导角色,我都在寻找一名数据工程师加入一个充满活力的环境,在一家顶级投资银行执行尖端数据流水线。
您将与团队合作(或希望带领团队),在基于Java的环境中处理极高的数据量和低延迟,实现您的数据流水线愿景。
构建和管理:基于Kafka和Flink的流数据平台,支持各种美国监管义务的解决方案,以及在Azure云上构建和管理美国数据仓库和Lake House。
所需经验:
• 在分布式系统上担任实际数据工程师的经验7年以上
• 熟练掌握Kafka、Spark Streaming、Flink或类似平台
• 精通开发高度可扩展和高效的核心Java应用程序
• 有数据仓库和分析环境的经验
• 能够对数据建模并构建优化的模式
• 熟悉Oracle/SQL Server
• 熟悉Lake House和大数据解决方案(Spark/Azure/Databricks)
• 有Databricks、Structured Streaming的经验
这是一个现场机会,每周提供最多2天的远程工作能力。