角色:具有流处理或Flink经验的数据工程师
地点:加利福尼亚州山景城/加利福尼亚州圣地亚哥(现场)
期限:长期
面试次数:2次(1次视频面试,2次现场面试)
职位描述–
必须具备:
Apache Flink或流处理经验的专业知识
Java编程技能
流处理和批处理的知识
具有使用Apache Kafka的经验
在Apache Flink生产Java或Scala项目中的验证经验
关系数据库的知识
了解类似AWS Athena的MPP
了解HIVE
AWS云服务的经验
工作职责:
编写新的数据管道
调试和优化现有的数据管道
分析资源消耗高或执行时间长的管道,并根据需要进行优化
实施自动化管道管理和可观察性指标设置
收集需求,进行高层设计,实施(编码)并在高数据增长环境中交付高效且可扩展的数据仓库解决方案
监督与编码、单元测试、系统测试相关的团队活动,解决系统测试期间出现的缺陷,并在需要时部署缺陷修复
加分项:
熟悉大数据技术,如Spark、Hive
熟悉CI/CD和基础开发运维
熟悉Shell脚本编写