Dice是每个阶段的技术专家的领先职业目标。我们的客户Virtue Group正在寻找以下职位。立即通过Dice申请!
你的工作内容
• 为实时和批处理构建大规模数据平台的组件,并拥有适应不断变化的业务需求的大数据应用的功能
• 为批处理和流数据应用构建下一代基于云的大数据基础设施,并不断提高性能、可扩展性和可用性
• 贡献最佳的工程实践,包括设计模式、CI/CD、代码审查和自动化测试的使用
• 参与开创性创新并应用最先进的技术
• 作为团队的关键成员,贡献软件生命周期的各个方面:设计、实验、实施和测试。
• 在开放和创新的环境中与项目经理、产品经理、SDET和研究人员合作
你需要具备以下条件
• 计算机科学或电子工程学士或以上学历
• 4年以上Java、Scala、Python等专业编程经验
• 3年以上大数据开发经验,熟悉Spark、Flink、Singlestore、Kafka、Nifi和AWS大数据技术等技术栈
• 系统、应用设计和架构知识
• 构建行业级高可用和可扩展服务的经验
• 对技术的热情,对跨学科工作的开放性
优选条件:
• 处理PB级大量数据的经验
• 具备云基础设施技术的能力,包括Terraform、K8S、Spinnaker、IAM、ALB等
• 有ClickHouse、Druid、Snowflake、Impala、Presto、Kinesis等经验
• 熟悉常用的Web框架(React.js、Vue.js、Angular等),对Web堆栈HTML、CSS、Webpack有良好的了解
必备条件:
• Scala/Java角色-几乎所有编码都是Scala-必须是Scala专家-第二选择是Java
• 大数据-Spark是最受欢迎的,因为团队使用Spark和Flink
• 必须具备编程经验-从软件开发角度的面向对象经验
• React是可选的,但不是必需的
批处理方面-将使用Spark编写,进行数据提取和数据清洗
必备技能集
• AWS
• S3用于存储
• Spark/Scala用于处理
• Airflo
• Snowflake-包括SQL知识
• Tableau/Microstrategy用于报告
大数据基础设施负责人/架构师