大数据基础架构负责人/架构师

16个月前全职
Dice

Dice

location 纽约
unsaved
Dice是每个阶段的技术专家的领先职业目标。我们的客户Virtue Group正在寻找以下职位。立即通过Dice申请! 你的工作内容 • 为实时和批处理构建大规模数据平台的组件,并拥有适应不断变化的业务需求的大数据应用的功能 • 为批处理和流数据应用构建下一代基于云的大数据基础设施,并不断提高性能、可扩展性和可用性 • 贡献最佳的工程实践,包括设计模式、CI/CD、代码审查和自动化测试的使用 • 参与开创性创新并应用最先进的技术 • 作为团队的关键成员,贡献软件生命周期的各个方面:设计、实验、实施和测试。 • 在开放和创新的环境中与项目经理、产品经理、SDET和研究人员合作 你需要具备以下条件 • 计算机科学或电子工程学士或以上学历 • 4年以上Java、Scala、Python等专业编程经验 • 3年以上大数据开发经验,熟悉Spark、Flink、Singlestore、Kafka、Nifi和AWS大数据技术等技术栈 • 系统、应用设计和架构知识 • 构建行业级高可用和可扩展服务的经验 • 对技术的热情,对跨学科工作的开放性 优选条件: • 处理PB级大量数据的经验 • 具备云基础设施技术的能力,包括Terraform、K8S、Spinnaker、IAM、ALB等 • 有ClickHouse、Druid、Snowflake、Impala、Presto、Kinesis等经验 • 熟悉常用的Web框架(React.js、Vue.js、Angular等),对Web堆栈HTML、CSS、Webpack有良好的了解 必备条件: • Scala/Java角色-几乎所有编码都是Scala-必须是Scala专家-第二选择是Java • 大数据-Spark是最受欢迎的,因为团队使用Spark和Flink • 必须具备编程经验-从软件开发角度的面向对象经验 • React是可选的,但不是必需的 批处理方面-将使用Spark编写,进行数据提取和数据清洗 必备技能集 • AWS • S3用于存储 • Spark/Scala用于处理 • Airflo • Snowflake-包括SQL知识 • Tableau/Microstrategy用于报告 大数据基础设施负责人/架构师