高级数据/软件工程师 - 后端 | 混合办公 (旧金山 / 圣塔莫尼卡 / 格伦代尔 / 西雅图) | 合同 / 仅限W2
*此职位不提供公司对公司选项或签证赞助*
Optomi与一家领先的娱乐和媒体行业企业合作,正在寻找一名高级数据/软件工程师,担任位于旧金山、圣塔莫尼卡、格伦代尔或西雅图的混合角色。该工程师将加入一个数据平台组织,负责设计和扩展大规模云数据系统,以支持高影响力、数据驱动产品的实时和批量分析。
此角色属于一个专注于构建下一代大数据平台的数据工程团队。您将与分析工程师、数据科学家、产品经理和平台团队密切合作,开发高度可靠、可扩展的数据管道和基础设施。
合适候选人将享受的内容:
• 长期合同,有可能延长和/或转正!
• 亲自掌控大规模数据平台和管道!
• 在云原生环境中使用现代大数据技术!
• 支持业务关键分析和产品的高影响力数据工作!
• 具有强大技术所有权的协作团队文化!
合适候选人的经验:
• 计算机科学、信息技术或相关STEM领域的学士学位。
• 5年以上数据工程或后端工程的专业经验。
• 精通Scala、Python和/或Java编程。
• 3年以上使用大数据技术(如Apache Spark、Hive、Airflow、Kafka和AWS大数据服务)的实际经验。
• 对分布式数据系统、数据建模和数据架构有扎实的理解。
• 具有构建可扩展、可靠的云数据管道和平台的经验。
• 良好的沟通能力和跨数据与工程团队协作的经验。
优先资格:
• 处理大规模数据集(从TB到PB范围)的经验。
• 具有使用云基础设施和编排工具(如Terraform、Kubernetes (K8s)、Spinnaker和IAM)的实际经验。
• 具有批处理和流数据管道的经验。
• 熟悉数据湖和数据仓库架构。
• 接触过基于Spring/Java的服务或API开发。
合适候选人的职责:
• 设计、构建和维护大规模批处理和流数据管道。
• 开发和优化基于Spark和Hive的数据处理作业。
• 构建和支持AWS上的云大数据基础设施。
• 确保跨平台的数据质量、可靠性、性能和可观察性。
• 与数据科学家、分析团队和产品利益相关者合作,提供数据解决方案。
• 改善平台的可扩展性、性能和成本效率。
• 贡献于工程最佳实践,包括CI/CD、自动化测试和代码审查。
我们正在寻找:
• 具有在云环境中构建和操作大规模数据平台的经验
• 对数据系统和管道有强烈的责任感。
• 能够设计、排除故障和优化复杂的分布式数据工作流。
• 对数据、可扩展性和现代数据技术充满热情。
• 敏捷思维和对持续改进的承诺。