高级数据工程师

洛杉矶 3天前全职 网络
1.1K - 1.3K / 年
公司简介 VERSANT 是新闻、体育和娱乐领域的领先力量,拥有标志性和值得信赖的品牌,激励、告知并愉悦观众。我们独特的内容、技术和服务组合丰富了文化结构,激发激情,引发对话,并将人们与他们最爱的事物连接在一起。 作为一家独立的上市公司,VERSANT 汇集了强大的有线网络,包括 USA Network、CNBC、MS NOW(前身为 MSNBC)、Oxygen、E!、SYFY 和 Golf Channel,以及动态的数字和直接面向消费者的品牌,如 Fandango、Rotten Tomatoes、GolfNow、GolfPass 和 SportsEngine。所有这些业务共同反映了我们在每个屏幕和服务上提供卓越体验的承诺。 VERSANT 是一家由创新和企业家精神驱动的行业变革媒体公司。凭借坚实的基础和前瞻性的愿景,VERSANT 赋予创造力,拥抱变化,并在不断发展的世界中推动连接。 职位描述 数据工程团队正在寻找一名高级数据工程师,帮助设计、构建和扩展现代数据平台,为 Versant 品牌的分析、数据科学和数据产品提供支持。在此职位中,您将与数据产品、数据科学、分析和工程团队密切合作,提供可靠、高影响力的数据解决方案,供数百名内部用户使用。我们正在寻找喜欢动手开发、对生产系统负责并通过协作和技术专长影响实施的工程师。 主要职责 • 使用 Delta Lake 设计和实施湖仓架构,包括奖章管道模式(青铜/白银/黄金)、模式强制和时间旅行 • 利用 Databricks Auto Loader、结构化流和变更数据捕获模式构建和操作批处理和实时摄取管道 • 使用 Unity Catalog、RBAC 和合规驱动的实践在敏感环境中实施数据治理和安全性 • 通过 FinOps 策略优化性能和管理成本,包括集群大小调整、工作负载标记、Spark 调优和 Photon 加速 • 使用 Databricks Workflows、Delta Live Tables 和 Airflow 等工具设计、实施和维护 CI/CD 管道和编排工作流 • 与数据科学团队合作进行 ML 工作流,包括 MLflow、特征存储集成和模型生命周期管理 • 确保媒体特定数据集(如流日志、广告展示和受众指标)的数据质量、可观察性和血统 • 通过代码审查、配对和知识共享提供技术指导 资格 资格 • 计算机科学、数据工程或同等实践经验的学士学位 • 在云环境中使用基于 Spark 的平台(例如 Databricks、EMR、Dataproc、开源 Spark)构建生产级数据管道的 5 年以上经验 • 精通 PySpark、SQL 和基于 Spark 的数据处理,具备在生产中大规模操作管道的经验 • 在使用分布式处理框架(例如 Spark、Flink)和查询引擎(如 Presto)构建批处理或流式生产数据管道方面有实践经验 • 熟练使用编排工具,如 Apache Airflow 或 Dagster,具有 CI/CD、监控、警报和生产系统数据质量的实践经验 • 具有现代数据架构经验,包括事件驱动和分布式系统 • 熟练使用 Git 和协作开发工作流 • 使用基于 Spark 的批处理和流模式(例如结构化流、CDC)构建和操作批处理和实时摄取管道,具有在 Databricks 或类似平台上的经验 • 对基础设施、网络和数据安全基础有扎实的理解 优先资格 • 在 Databricks 中构建湖仓平台和奖章管道的经验 • 熟悉 Unity Catalog、数据治理和合规框架(例如 PCI) • 具有 CI/CD 管道、编排工具和基础设施即代码的实践经验 • 具有 Lakeflow Spark 声明性管道(SDP)、MLflow、特征存储和 MLOps 实践的经验 • 在媒体和娱乐数据(例如视频元数据、广告技术、受众分析)方面的背景 • 在媒体行业内构建数据平台的经验,对受众分析有深入理解 • 具有处理大规模分析数据集(例如事件日志、点击流数据、受众指标)的经验 • 熟练使用 AI 辅助开发工具(例如 ChatGPT) • Databricks 或云认证(例如 Databricks 认证数据工程师) 你的独特之处 • 对干净、可靠和可扩展的数据系统充满热情 • 良好的沟通和协作能力 • 能够在短期交付与深思熟虑的技术设计之间取得平衡 • 好奇心和成长心态 • 团队第一的态度,支持和提升他人 附加信息 • 作为我们选择过程的一部分,候选人可能需要在纽约与 VERSANT 员工进行面对面面试。VERSANT 的政策是为所有申请人和员工提供平等的就业机会,不论种族、肤色、宗教、信仰、性别、性别认同或表达、年龄、国籍或血统、公民身份、残疾、性取向、婚姻状况、怀孕、退伍军人身份、制服服务成员、遗传信息或任何其他受适用法律保护的基础。 • 如果您是符合条件的残疾人或残疾退伍军人,并且由于您的残疾在申请和/或招聘过程中需要支持,您有权要求合理的便利。您可以将请求提交至 candidateaccessibility@versantmedia.com。 • VERSANT 致力于公平和公正的薪酬实践。我们为每个职位提供一个诚信的薪资范围,以遵守适用的州和地方薪酬透明度法律,并促进我们组织内的公平。实际薪酬将基于候选人的技能、资格、经验和地点,并可能包括健康保险、退休计划、带薪休假等额外形式的薪酬和福利。 • 薪资范围:140,000 美元 - 160,000 美元 附加信息 作为我们选择过程的一部分,外部候选人可能需要在做出聘用决定之前,在我们某个地点与 VERSANT Media 员工进行面对面面试。VERSANT Media 的政策是为所有申请人和员工提供平等的就业机会,不论种族、肤色、宗教、信仰、性别、性别认同或表达、年龄、国籍或血统、公民身份、残疾、性取向、婚姻状况、怀孕、退伍军人身份、制服服务成员、遗传信息或任何其他受适用法律保护的基础。 仅限洛杉矶县和城市居民:VERSANT Media 将根据相关法律要求,包括洛杉矶市的公平机会招聘条例、洛杉矶县雇主公平机会条例和加利福尼亚公平机会法,考虑具有犯罪历史或逮捕或定罪记录的合格申请人。 如果您是符合条件的残疾人或残疾退伍军人,并且由于您的残疾在申请和/或招聘过程中需要支持,您有权要求合理的便利。您可以将请求提交至 candidateaccessibility@versantmedia.com。 VERSANT Media 致力于公平和公正的薪酬实践。我们为每个职位提供一个诚信的薪资范围,以遵守适用的州和地方薪酬透明度法律,并促进我们组织内的公平。实际薪酬将基于候选人的技能、资格、经验和地点,并可能包括健康保险、退休计划、带薪休假等额外形式的薪酬和福利。 VERSANT Media 不接受搜索公司为此就业机会提供的未经请求的帮助。所有通过电子邮件、互联网或任何形式和/或方法提交给 VERSANT 任何员工的简历,若没有 VERSANT 人才获取团队为该职位提供的有效书面工作声明,将被视为 VERSANT 的唯一财产。如果候选人因推荐或通过其他方式被 VERSANT 雇用,将不支付任何费用。