我正在为我的客户招聘一名高级数据工程师,他们是一家D轮初创公司,被评为TIME100最有影响力的公司之一。他们通过提供资金、洞察力和合作伙伴关系来帮助YouTube创作者扩大业务规模,并为每个创作者提供创作者友好的增长资本,以满足他们的需求,例如雇佣团队或建立制作工作室,同时创作者保持对内容和收益的控制。他们还为创作者提供详细的内容表现洞察,帮助他们最大化他们的视频库和未来的上传价值。
这家公司曾在《福布斯》、《快公司》、《综艺》和《Axios》等出版物中亮相,已向YouTube创作者投入超过7.4亿美元,授权了超过60万个视频的广泛目录,每月观看时间达到880亿分钟,为广告商和广告代理商提供了独特的媒体解决方案,以其透明度和效率而闻名。
作为一名高级数据工程师,您将使用Spark和您的软件/数据工程专业知识来扩展他们的大数据平台。职责包括构建可扩展的ETL流水线、数据质量检查、创建增强型数据集、利用分析工具、故障排除、自动化流水线、设置分析表和提高AWS数据质量。此外,您还将有机会指导初级团队成员。
要求:
• 5年以上的软件工程经验
• 3年以上的Apache Spark数据工程经验(包括最近2年)
• 3年以上的云服务经验
• 熟练掌握DataFrame API(Pandas和Spark)用于并行和单节点处理
• 熟练使用Python或Scala等编程语言
• 熟练掌握SQL,特别是Redshift
我的客户提供全面的福利包,包括100%的医疗、牙科和视觉保险,401(k)匹配,股票期权和免费健身房使用权。
立即申请以了解更多信息。