大数据工程师

16个月前全职
117K - 234K USD / 年 Walmart

Walmart

location 旧金山
unsaved
职位概述... 你将会做什么 职位概述 在沃尔玛,我们帮助人们省钱,让他们过得更好。这个使命是我们做出每一个决策的基础,驱使我们创造零售业的未来。 没有最好的人才,我们就无法做到这一点——这些人才要具有创新、好奇和创造卓越体验的驱动力,为我们的客户创造卓越体验。 你是否拥有无限的精力和对工程数据的激情,用于解决塑造零售业未来的动态问题? 沃尔玛的环境规模之大带来了最大规模的大数据集。作为沃尔玛市场部的数据工程师,你将深入挖掘我们庞大的数据规模,通过构想、开发和维护数据管道,帮助释放零售数据科学的力量,供数据科学家和分析师依赖。 你将负责为复杂数据转换的编排层做出贡献,将原始数据从源头精炼为有针对性、有价值的数据资产,以便以受控的方式进行使用。 你将与数据科学家、分析师、其他工程师和业务利益相关者合作,解决复杂而激动人心的挑战,以便我们可以建立能够改变零售业务模式并对我们的客户和卖家生活产生积极影响的能力。 关于数据和客户分析(DCA)组织: 我们的组织专注于管理和交付世界一流的数据资产,包括创建和维护数据标准、推动政策合规、创建合作伙伴关系以及开发管道和自助工具。 我们赋予业务能力,利用数据推动增长,推动我们核心业务的收入增长,并构建新的商业模式机会。 你将会做什么: • 你将使用尖端的数据工程技术创建关键数据集,并深入挖掘我们庞大的数据规模,通过构想、开发和维护数据管道,帮助释放数据科学的力量,供数据科学家和分析师依赖。 • 你将负责为复杂数据转换的编排层做出贡献,将原始数据从源头精炼为有针对性、有价值的数据资产,以便以受控的方式进行使用。 • 你将与数据科学家、分析师、其他工程师和业务利益相关者合作,解决复杂而激动人心的挑战,以便我们可以建立能够改变市场业务模式并对我们的客户和卖家生活产生积极影响的能力。 • 你将通过审查项目要求、收集所需信息、编写和开发代码、进行单元测试、向团队成员和利益相关者沟通状态和问题、与项目团队和跨职能团队合作、解决未解决的问题和错误修复、确保按时交付和移交等方式,领导并参与小到大规模的项目。 • 你将为初级数据工程师提供指导和辅导。 • 你将设计、开发和维护高度可扩展和容错的实时、准实时和批处理数据系统/管道,以优化性能处理、存储和提供大量数据。 • 你将通过实施数据质量检查、数据验证和数据清洗流程,确保摄入和处理的数据准确无误、质量高。 • 你将通过分析、大数据分析和自动化,确定解决业务问题的可能选项。 • 你将建立业务领域专业知识,以支持产品团队、分析、数据科学家和其他数据消费者的数据需求。 你将带来什么: • 计算机科学或相关领域的学士/硕士学位 • 在大数据技术/数据管道开发方面有5年以上的经验 • 管理和操作TB级别巨大数据集的能力至关重要。 • 精通大数据技术,如Hadoop、Apache Spark(首选Scala)、Apache Hive或类似的云端框架(首选GCP,AWS、Azure等),以构建具有强调优化、SLA遵守和容错能力的批处理数据管道。 • 精通使用Automic、Airflow、Luigi等编排器构建幂等工作流程的能力。 • 精通使用SQL分析、优化和分析数据,首选在BigQuery或SPARK SQL中。 • 强大的数据建模技能对于设计能够容纳数据源演变并促进各种数据集的无缝数据连接的模式至关重要。 • 能够直接与利益相关者合作,了解数据需求,并将其转化为管道开发/数据解决方案工作。 • 强大的分析和解决问题的能力对于在数据集成和模式演变过程中可能出现的问题进行识别和解决至关重要。 • 在这个项目中,快速高质量地工作并在最短的上手时间内开始交付将是成功的关键。 • 有效的沟通和协作能力对于在团队环境中工作并协调项目中涉及的不同利益相关者之间的努力是必要的。 你还可以提供的额外技能: • 使用Apache Kafka、Spark Streaming、Kafka Connect等构建复杂的准实时(NRT)数据管道的经验,强调稳定性、可扩展性和SLA遵守。 • 对REST API有良好的理解——在Apache Druid、Redis、Elasticsearch、GraphQL或类似技术上的工作知识。 • 在使用Looker / Tableau开发报告/仪表盘方面的经验。 • 在电子商务领域的经验。 关于沃尔玛全球技术 想象一下,在一个代码行可以让数亿人生活更轻松的环境中工作。这就是我们在沃尔玛全球技术所做的。 我们是一支由软件工程师、数据科学家、网络安全专家和服务专业人员组成的团队,是全球领先的零售商,我们产生了巨大的影响,并处于下一次零售业颠覆的前沿。 人是我们创新的原因,人推动着我们的创新。我们以人为本,依靠技术赋能。我们培训团队掌握未来的技能,邀请像你这样的专家帮助我们成长。 我们提供给那些追求第一个机会的人以及那些寻找能够定义自己职业生涯的机会的人。在这里,你可以在技术领域开启一段伟大的职业生涯,为几乎所有行业获得新的技能和经验,或者利用你的专业知识以大规模创新,影响数百万人,并重新想象零售业的未来。 灵活的混合工作方式: 我们采用混合工作方式,主要是在办公室工作,不在现场时采用虚拟工作。我们的园区作为增强协作、让我们为目标而聚集、满足业务需求的中心。这种方式帮助我们做出更快的决策,消除全球团队之间的地理障碍,并在个人生活中更加灵活。 福利: 福利:除了我们优厚的薪酬福利,你还可以根据绩效获得奖励。其他伟大的福利包括401(k)匹配、股票购买计划、带薪产假和育儿假、带薪休假、多种医疗保险计划等等。 平等机会雇主: 沃尔玛公司是一个平等机会雇主——出于选择。我们相信,只有真正了解他们的人,我们才能最好地帮助我们的员工、客户和服务的社区过得更好。 这意味着要理解、尊重和重视多样性——独特的风格、经历、身份、思想和观点——同时包容所有的人。 以上信息旨在指示在这个职位中所执行的工作的一般性质和水平。它并不旨在包含或被解释为员工在这个工作中所需的所有责任和资格的全面清单。 完整的职位描述可以作为招聘过程的一部分提供。 在沃尔玛,我们提供有竞争力的薪酬,以及基于绩效的奖励和其他伟大的福利,让你的心灵、身体和钱包更加快乐。 健康福利包括医疗、视觉和牙科保险。财务福利包括401(k)、股票购买计划和公司支付的人寿保险。 带薪休假福利包括带薪休假(包括病假)、产假、家庭护理假、丧假、陪审团服务和投票。 其他福利包括短期和长期残疾、公司折扣、军事休假工资、领养和代孕费用报销等等。 你还将获得可以用于度假、病假、假期或其他目的的带薪休假或带薪个人时间。你获得的时间取决于你的工作分类和工作年限。 它将满足或超过适用的带薪病假法律要求。有关带薪休假的信息,请参阅https://one.walmart.com/notices。 Live Better U是沃尔玛为沃尔玛和山姆会员店的全职和兼职员工提供的付费教育福利计划。 计划范围从高中毕业到学士学位,包括英语学习和短期证书。学费、书籍和费用由沃尔玛完全支付。 某些福利的资格要求可能适用,并可能取决于你的工作分类和工作年限。福利可能会有变化,并可能受到特定计划或计划条款的约束。 有关福利和资格的信息,请参阅One.Walmart网站https://bit.ly/3iOOb1J。 此职位的年薪范围为117,000.00美元至234,000.00美元。 对于某些职位,额外的补偿可能还包括: • 区域薪酬区(基于地点) • 股权激励 最低资格要求... 以下是此职位所需的最低资格要求。如果没有列出,那么没有最低资格要求。 选项1:计算机科学学士学位和3年软件工程或相关领域经验。选项2:5年软件工程或相关领域经验。选项3:计算机科学硕士学位和1年软件工程或相关领域经验。 2年数据工程、数据库工程、商业智能或商业分析经验。 首选资格... 以下是此职位的可选首选资格。如果没有列出,那么没有首选资格。 数据工程、数据库工程、商业智能或商业分析、ETL工具以及在云端处理大数据集,计算机科学或相关领域硕士学位和3年软件工程经验。 首选地点... 美国加利福尼亚州桑尼维尔加利福尼亚大道640号,94086-4828 最后更新日期:2023年12月16日