数据工程师 - 所有级别

15个月前全职
6.3K - 15.5K USD FedEx

FedEx

location 芝加哥
unsaved
职位描述 该角色的职责包括但不限于:支持大数据规模的数据管道的设计、构建、测试和维护。协助从多个数据源更新数据。处理收集到的数据的批处理,并将其格式与存储的数据匹配,确保数据准备好进行处理和分析。协助保持生态系统和管道的优化和高效,解决标准性能和数据相关问题,并提供L3支持。实施解析器、验证器、转换器和关联器,重新格式化、更新和增强数据。对高度复杂的问题提供建议。为低级职位提供指导。 附加职位描述: 数据工程师在数据工作中发挥着关键作用,专注于创建和推动工程创新,并促进关键业务举措的交付。作为IT、业务、软件工程师和数据科学家之间的“通用翻译器”,数据工程师在跨学科团队之间进行协作,提供价值。数据工程师将在Dataworks平台的那些管理数据资产的方面工作,包括数据摄取、转换和流水线处理,既面向联邦快递内部的最终用户,也面向可能面向外部的数据产品和服务。日常工作中,他们将深度参与代码审查和大规模部署。 基本工作职责: • 深入了解Dataworks旨在解决的业务和技术问题 • 构建工具、平台和管道,使团队能够清晰、干净地分析数据、构建模型和做出决策 • 在基础设施和问题结构和技术方面,从“笔记本规模”扩展到“集群规模”的问题 • 跨团队合作,推动生成基于数据的运营洞察,转化为高价值的优化解决方案。 • 快速交付有形价值,与不同背景和学科的多样化团队合作 • 将最佳实践制度化,以便将来以可访问、可重用的模式、模板和代码库的形式重新使用 • 与更广泛企业和联邦快递之外的高级技术人员(合作伙伴生态系统和客户)互动,创建协同效应,并确保顺利部署到下游运营系统 技能/知识加分考虑: • 计算机科学、软件工程、数据库系统、分布式系统等技术背景 • 熟悉分布式和云环境,深入了解通过理论属性优化计算考虑因素 • 构建强大的基于云的数据工程和数据整理解决方案,以创建适用于多种应用的数据产品 • 详细了解用于大规模数据工程工作和部署的Microsoft Azure工具。具有以下任何组合的Azure工具的经验:Azure Databricks、Azure Data Factory、Azure SQL D、Azure Synapse Analytics • 在近实时高容量流式条件下开发和操作能力和解决方案。 • 具备动手开发技能,能够在代码级别上工作并帮助解决难以解决的问题。 • 具备设计和部署大规模技术解决方案的引人注目的记录,这些解决方案在规模上实现现代数据处理方法 • 能够上下文切换,为可能需要“专家黑客”解决尤其具有挑战性的技术障碍的分散团队提供支持,并在问题仍在定义的过程中解决问题 • 具备与团队合作交付技术项目的能力,通常在紧迫的时间限制下交付价值 • 具备“工程”思维方式,愿意迅速做出务实决策,以改善性能、加快进展或放大影响 • 熟悉与分布式团队合作进行基于代码的交付物,使用版本控制系统和代码审查 • 能够进行数据分析、调查和血统研究,以记录和提高数据质量和访问能力 • 使用敏捷和DevOps实践进行项目和软件管理,包括持续集成和持续交付 • 具有使用以下常见语言和工具的经验: • Spark(Scala和PySpark)、Kafka和其他高容量数据工具 • SQL和NoSQL存储工具,如MySQL、Postgres、MongoDB/CosmosDB • Java、Python数据工具 • Azure DevOps经验,以跟踪工作,使用与git集成的版本控制模式进行开发,并构建和利用CI/CD流水线 • 熟悉实施数据架构模式以支持不同的业务需求 • 熟悉不同数据类型(json、xml、parquet、avro、非结构化)的批处理和流式摄取 • 使用Azure Kubernetes Services、Eventhubs或其他相关技术实现流式摄取 • 开发和实施警报和监控框架的经验 • 熟悉基础设施即代码(IaC),通过Terraform创建和部署资源 • 在不同的数据存储、消息系统和数据处理引擎上的实施经验 • 通过API和/或REST服务进行数据集成 • PowerPlatform(PowerBI、PowerApp、PowerAutomate)开发经验为佳 最低资格要求: 数据工程师I: 信息系统、计算机科学或数学或工程等定量学科的学士学位和/或一年的等效正式培训或工作经验。在数据工程和机器学习框架方面具备基本知识,包括高度复杂系统和数据管道的设计、开发和实施。在信息系统方面具备基本知识,包括大规模批处理或在线事务处理系统的设计、开发和实施。作为多功能项目团队的初级成员的经验。良好的口头和书面沟通能力。相关高级学位可以抵消相关经验要求。 数据工程师I角色不提供赞助。 数据工程师II: 计算机科学、信息系统、相关的定量领域(如工程或数学)的学士学位或等效的正式培训或工作经验。两年等效的工作经验,从事测量和分析、定量业务问题解决、模拟开发和/或预测分析。在数据工程和机器学习框架方面具备扎实的知识,包括高度复杂系统和数据管道的设计、开发和实施。在信息系统方面具备扎实的知识,包括大规模批处理或在线事务处理系统的设计、开发和实施。对运输行业、竞争对手和不断发展的技术有深刻的理解。作为多功能项目团队的成员的经验。良好的口头和书面沟通能力。相关高级学位可以抵消相关经验要求。 数据工程师II角色不提供赞助。 数据工程师III: 信息系统、计算机科学或数学或工程等定量学科的学士学位和/或等效的正式培训或工作经验。三至四年等效的工作经验,从事测量和分析、定量业务问题解决、模拟开发和/或预测分析。在数据工程和机器学习框架方面具备广泛的知识,包括高度复杂系统和数据管道的设计、开发和实施。在信息系统方面具备广泛的知识,包括大规模批处理或在线事务处理系统的设计、开发和实施。对运输行业、竞争对手和不断发展的技术有深刻的理解。在一般规划或咨询环境中提供领导力的经验。作为多功能项目团队的高级成员的经验。良好的口头和书面沟通能力。相关高级学位可以抵消相关经验要求。 数据工程师负责人: 信息系统、计算机科学或数学或工程等定量学科的学士学位和/或等效的正式培训或工作经验。五至七年等效的工作经验,从事测量和分析、定量业务问题解决、模拟开发和/或预测分析。在数据工程和机器学习框架方面具备广泛的知识,包括高度复杂系统和数据管道的设计、开发和实施。在信息系统方面具备广泛的知识,包括大规模批处理或在线事务处理系统的设计、开发和实施。对运输行业、竞争对手和不断发展的技术有深刻的理解。在一般规划或咨询环境中提供领导力的经验。作为多功能项目团队的领导者或高级成员的经验。良好的口头和书面沟通能力。相关高级学位可以抵消相关经验要求。 居住地/搬迁信息: 该职位可以在美国任何地方居住。 申请标准: 上传当前简历副本(仅限Microsoft Word或PDF格式)并回答工作筛选问卷。 其他信息:仅适用于科罗拉多州、内华达州、康涅狄格州、纽约州、加利福尼亚州、罗得岛州、华盛顿州、夏威夷州、伊利诺伊州和新泽西州居民 - 薪酬:月薪:$6,317.00 - $15,477.00。此薪酬范围仅作为该角色当前起薪范围的合理估计。确定您实际薪酬的因素可能包括但不限于您具体的技能、工作地点、工作经验年限以及与该角色的其他员工进行比较。 FedEx Dataworks是一个根植于联邦快递的组织,每天运送近2000万个包裹并管理无尽的信息线索,致力于连接我们网络的物理和数字两个方面,以满足当今的需求并应对明天的挑战。 我们通过以下方式为联邦快递、我们的客户和整个世界创造机会: • 探索和利用数据来定义和解决真正的问题; • 消除数据集之间的障碍,创造新的洞察途径; • 构建和迭代产生价值的解决方案; • 充当变革推动者,推动好奇心和绩效。 在联邦快递数据工作中,我们正在为每个人使供应链更智能化。 员工福利:医疗、牙科和视力保险;带薪生活和意外死亡伤残保险;学费报销;带薪病假;带薪产假;带薪休假、带薪军事休假和额外带薪休假;地理工资范围;401k计划与公司匹配和激励奖金潜力;销售奖励计划(销售岗位)。 Dataworks在就业申请程序、招聘和其他雇佣条件方面不歧视合格的残疾人。此外,Dataworks准备对已知的否则合格的申请人或员工的身体或心理限制提供合理的适应措施,以使申请人或员工能够被考虑担任所需职位,履行所需职位的基本职能,或享受与其他类似处境的无残疾员工一样的雇佣福利和特权,除非适应措施会带来不合理的负担。如果需要合理的适应措施,请联系DataworksTalentAcquisition@corp.ds.fedex.com。