数据工程师 II，全球运输技术服务 (GTTS)
亚马逊每天通过全球最大的飞机、卡车和送货车辆运输网络运送数百万个包裹。在任何包裹被分配到路线之前，需要有人设计这个网络——找出哪些线路存在，每个节点和线路能处理多少容量，以及随着需求变化需要进行哪些更改。这就是我们所构建的。
全球运输技术服务 (GTTS) 创建管理亚马逊出站运输网络基础的软件。您的工作对网络效率有直接的财务影响，并直接影响客户是否能按时收到包裹。
作为数据工程师，您将构建支持我们运输系统的数据基础设施。您将设计和实施每天处理数TB运输数据的数据管道，构建支持分析和机器学习的数据模型，并创建推动亚马逊全球网络运营决策的数据基础。
主要工作职责
- 独立工作，负责从设计到发布的数据管道和中型数据项目的端到端交付
- 设计和实施支持分析、报告和机器学习用例的数据模型
- 使用 AWS 数据技术，如 EMR、Glue、S3、Kinesis、Athena、Lake Formation 和 Redshift
- 使用 Spark + Scala/Python 构建每天处理 TB 级数据的数据管道
- 实施数据质量框架并监控管道可靠性
- 与数据消费者（分析师、科学家、业务团队）合作，了解需求并提供解决方案
- 为数据系统的设计评审和代码评审做出贡献
- 通过加入定期的值班轮换参与我们数据产品的运营支持
- 推动数据质量、可靠性和流程改进
- 指导 DE-I 工程师并帮助他们在技术上成长
- 参加定期的黑客马拉松，为 GTTS 带来新想法
生活中的一天
- 您构建和操作您的数据系统——我们为我们创建的内容处理值班
- 工作涉及多种技术：数据管道、ETL/ELT、数据仓库、流处理，以及与分析和机器学习平台的集成
- 定期与数据消费者互动——分析师、科学家和业务利益相关者
- 我们重视不同的观点并鼓励开放讨论
- 有机会处理影响全球运输运营的数据问题
- 团队成员跨不同时区工作
关于团队
我们是一个全球团队，成员分布在海得拉巴和卢森堡。团队包括数据工程师、软件工程师、产品经理、技术项目经理和应用科学家，致力于解决运输问题。
基本资格
- 3年以上数据工程经验
- 具备 SQL 经验
- 具备数据建模、仓储和构建 ETL 管道的经验
- 具备使用大数据技术的经验，如 Hadoop、Hive、Spark、EMR
- 至少具备一种现代脚本或编程语言的经验，如 Python、Java、Scala 或 NodeJS
- 具备构建/操作高可用、分布式数据提取、摄取和处理大型数据集系统的经验
优先资格
- 了解专业软件工程和完整软件开发生命周期的最佳实践，包括编码标准、软件架构、代码评审、源代码管理、持续部署、测试和运营卓越
- 具备为数据工程提供技术领导和指导其他工程师最佳实践的经验
- 具备使用 AWS 技术的经验，如 Redshift、S3、AWS Glue、EMR、Kinesis、FireHose、Lambda 和 IAM 角色及权限
- 了解批处理和流数据架构，如 Kafka、Kinesis、Flink、Storm、Beam
- 具备非关系型数据库/数据存储（对象存储、文档或键值存储、图数据库、列族数据库）的经验
- 具备 Redshift、Oracle、NoSQL 等经验
我们包容的文化使亚马逊人能够为客户提供最佳结果。如果您有残疾并在申请和招聘过程中需要工作场所的便利或调整，包括面试或入职过程的支持，请访问获取更多信息。如果您申请的国家/地区未列出，请联系您的招聘合作伙伴。
亚马逊是一个平等机会的雇主，不会因受保护的退伍军人身份、残疾或其他法律保护的身份而歧视。
#J-18808-Ljbffr
