大数据工程师
地点:密苏里州奥法伦
持续时间:12个月,可能延期/可能转为合同雇佣
描述:
作为数据平台和工程服务团队的高级软件工程师,您将在全球最成功的组织之一的迅速增长团队中担任重要角色,与经验丰富、充满激情的工程师紧密合作,解决客户问题。
您将与数据工程团队合作,因此能够影响和提供操作指导至关重要。
最初,开发人员的重点将是为维护托管和基于云的基础架构的服务可用性而贡献开发操作工具和实践。
您必须了解整个技术堆栈以及系统构建的方法,同时掌握操作最佳实践。
角色:
作为统一数据采集和处理(UDAP)平台团队的成员,您将负责构建工具和系统,以在混合云和物理环境中部署和扩展我们的应用程序和数据。
我们提供的平台帮助多个项目团队构建、测试、部署和托管数百个数据管道,涵盖多个全球数据中心,以及企业级日志记录、监控和漏洞检测。
个人要求/经验:
在产品或服务型组织中进行数据仓库相关项目的经验
解决可扩展性、性能和稳定性问题的经验
掌握Java、Scala或Python等编程语言
具备SQL和关系数据库的工作经验
在大数据栈(Spark和Hadoop生态系统)中具备操作经验
精通Linux操作系统和环境以及脚本编写
在软件工程领域拥有深厚的专业知识
擅长解决复杂系统和应用程序堆栈的故障排除
具备Elastic Search(ELK栈)的操作经验将是一个优势
具备故障排除网络/服务器通信的操作经验将是一个优势
积极性、创造力、自主性和渴望在小型项目团队中取得成功的愿望
良好的英语书面和口头沟通能力
您的团队的名称是什么?它如何融入整个客户组织:
数据启用团队,UDAPP统一数据采集和处理平台
此人将支持哪个项目?他们是否是公会的一部分?如果是,是哪个公会,他们将如何贡献:
是的,SDE
您团队的主要责任是什么:
我们团队负责构建数据管道和数据迁移流程,将数据从源头移动到新的数据仓库。
您如何描述您团队的文化:
我们寻找的是能够自主研究并在这个职位上能够独立工作的人。
不能依赖他人来完成他们的工作。
需要有自主研究的能力。
他们将与产品负责人(数据科学家)、企业架构团队和数据工程师合作。
请描述一下您的管理风格:
因为之前担任过技术职位,所以是实践型的,有深入的理解。
我们是一个小团队,但我们都拥有丰富的知识和经验。
我对于所有关于优化/重组我们的方法以推动业务增长的建议和变化都持开放态度。
我们正在构建这个平台并扩展它,但现在我们有很多需求来使用我们的平台。
我们正试图进入下一个阶段,并创建一个额外的平台来处理云处理。
对于承包人员来说,一个典型的工作日会是什么样子:
我们有交替的站立会议安排,他们的日常工作将取决于他们的任务。
您最重要的3个技术技能是什么:
Java
Hadoop
Spark
还有哪些期望或希望具备的技能:
云应用,如Azure和/或AWS
您希望在候选人中看到哪些软技能:
研究能力
自主工作能力
愿意学习
所需的能力水平:
中级至高级