职位名称：高级数据工程师
地点：加州圣尼维尔
现场要求：是的，最初需要2到3天
职责：
作为一名高级数据工程师，您将在使用尖端的开源技术设计和开发大数据应用程序中发挥关键作用。主要职责包括：
为大数据平台设计和开发逻辑和物理数据模型。
使用Apache Airflow自动化工作流程。
使用Apache Hive、Apache Spark、Scala和Apache Kafka创建数据管道。
对现有系统进行持续维护和增强，并参与轮换的值班支持。
快速学习业务领域和技术基础设施，并在团队内积极分享知识。
指导初级工程师。
领导每日站立会议和设计审查。
使用JIRA整理和优先处理待办事项。
作为指定业务领域的联系人。
要求：
8年以上开发数据仓库解决方案和数据产品的实际经验。
4年以上使用Hadoop、Hive、Scala、Airflow或类似解决方案开发分布式数据处理平台的实际经验。
4年以上Google Cloud Platform、GCS Data proc、BIG Query的经验。
2年以上在数据湖或关系型数据库平台上进行建模（Erwin）和设计模式的实际经验。
熟练掌握编程语言：Python、Java、Scala等。
熟练掌握脚本语言：Perl、Shell等。
有处理和管理大型数据集（多TB / PB级别）的经验。
接触过测试驱动开发和自动化测试框架。
具备Scrum / Agile开发方法论的背景。
能够在少量监督下处理多个竞争优先级。
优秀的口头和书面沟通能力。
计算机科学学士学位或等同经验。
首选资格：
最成功的候选人还将具备以下经验：
Gitflow。
Atlassian产品BitBucket、JIRA、Confluence等。
持续集成工具，如Bamboo、Jenkins或TFS。 
芝加哥