这个项目是客户的车辆连接服务，允许客户或车队经理访问客户产品的运营信息。门户网站和移动应用是客户或车队经理访问车辆数据的主要入口点。该项目分为五个Scrum团队，专注于不同的服务：远程诊断分析服务（燃油效率和安全性）、车辆连接合同管理。每个自给自足的团队负责其前端、数据访问API、物联网数据流、分析引擎，有时还负责车载组件。所有Scrum团队都在一个包含业务、IT和工程人员的Scaled Agile Framework（SAFe）开发模型下工作，每两周进行一次Sprint。每6个Sprint，我们进行项目增量工作坊，以协调所有团队之间的依赖关系，并将新工作引入开发团队。Detroit Connect完全依赖于Microsoft的Azure Cloud。它依靠运行Storm和H-Base的Hadoop集群进行数据流和持久化。门户网站最初是用Angular GS开发的，正在迁移到React。安全和访问管理依赖于Azure A/D B2C，客户可以通过门户网站进行自助配置。环境是一个由门户网站（Azure Web App）、API层（Azure Web App/Rest）、数据访问层（Java Jetty/Rest）和基于HBase的数据层组成的四层堆栈。此RFP集中在堆栈的前两层（见下图）。有一些H-Base和非SQL数据访问的嵌入式经验不是必需的，但有助于更好地进行团队整合和对齐。
要求：
负责Hadoop基础架构的设计、实施和持续管理。
与系统工程团队协作，提出并部署Hadoop所需的新硬件和软件环境，以及扩展现有环境。
与数据交付团队合作，设置新的Hadoop用户。这项工作包括设置用户、设置Kerberos主体，并为新用户测试HDFS、Hive、Pig和MapReduce的访问权限。
对Hadoop集群和Hadoop MapReduce例程进行性能调优。
筛选Hadoop集群作业的性能和容量规划。
监控Hadoop集群的连接性和安全性。管理和审查Hadoop日志文件。
根据要求对HBase、HDFS、Kafka、Storm、Spark、Nifi等流工作负载的配置进行工程化和标准化，实现负载均衡和改进性能。
从各种来源的系统（如ERP、CRM、NoSQL和事务数据系统）将数据导入到Hadoop数据湖中。创建sqoop作业，通过oozie进行调度和导入数据。
偏好：
计算机科学或相关领域的学士学位
工作职责：
负责Hadoop基础架构的设计、实施和持续管理。
与系统工程团队协作，提出并部署Hadoop所需的新硬件和软件环境，以及扩展现有环境。
与数据交付团队合作，设置新的Hadoop用户。这项工作包括设置用户、设置Kerberos主体，并为新用户测试HDFS、Hive、Pig和MapReduce的访问权限。
对Hadoop集群和Hadoop MapReduce例程进行性能调优。
筛选Hadoop集群作业的性能和容量规划。
监控Hadoop集群的连接性和安全性。管理和审查Hadoop日志文件。
根据要求对HBase、HDFS、Kafka、Storm、Spark、Nifi等流工作负载的配置进行工程化和标准化，实现负载均衡和改进性能。
从各种来源的系统（如ERP、CRM、NoSQL和事务数据系统）将数据导入到Hadoop数据湖中。创建sqoop作业，通过oozie进行调度和导入数据。
薪资范围：
80,000美元 - 100,000美元
最低资格：
系统和网络管理、系统架构和工程
预计薪资：根据资格，每小时20到28美元 
旧金山