大数据工程师将领导大数据工程团队。顾问将担任技术负责人的角色，并提供专业服务，支持长期的IT战略和规划，包括高级分析、专业报告和演示文稿，以及指导、支持和培训。
交付成果或任务：
• 提供愿景，收集需求并将客户用户需求转化为技术架构。
• 设计并实施集成的大数据平台和分析解决方案
• 设计并实施数据收集器，将数据收集和传输到大数据平台。
• 为大数据平台实施监控解决方案，监控基础设施的健康状况
技术知识和技能：
• 4-5年Python、Java和Scala编程经验是必需的。
• 使用Python框架（Django、Flask等）进行REST API开发的丰富经验。
• 使用Spring框架进行微服务/ Web服务开发经验。
• 在Amazon EMR/DataBricks/Cloudera CDP方面具有丰富的经验
• 熟悉Dask、Numpy、Pandas、Scikit-Learn
• 在大数据、Cloudera Distribution 7.x、关系数据库方面有实际经验
• 在使用Hadoop组件Sqoop、Hive、Solr、MR、Impala、Spark、Spark SQL、HBase构建数据管道方面有实际经验。
• 在实时分析方面具有丰富的经验，如Spark/Kafka/Storm
• 有Jenkins、JIRA经验
• 在Unix/Linux环境中编写脚本和安排/执行作业方面有专业知识。
我们正在寻找能够在项目中提供愿景和技术领导的顾问。该资源将审查现有架构，并根据需要推荐新技术。Hadoop工程师将与业务部门密切合作，并建议变更以为业务提供价值。 
芝加哥