Hadoop开发人员
12个月（预计会延长）
丹佛科罗拉多州或芝加哥伊利诺伊州的混合工作
多个职位空缺！！！
顶级技能 - 必备技能
Hadoop
Hive
SPARK
Kafka
云数据工程
SQL
顶级技能详细信息
• 在Hadoop开发/编程经验方面有5-8年的经验，能够工程化解决方案，将数据集导入集群。具有使用Hadoop/大数据和分布式系统的经验
2）Spark/Scala经验 - 需要在这些语言中进行开发，或者使用Impala和Hive来提取数据，使用SPARK Structured steaming进行工作
• 基本的SQL技能 - 至少熟悉MySQL、HIVE、Impala、SPARK SQL中的一种或多种
• 从消息队列、文件共享、REST API、关系数据库等进行数据摄取的经验，以及熟悉json、csv、xml、parquet等数据格式
• 有使用Spark、Sqoop、Kafka、MapReduce、HBase等NoSQL数据库、Cloudera或Hortonworks、Elastic Search、Kibana、Jupyter Notebook等工具的工作经验
• 至少熟悉Scala、Python、PHP或Shell脚本等一种编程语言
• 具有Linux操作系统的经验和熟练度是必须的
• 解决平台问题和连接问题的能力
• 有使用Cloudera管理器和YARN的经验
• 在共享集群/云环境中处理复杂资源争用问题的经验
有开发HBase后端以连接API到JavaScript和/或Python的经验
有在敏捷方法论下工作以满足客户不断变化需求的经验。
职位描述
我们邀请您加入美国银行（Bank of America）全球信息安全组织中的数据策略与工程团队，担任大数据平台开发人员/工程师。我们是一个紧密团结、支持性强的社区，热衷于为客户提供最佳体验，同时对他们的独特需求保持敏感。
在这个角色中，您将帮助构建新的数据管道，识别现有的数据空白，并提供自动化解决方案，为支持运营团队的应用程序提供先进的分析能力和丰富的数据。您还将负责从记录系统获取数据，并建立实时数据传送以实现自动化分析。
例如，负责第三方风险评估的网络安全保障组使用这些分析仪表板进行评估，负责监控和恶意软件问题的网络安全防御组也使用这些分析。这些组来到这个团队，并对他们需要的分析类型和需求提出要求，这个团队将根据这些要求在Hadoop中创建，并将其移动到UI以供分析目的可见。
他们正在寻找有使用KafkaConnect、HBASE、ApacheSpot来增加集群功能的候选人。他们正在构建并确保集群非常实用。首选具有强大的HBase和SPARK经验的候选人。他们正在寻找具有将HBase经验与应用程序和API相关联，以便提取数据的候选人。他们还将在数据摄取方面进行其他项目。他们将使用Flume、Spark和Hive。
其他技能和资格
• 强大的SQL技能 - 至少熟悉MySQL、HIVE、Impala、SPARK SQL中的一种或多种
• 通过Spark/MapReduce或SQL作业进行性能调优的经验
• 具有近实时和批处理数据管道的端到端设计和构建过程的经验
• 使用SVN、Git、Bit Bucket等源代码和版本控制系统的经验
• 使用Jenkins和Jar管理的经验
• 在Hadoop/大数据相关领域的工作经验
• 熟悉Hive、Spark、HBase、Sqoop、Impala、Kafka、Flume、Oozie、MapReduce等工具的工作经验
• 至少熟练掌握Java、Scala、Python或Shell脚本等一种编程语言
• 具有SQL和数据建模的丰富经验
• 在敏捷开发过程中工作的经验，并对软件开发生命周期的各个阶段有深入的理解
• 对Hadoop生态系统有深入了解，对Hadoop架构组件有很强的概念知识
• 自我激励，能够在最少的监督下工作，并能够与不同技能背景的团队合作
• 能够理解客户需求并提供正确的解决方案
• 具有强大的分析能力，能够解决复杂问题
• 渴望解决问题并深入研究潜在问题的能力
• 适应并持续学习新技术的能力很重要
工作类型：全职
薪资：每年10万美元 - 12万美元
能否搬迁：
• 伊利诺伊州芝加哥60064：开始工作前需要搬迁（必需）
工作地点：亲自前往 
芝加哥