职位名称：Hadoop数据工程师
地点：芝加哥, IL/丹佛, CO/华盛顿特区（仅限本地，不提供搬迁 - 需要现场面试）
工作安排：完全现场办公
客户行业：银行业
合同期限：12个月
日常工作：
- 使用Spark Structured Streaming、MapReduce和其他大数据框架设计、开发和维护批处理和近实时数据管道。
- 从多个来源（如消息队列（Kafka）、文件共享、REST API和关系数据库）摄取数据。
- 在HDFS、Hive、Impala或Spark SQL中转换、清理和验证数据。
- 转换和管理JSON、CSV、XML等格式的数据以支持下游分析。
- 执行数据验证、分析和分析以识别异常并确保数据完整性。
- 排除数据管道、SQL作业或Spark应用程序中的问题，包括运行缓慢的作业或失败。
必备条件：
- 精通SQL技能，掌握MySQL、HIVE、Impala、SPARK SQL中的一种或多种
- 具有从消息队列、文件共享、REST API、关系数据库等摄取数据的经验，以及处理json、csv、xml等数据格式的经验
- 具有使用SPARK Structured Streaming的经验
- 具有Hadoop/大数据和分布式系统的工作经验
- 具有Spark、Sqoop、Kafka、MapReduce、NoSQL数据库（如HBase、SOLR、CDP或HDP、Cloudera或Hortonworks、Elastic Search、Kibana等）的工作经验
- 至少掌握Scala、Python、PHP中的一种编程语言
加分项：
- 银行业或金融业经验
- 薪酬
- 时薪：60$-65$每小时
此范围反映基本薪酬，可能根据地点、市场条件、经验和候选人资格而有所不同。
福利：
- 公司为该职位提供以下福利，需符合适用的资格要求：医疗保险、牙科保险、视力保险、401(k)退休计划、人寿保险、长期残疾保险、短期残疾保险、付费停车/公共交通、（带薪时间、带薪病假和安全时间、带薪假期时间、带薪育儿假周数、带薪年假 - 视适用情况而定）
- 关于我们
- 在Collabera，我们不仅提供工作，还建立职业生涯。作为人才解决方案的全球领导者，我们提供与顶级组织、尖端技术和动态团队合作的机会。我们的文化以创新、协作和追求卓越为核心。通过持续学习、职业发展和以人为本的方法，我们赋予您实现全部潜力的能力。加入我们，成为一个重视激情、诚信和影响力的公司的一部分。
- 准备申请了吗？
- 立即申请或联系Pritam Palai获取更多信息。期待与您交谈！
