职位名称：Hadoop数据工程师
地点：芝加哥, IL/丹佛, CO/华盛顿特区（仅限本地，不提供搬迁 - 需现场面试）
工作安排：完全现场办公
客户行业：银行业
合同期限：12个月
日常工作：
设计、开发和维护使用Spark Structured Streaming、MapReduce和其他大数据框架的批处理和近实时数据管道。
从消息队列（Kafka）、文件共享、REST API和关系数据库等多个来源获取数据。
在HDFS、Hive、Impala或Spark SQL中转换、清理和验证数据。
转换和管理JSON、CSV、XML等格式的数据以支持下游分析。
执行数据验证、分析和分析以识别异常并确保数据完整性。
排除数据管道、SQL作业或Spark应用程序中的问题，包括运行缓慢的作业或故障。
必备条件：
强大的SQL技能，掌握MySQL、HIVE、Impala、SPARK SQL中的一种或多种。
具有从消息队列、文件共享、REST API、关系数据库等进行数据摄取的经验，并具有处理json、csv、xml等数据格式的经验。
具有使用SPARK Structured Streaming的经验。
具有Hadoop/大数据和分布式系统的工作经验。
具有Spark、Sqoop、Kafka、MapReduce、NoSQL数据库如HBase、SOLR、CDP或HDP、Cloudera或Hortonworks、Elastic Search、Kibana等的工作经验。
至少掌握Scala、Python、PHP中的一种编程语言。
加分项：
银行或金融行业经验。
薪酬：
时薪：60$-65$每小时
该范围反映了基础薪酬，可能会根据地点、市场条件、经验和候选人资格而有所不同。
福利：
公司为该职位提供以下福利，需符合适用的资格要求：医疗保险、牙科保险、视力保险、401(k)退休计划、人寿保险、长期残疾保险、短期残疾保险、带薪停车/公共交通、（带薪时间、带薪病假和安全时间、带薪假期时间、带薪育儿假周数、每年带薪假日 - 视适用情况而定）
关于我们
在Collabera，我们不仅提供工作，还建立职业生涯。作为全球人才解决方案的领导者，我们提供与顶级组织、尖端技术和动态团队合作的机会。我们的文化以创新、协作和追求卓越为核心。通过持续学习、职业成长和以人为本的方法，我们赋予您实现全部潜力的能力。加入我们，成为一个重视激情、诚信和影响力的公司的一部分。
准备申请了吗？
立即申请或联系Pritam Palai获取更多信息。期待与您交流！
