Big Data Engineer

15 months agoFull-time
WSN

WSN

location Los Angeles
unsaved
职位名称:高级开发人员(Scala/Java) 地点:特拉华州新堡(混合工作,2天现场) 工作期限:最少6-12个月,有可能转为永久职位 所有申请人必须是美国公民或绿卡持有者。 所有申请人必须能在2月21日和/或2月22日亲自面试。 职位描述: WSN正在寻找核心Scala/Java候选人,以在我们的客户——特拉华州新堡的一家一线批发银行中担任职位。这个职位是一个数据工程主管的角色,负责在Vanguard大数据平台上工作。 该团队负责维护和开发领先的大数据项目和用例,为业务提供价值。Vanguard平台支持操作实时事件处理和计算应用,以及包括机器/深度学习在内的分析消费用例。 技术团队负责构建和维护多种应用程序,包括: •通过大数据API实时摄取/流处理和数据分发 •构建规范模型和数据一致性 •实施最佳数据管理和数据摄取。 •利用新的存储引擎(如Kudu)来实现对快速变化数据的分析 •利用GPU实现高级机器学习 •增强数据科学和机器学习从业者的自助服务能力 资格要求: •良好的学术记录,最好具有数学或科学背景的学位。 •5年以上的Hadoop/大数据技术经验。 •3年以上作为Scala开发人员的实际经验(具备Java背景) •具有Spark/Storm/Kafka或等效的流处理/批处理和基于事件的消息传递经验 •具有API开发和使用JSON/XML/Hypermedia数据格式的经验 •具有关系型和NoSQL数据库集成和数据分发原理的经验 •Unix/Linux •具有容器化和相关技术(如Docker、Kubernetes)的经验 •具有DevOps的各个方面经验(源代码控制、持续集成、部署等) •全面了解软件工程和数据分析原则 •熟练掌握Hadoop生态系统和大数据技术,具有实际经验(HDFS、MapReduce、Hive、Pig、Impala、Spark、Kafka、Kudu、Solr) •了解敏捷(Scrum)开发方法论者优先考虑 •具有较强的开发/自动化技能 •具备Cloudera/Hortonworks/AWS EMR、S3经验者优先考虑