高级大数据工程师

旧金山 12天前全职 网络
面议
公司简介 Jobs Bridge Inc 是一家快速发展的 IT 人才招聘 / 专业服务机构,拥有自己的招聘平台。Jobs Bridge 与众多 IT 组织紧密合作,提供最受欢迎的技术技能。 职位描述 构建大数据文本挖掘与自然语言处理框架。 • 从文本和非结构化转录中提取有意义的数据。 • 开发文本挖掘机器算法和数据科学解决方案。 • 构建世界级高容量实时数据摄取框架,并自动化将各种数据源摄取到 Hadoop 中。 • 研究、开发、优化和创新企业级数据分析和计算的框架及相关组件。 • 开发验证框架,主动监控解决方案,以检测大数据平台中的数据摄取故障并采取适当的补救措施。 • 开发数据适配器,以从各种数据源和类型摄取大量非结构化、半结构化和结构化数据。 • 与使用各种技术的人合作,确保通过这些不同渠道暴露的数据的一致性。 • 负责从头到尾的开发生命周期,确保所开发解决方案/代码的高质量,并倡导测试驱动开发(测试、代码覆盖率等)。 • 采用以客户为中心的方法,确保所开发的解决方案真正满足客户需求。 • 8 年以上的需求分析、设计、开发和测试分布式企业级应用/平台的经验,特别关注可扩展性和高性能,并具备可证明的经验。 • 具备 NLP、Elastic Search、文本挖掘、Spark、HIVE、PIG、MapReduce 的经验。 • 扎实的面向对象编程经验(优先考虑 Java/Python)。 • 具备 NoSQL 数据库的经验:HBase、Mongo。 了解和经验 RDBMS、O-R 映射,以及分布式缓存技术的应用。 资格要求 NLP、Elastic Search、文本挖掘、Spark、HIVE、PIG、MapReduce。 附加信息 多个职位空缺,欢迎绿卡持有者/公民申请。