必须来自银行、金融服务或投资银行,没有例外。最近的两个角色必须来自这个行业。
顾问将担任高级大数据工程师,帮助、支持、维护和测试特定业务单位的新数据库。这些职位将负责维护业务技术组的复杂数据库。顾问将在更有经验的顾问的最小监督和指导下工作,还可能被要求提供应用程序和数据库支持。
职位:高级大数据工程师(Java J2EE、CASSANDRA和Hadoop)
项目:大规模大数据维护项目。
工作地点:100%现场,纽约市,纽约州
持续时间:1年(可续签)
开始:尽快
地点:
• 纽约市,纽约州
• 严禁非美国居民
• 100%现场
工作授权:
• 美国公民/永久居民
• H1B/TN/EAD
• C2C可以
资格要求:
• 必须在美国的大型银行或证券公司工作的近6年经验。
• 必须有12年以上使用Java、J2EE、SDLC和WebSphere维护应用程序的经验。
• 必须有过去6年使用CASSANDRA、Hadoop、MongoDB、Apache Spark、HDFS、YARN、MapReduce、PID&HIVE、Flume&Scoop和Zookeeper的经验。
• 必须有6年维护一流数据驱动应用程序的经验。
• 必须具备24/7运行时间和严格的SLA经验。
• 广泛的维护数据管道的经验,聚合和转换来自各种数据源的原始数据。
• 广泛的优化数据传递经验,并通过大数据框架帮助重新设计以提高性能、处理、转换和管理大数据。
• 广泛的维护在分布式Hadoop存储之上并行处理的处理数据,使用MapReduce。
• 必须具备SOA-设计原则的经验。
• 必须具备Scala、Java、Python或GO的编程经验5年以上
• 必须具备在Hadoop/Spark上开发的经验5年以上。
• 必须具备在Microsoft SQL Server和PostgreSQL等关系型数据库上开发的经验6年以上。
• 必须具备处理大数据集的经验
• 接触数据清洁例程和模型
• 数据库维护经验。
• 能够识别问题,并有效地向团队提出解决方案。
职责:
• 设计和实施可扩展的数据管道,用于从各种来源摄取和整合大量数据,确保高效可靠的数据传输。
• 开发和维护优化存储、检索和处理大数据的数据模型,考虑性能、可扩展性和数据质量等因素。
• 设置和管理用于大数据处理的基础架构,利用Hadoop、Spark和分布式数据库等技术。监视和优化系统性能,以满足所需的数据处理和存储需求。
• 实施处理框架和算法,用于分析和转换原始数据为有意义的见解。使用Python、Scala或Java等编程语言开发高效的数据处理应用程序。
• 实施和执行安全措施,以保护敏感数据在数据生命周期中的安全。确保符合数据治理和隐私法规,并设计符合行业最佳实践的解决方案。
• 不断优化和微调大数据应用程序和基础架构,以提高性能、可扩展性和资源利用率。识别和解决数据处理管道中的瓶颈,以提高效率。
• 与数据科学家、分析师和业务利益相关者等跨职能团队合作,了解数据需求并提供有效的解决方案。向非技术人员传达技术概念和发现。