高级数据工程师-Hadoop技术栈

悉尼 21个月前全职 网络
面议
什么使得Cognizant成为一个独特的工作场所?快速增长和国际化创新环境的结合!这为像您这样具有创业精神、想要在这个世界上产生影响的人们创造了许多机会。在Cognizant,您将与来自世界各地的同事合作,为全球领先公司创造解决方案,帮助它们变得更加灵活、创新和成功。此外,这是您成为成功故事一部分的机会。 职位摘要: • 使用Apache开源技术构建稳健的批处理应用程序,以满足金融犯罪合规要求,为消费品和商业产品交易生成高质量、一致和结构化的数据。通过摄入批处理框架进行数据扫描能力,将用于在澳大利亚金融犯罪领域发现金融欺诈。 • 具备数据内容架构设计的系统思维,将构建一个处理海量数据的指标层,并构建强大的数据建模,以生成高质量、一致、结构化的数据,以供公共云服务使用。 • 必须具备强大的客户投诉领域知识,以处理客户投诉量,并生成报告,帮助相关团队了解客户需求或问题,提供优质服务。 • 精通现代批处理数据处理技术,能够理解复杂的业务需求,包括在云服务上进行摄入、丰富、转换等处理能力。 • 构建企业的数据收集系统和处理管道,用于处理来自Oracle、SQL Server和IBM DB2等各种源系统的内部/外部数据,以便进行更深入的分析和报告,了解客户需求。 强制技能: • 至少12年以上作为数据工程师的专业经验,对银行和金融、保险和抵押领域有广泛的了解。 • 至少10年以上的Hadoop堆栈实践经验,包括HDFS、Yarn、MapReduce、HBase、Hive、Sqoop、Pig、Phoenix、Zookeeper、Flume、Oozie和Hue。 • 至少5年以上使用现代流处理框架(包括Spark Structured Streaming、Kafka、Sqoop、Oozie、Databricks和Snowflake)设计和实现面向流处理的应用程序的实践经验。 • 至少5年以上的NoSQL数据库(如HBase、MongoDB和Phoenix)经验。 • 必须具备代码管理和构建工具(如Git、Bitbucket、GitHub、SVN、Maven和SBT)的丰富经验。 • 必须具备Jenkins、Bamboo和Azure DevOps等CI/CD部署工具的实践经验。 • 精通Java、Scala、Python和SQL等相关编程语言。 • 精通Azure云服务,包括ADLS2、HD Insight、Azure SQL、Azure Data Factory、Cosmos DB、Azure Blob Storage和Azure Databricks。 • 精通使用现代数据架构进行流架构模式。 • 精通分析数据架构的业务需求,包括SQL/NoSQL数据库。 • 熟悉在本地和云环境中的数据仓库和数据湖。 角色和责任: • 负责设计和实施自动化的大规模、高性能的分布式数据处理系统(批处理/流处理),推动业务增长,改善产品体验。 • 在各种环境中工作,构建系统来收集、管理和转换所有原始数据,包括但不限于客户数据、产品数据、财务数据和运营数据,以便业务利益相关者、数据科学家和业务分析师进行解读。 • 协助制定数据治理政策和程序,以保护客户个人数据,并帮助企业遵守政府法规和安全标准。 • 倡导高质量的软件工程实践,以构建可扩展的数据基础设施和管道。 • 领导数据工程项目,确保管道可靠、高效、可测试和可维护,并负责架构解决方案。 • 为最佳存储和检索性能设计数据内容模型,以满足关键产品和业务需求。 • 与业务利益相关者、数据科学家和软件工程师合作,了解数据需求并开发满足这些需求的解决方案。 • 设计和实施以性能和可扩展性为优化目标的数据模型。 • 监控数据质量,并在必要时采取纠正措施。 • 了解数据工程领域的新技术和方法,并提出改进数据架构的建议。 • 指导团队的初级成员,并提供最佳实践的指导。 • 参与代码审查,并对设计和实现提供反馈。 • 在发生生产问题时提供故障排除支持。 薪资范围:100,000美元以上 下一步: 如果您对这个职位感兴趣,请立即点击申请按钮。感谢您对我们机会的关注。有关Cognizant的完整机会列表,请访问http://www.cognizant.com/careers Cognizant致力于提供平等的就业机会。成功的候选人将需要进行背景调查。