工作描述
什么让高知特成为一个独特的工作场所？快速增长和国际创新环境的结合！这为像你这样的人创造了许多机会——具有创业精神的人，他们希望在这个世界上产生影响。在高知特，与来自世界各地的同事一起，你将合作为世界领先公司创造解决方案，帮助他们变得更加灵活、创新和成功。此外，这是你成为成功故事一部分的机会。
职位摘要：
· 使用Apache开源技术构建强大的批处理应用程序，以满足金融犯罪合规要求，为消费品和商业产品交易提供高质量、一致、结构化的数据。通过摄入批处理框架进行数据扫描，以发现金融欺诈，引领澳大利亚金融犯罪领域。
· 具有数据内容架构设计的系统思维，将构建一个指标层来处理大规模数据，并构建强大的数据建模，以生成高质量、一致、结构化的公共云服务数据。
· 必须具备强大的客户投诉领域知识，能够处理客户投诉量，并生成报告，帮助相关团队了解客户需求或问题，提供优质服务。
· 精通现代批处理数据处理技术，能够理解复杂的业务需求，包括在云服务中进行摄入、丰富、转换等处理能力。
· 构建企业的数据收集系统和处理管道，用于处理来自Oracle、SQL Server和IBM DB2等各种源系统的内部/外部数据，以便进行更深入的分析和报告，了解客户需求。
必备技能：
· 至少12年以上的数据工程师专业经验，具有银行金融、保险和抵押贷款领域的广泛知识。
· 至少10年以上的Hadoop技术栈实际经验，包括HDFS、Yarn、MapReduce、HBase、Hive、Sqoop、Pig、Phoenix、Zookeeper、Flume、Oozie和Hue。
· 至少5年以上使用现代流式框架（包括Spark Structured Streaming、Kafka、Sqoop、Oozie、Databricks和Snowflake）设计和实现面向流式的应用程序的实际经验。
· 至少5年以上的NoSQL数据库（如HBase、MongoDB和Phoenix）经验。
· 必须具备代码管理和构建工具（如Git、Bitbucket、GitHub、SVN、Maven和SBT）的丰富经验。
· 必须具备Jenkins、Bamboo和Azure DevOps等CI/CD部署工具的实际操作经验。
· 熟练掌握Java、Scala、Python和SQL等相关编程语言。
· 熟练掌握Azure云服务，包括ADLS2、HD Insight、Azure SQL、Azure Data Factory、Cosmos DB、Azure Blob Storage和Azure Databricks。
· 熟练掌握使用现代数据架构的流式架构模式。
· 熟练分析数据架构的业务需求，包括SQL/NoSQL数据库。
· 在本地和云环境中具备数据仓库和数据湖的工作知识。
角色和责任：
· 负责设计和实施自动化的大规模、高性能分布式数据处理系统（批处理/流式），推动业务增长和改善产品体验。
· 在各种环境中工作，构建系统，收集、管理和转换所有原始数据，包括但不限于客户数据、产品数据、财务数据和运营数据，以便业务利益相关者、数据科学家和业务分析师进行解读。
· 协助制定数据治理政策和程序，以保护客户的个人数据，并帮助企业遵守政府法规和安全标准。
· 倡导高质量的软件工程实践，以构建可扩展的数据基础设施和管道。
· 领导数据工程项目，确保管道可靠、高效、可测试和可维护，并主要负责架构解决方案。
· 为最佳存储和检索性能设计数据内容模型，以满足关键产品和业务需求。
· 与业务利益相关者、数据科学家和软件工程师合作，了解数据需求并开发解决方案。
· 设计和实施针对性能和可扩展性进行优化的数据模型。
· 监控数据质量，并在必要时采取纠正措施。
· 了解数据工程领域的新技术和方法，并提出改进数据架构的建议。
· 指导团队的初级成员，并就最佳实践提供指导。
· 参与代码审查，并就设计和实施提供反馈。
· 在发生生产问题时提供故障排除。
薪资范围：> 10万美元
下一步：
如果您对此职位感兴趣，请立即点击“申请”按钮。感谢您对我们的机会感兴趣。有关高知特的全部机会，请访问http://www.cognizant.com/careers
高知特致力于提供平等就业机会。成功的候选人将需要进行背景调查。
#LI-CTSAPAC 
悉尼