数据工程师,BI/软件开发方面的扎实经验、知识和技能,如ELT/ETL、数据提取和处理在数据湖/数据仓库环境中。- 在数据建模、分析和分析方面有经验。- 在多样化数据领域工作的经验。- 持续改进和性能优化实践,确保高水平的性能、可用性和完整性。- 具备咨询和指导经验。- 在敏捷环境中工作的经验。- 对数据工程实践和大数据技术有深入了解。- 熟练掌握SQL及其大数据变体(Hive: QL、Snowflake ANSI、Redshift SQL)。- Python和Spark及其API之一(PySpark、Spark SQL、Scala)、Bash/Shell脚本。- 熟悉源代码控制:GitHub、VSTS等。- 了解并接触到大数据技术Hadoop堆栈,如HDFS、Hive、Impala、Spark等,以及云大数据仓库:RedShift、Snowflake Databricks等。- 有UNIX命令行工具的经验。- 了解AWS技术,包括EMR、Glue、Athena、Data Pipeline、Lambda等。关于XPT:- XPT Software Australia PTY Ltd成立于2016年,是一家为澳大利亚的银行、保险、电信、矿业和制造等领域的各种客户提供软件服务的公司。- 我们在澳大利亚有90多名技术人员,在墨尔本、悉尼、布里斯班、珀斯、阿德莱德等客户项目地点工作。- 我们与客户合作提供IT服务、研发、员工增补和澳大利亚永久雇佣需求- XPT Software Australia是一个拥有全球业务的集团公司,业务遍布印度(班加罗尔、昌迪加尔)、欧洲(柏林、瑞典、波兰)- 我们通过本地雇佣或赞助工作签证为全球100多个客户提供服务,满足他们的现场:离岸需求- 凭借我们的优势和能力,我们希望在汽车、航空航天、金融服务、消费品/医疗保健和电信领域支持全球原始设备制造商、一线和二线公司- 访问下面的链接了解更多与我们合作的机会xptsoftware.au/careers