高级数据工程师 - CREQ177048 描述 数据解决方案架构师职位描述：活动：设计和开发可扩展的数据管道，包括批处理数据和事件数据设计、开发、测试、部署和维护数据平台（存储、API、管道、目录）处理各种类型的数据 - JSON、XML、Parquet、Avro、分隔文件实施数据可靠性、效率、性能和质量策略进行同行设计审查、代码审查、配对编程和功能测试，确保质量发布根据DevOps原则部署数据管道，并整合自动化测试自动监控数据管道和数据完整性展示新功能的设计，并获得利益相关者的批准在设计、开发和测试方面支持团队成员遇到障碍时必备条件：了解现代数据平台架构，包括基于事件的架构具有大型数据项目的基于配置的设计和开发的丰富经验掌握Python、SQL、Shell脚本、API和处理大型数据集的能力出色理解数据工程概念和数据建模具有使用AWS环境（包括S3、EC2、Redshift、Aurora、SQS、SNS、IAM等）的工作经验具有使用Kafka等流数据平台的经验具有CI/CD方法和基于代码构建基础架构的经验具有基于容器的开发和部署（如Docker）的经验遵守数据治理标准和原则Nice-to-have技能：具有Kubernetes和Argo工作流的经验具有AWS Glue、Lambda、EMR、DMS、CloudWatch、KMS、Secrets Manager的经验具有微服务架构的工作经验职位描述：了解数据平台的现有数据架构使用Kubernetes、Argo工作流、Python、Aurora PostgreSQL、Redshift、S3、Kafka设计、开发、测试和部署通用数据管道的功能在快节奏和敏捷的环境中工作，紧密遵守截止日期在高效的沟通和协作的团队环境中工作通过授权团队成员交付高质量的结果领导能力主要位置悉尼，新南威尔士州，澳大利亚工作类型有经验的主要技能Python经验年限8资质数据解决方案架构师职位描述：活动：设计和开发可扩展的数据管道，包括批处理数据和事件数据设计、开发、测试、部署和维护数据平台（存储、API、管道、目录）处理各种类型的数据 - JSON、XML、Parquet、Avro、分隔文件实施数据可靠性、效率、性能和质量策略进行同行设计审查、代码审查、配对编程和功能测试，确保质量发布根据DevOps原则部署数据管道，并整合自动化测试自动监控数据管道和数据完整性展示新功能的设计，并获得利益相关者的批准在设计、开发和测试方面支持团队成员遇到障碍时必备条件：了解现代数据平台架构，包括基于事件的架构具有大型数据项目的基于配置的设计和开发的丰富经验掌握Python、SQL、Shell脚本、API和处理大型数据集的能力出色理解数据工程概念和数据建模具有使用AWS环境（包括S3、EC2、Redshift、Aurora、SQS、SNS、IAM等）的工作经验具有使用Kafka等流数据平台的经验具有CI/CD方法和基于代码构建基础架构的经验具有基于容器的开发和部署（如Docker）的经验遵守数据治理标准和原则Nice-to-have技能：具有Kubernetes和Argo工作流的经验具有AWS Glue、Lambda、EMR、DMS、CloudWatch、KMS、Secrets Manager的经验具有微服务架构的工作经验职位描述：了解数据平台的现有数据架构使用Kubernetes、Argo工作流、Python、Aurora PostgreSQL、Redshift、S3、Kafka设计、开发、测试和部署通用数据管道的功能在快节奏和敏捷的环境中工作，紧密遵守截止日期在高效的沟通和协作的团队环境中工作通过授权团队成员交付高质量的结果旅行否 
悉尼