我们的联邦客户正在寻找一名IT Pipeline/Data Engineer，将在这些敏捷团队中工作，使用AWS云原生技术的第三方产品交付新的摄取、存储和消费模式，遵守客户的安全政策框架。这是一份为期12个月的合同工作，可根据需要延长3个12个月，地点位于堪培拉及其其他地点墨尔本中央商务区、机密中央商务区、机密中央商务区和阿德莱德。作为被选中的候选人，您将：开发使用Python和Apache Spark的AWS Lambda函数。使用AWS Step Functions编排流水线。编写RDS的SQL脚本或存储过程。使用CloudFormation部署AWS服务，使用CI/CD DevOps流水线。协助将功能转化为产品待办事项，并拆分为迭代任务。确保构建成果符合标准模式，例如合并安全要求、分支合规性等。解决构建评审中出现的问题，包括安全性、集成性和技术挑战。识别和验证与技术框架/实践的差异，必要时进行纠正以符合实践，或将同意的差异升级为分支更新。进行同行代码审查，确保代码按时提交以进行生产发布和测试环境，并根据需要进行技术部署验证。协助评估功能的优先级和准备情况，以便进行交付承诺。参与单元测试活动-验证数据的准确性，解决测试问题。监督TFS任务的完成，包括测试签署。与测试/环境/DevOps团队合作，开发自动化测试和部署流程。发布所构建内容的支持文档。为利益相关者展示交付成果。要在这个角色中取得成功，您应具备以下要求：精通Python语言和Apache Spark框架。精通AWS云原生服务，如Lambda、Glue、Step Functions、CloudFormation、S3等。精通编写SQL、Spark SQL和存储过程。具有使用Pytest等框架编写单元测试的经验。具有使用其他AWS云原生服务（如CloudWatch、CloudTrail、Kinesis、EventBridge、SQS等）的经验。具有在其他大数据/分析平台（如Teradata Data Warehouse、Cloudera Hadoop、Databricks）上工作的经验。要求精通敏捷交付方法，如Scrum等。安全许可证：基线或有能力获得此许可证。清晰的代码规范：强烈推荐。测试驱动开发：强烈推荐。自动化测试：强烈推荐。Linux：可取。ETL（抽取、转换、加载）经验：可取。大数据分析经验：可取。软件开发经验：可取。团队基础架构服务器（TFS）：可取。由于此职位需要安全许可证，请候选人必须具备现有的基线许可证或能够获得基线许可证方可申请。-请联系Ernest Yray，引用职位参考：-。我们强烈支持多样性和包容性。鼓励各国籍、性别认同和文化背景的人士申请，包括土著人和托雷斯海峡岛民。工作类型：全职就业类型：永久工作薪水：面议工作要求：最低经验：未指定 
悉尼