Nuage与一家全球咨询公司合作，寻找一位中高级数据工程师。作为一个充满活力的团队成员，您将在AWS Databricks平台上制定、执行和增强数据处理工作流程中发挥关键作用。该职位要求在云计算、数据工程和编程方面有坚实的基础，特别强调Python和PySpark。
职责：
• 使用AWS Glue设计和实现端到端的ETL流程，从Amazon S3中提取、转换和加载数据。
• 利用AWS Databricks进行协作和可扩展的大数据分析、处理和机器学习任务。
• 使用Python和PySpark在AWS Glue和Databricks中开发和维护数据转换脚本和作业。
• 在AWS Glue和Databricks中实现和优化数据处理工作流程，以满足性能和可扩展性要求。
• 不断改进ETL流程，提高效率和可维护性。
技能：
• 在AWS Glue中进行ETL（提取、转换、加载）任务方面的专业知识，实现高效的数据处理和转换。
• 深入了解AWS Databricks，用于协作和可扩展的大数据分析和处理。
• 熟练掌握Python和PySpark，在AWS Glue、Databricks和Lambda环境中进行编码。
• 使用AWS Glue、Databricks和Lambda设计和实现数据转换和清洗流程的经验。
• 能够处理大型数据集，并优化ETL工作流程以提高性能。
• 熟悉AWS Glue和Databricks中的数据编目和元数据管理。
• 了解AWS安全实践以及在S3、Glue、Databricks和Lambda中实施访问控制。
必须具备澳大利亚的全职工作权（至少持有澳大利亚永久居民身份或澳大利亚公民身份）。
如果您在AWS数据经验方面有深度，并且热衷于塑造数据工程的未来，并且喜欢应对复杂的挑战，请申请这个令人兴奋的机会。
如需了解澳大利亚技术市场的更多信息，请随时关注我们的LinkedIn页面：Nuage Technology Group，或访问我们的网站www.nuagetg.io。 
悉尼