标题:ETL数据工程师
地点:伊利诺伊州芝加哥
职位描述:
我们正在寻找一位经验丰富的ETL数据工程师来设计、开发和维护可扩展的数据管道和ETL流程。该角色需要与数据架构师、分析师和业务团队紧密合作,以确保跨平台的数据可靠摄取、转换和交付。
主要职责:
• 使用Databricks、PySpark和Python设计和实施ETL管道
• 使用SQL和分布式数据框架处理和转换大型数据集
• 在AWS上构建和优化数据工作流
• 确保数据解决方案的数据质量、性能和可靠性
• 与跨职能团队合作以支持分析和报告需求
必备技能:
• 丰富的ETL开发经验
• Databricks的实际操作经验
• 精通Python和PySpark
• 有AWS云服务经验
• 强大的SQL技能