主要职责
• 设计、构建和维护强大的数据管道。
• 增强和优化数据处理工作流程,以支持可扩展性。
• 识别和解决数据查询和管道中的性能问题。
• 与其他团队紧密合作,支持和改进数据存储和转换流程。
• 为未来发展的战略规划和技术决策做出贡献。
所需资格
• 5年以上数据开发相关经验。
• 精通Python,具有较强的开发和管理面向对象应用程序的能力。
• 具有批量数据处理和处理大规模自动化数据操作的经验。
• 精通ETL管道和管理数据湖。
• 广泛了解AWS、Docker和版本控制系统,包括GitLab或GitHub。
• 具备Linux,Bash的能力,并了解Linux服务器操作和架构。
• 能够利用分析器和调试器进行有效的故障排除。
• 具有分析和增强各种数据查询,作业和管道性能的经验。