5年以上数据工程、ETL开发或数据仓储经验，具备使用Airflow、Luigi、dbt等工具设计和管理ETL/ELT流程的能力，以实现数据流和转换的自动化。拥有大数据工程和数据管道优化的经验，精通SQL用于数据操作和查询，具备Python和至少另一种语言（Scala/Java）的强大编码能力。具有云数据平台（Azure/AWS/GCP）的实际操作经验，具备强大的分析能力，能够处理大规模非结构化数据集。能够诊断数据问题、优化性能，并有效地与技术和非技术利益相关者沟通技术解决方案。教育资格：需要计算机科学、工程或相关领域的学士学位。设计、实施和维护强大的ETL/ELT流程，以从多个来源导入、清理和转换数据。处理和管理复杂的数据集以支持业务和分析需求。定期测试和增强数据管道以提高效率。实施数据验证、测试和监控的最佳实践，主动识别和解决问题以维护数据完整性。与软件工程师和人工智能/机器学习工程师合作，确保数据易于访问。实施数据治理、安全性和质量保证的最佳实践。记录数据结构、血缘和元数据，以确保透明性和可重复性。
