**主要职责**
- 设计、开发和维护稳健的数据管道和ETL流程，以支持分析和报告需求。
- 与数据科学家、分析师和业务利益相关者合作，了解数据需求并提供高质量的解决方案。
- 实施跨结构化和非结构化数据源的数据集成解决方案。
- 确保数据生命周期各阶段的数据质量、完整性和安全性。
- 优化云端和本地环境中的数据工作流，以提高性能和可扩展性。
- 支持客户项目的数据迁移和转换计划。
- 监控和排除数据管道问题，并提供及时的解决方案。
**所需资格**
- 计算机科学、信息系统、工程或相关领域的学士学位。
- 3年以上数据工程或相关职位的经验。
- 熟练掌握SQL和Python或Scala。
- 具有使用Apache Spark、Kafka、Airflow或类似工具的数据管道工具经验。
- 熟悉云平台（AWS、Azure或GCP）。
- 对数据仓库概念和工具有深入理解（例如，Snowflake、Redshift、BigQuery）。
- 了解数据治理、安全和合规标准。
