5年以上数据工程经验,具备Azure Databricks、PySpark、Python和SQL的大规模数据处理的强大实践能力
在Azure上构建端到端ETL/ELT管道、处理结构化和半结构化数据的丰富经验
对Databricks Delta Lake有深入了解,包括Delta Live Tables(DLT)和流处理管道(具备此技能更佳)
对数据建模概念有扎实理解,包括SCD类型1和类型2的实现
具备Azure Data Factory(ADF)在编排和管道管理方面的良好工作知识
有使用Medallion架构(青铜、白银、黄金层)和数据质量最佳实践的经验
接触过AI/ML驱动的用例或分析工作负载是一个很大的优势
此外,具备Snowflake或迁移项目的知识或经验