职位名称：高级数据工程师 - Databricks
工作地点：阿布扎比/浦那/古尔冈/博帕尔/钦奈/孟买
经验要求：5年以上
角色与职责：
- 设计、构建和优化使用Databricks（Spark, Delta Lake）的可扩展数据管道
- 开发和维护批处理和流数据的ETL/ELT工作流
- 处理来自多个来源的结构化和半结构化数据
- 优化Spark作业以提高性能、降低成本和提高可靠性
- 实施数据质量、验证和监控框架
- 与数据科学家、分析师和利益相关者合作，提供可用于分析的数据集
- 管理数据湖和湖仓架构中的数据模型
- 确保数据安全、治理和合规的最佳实践
技能与要求：
- 5年以上数据工程师经验
- 拥有Databricks和Apache Spark的丰富实践经验
- 熟练掌握Python和/或Scala, SQL
- 具有Delta Lake和湖仓架构的经验
- 深入了解ETL/ELT、数据建模和性能调优
- 具有云平台（AWS / Azure / GCP）经验
- 熟悉流处理框架（Kafka, Structured Streaming）
- 理解数据治理、安全和访问控制
- 优秀的问题解决和沟通能力
