职位名称：Azure数据工程师
地点：洛杉矶，加利福尼亚（混合办公）
我们正在寻找具有SQL、Python、数据仓库、云ETL工具强大专业技能的Azure数据工程师加入我们的数据团队。理想的候选人将设计、实施和优化大规模数据管道，确保可扩展性、可靠性和性能。此角色需要与多个团队和业务利益相关者密切合作，以提供尖端的数据解决方案。
技术技能：
• 在Databricks方面具有强大专业技能（Delta Lake、Unity Catalog、Lakehouse架构、表触发器、Delta Live Pipelines、Databricks Runtime等）。
• 熟练掌握Azure云服务。
• 对Spark和PySpark用于大数据处理有扎实的理解。
• 具有关系数据库的经验。
• 了解Databricks资产包和GitLab。
优先经验：
• 熟悉Databricks Runtimes和高级配置。
• 了解如Spark Streaming等流处理框架。
• 具有开发实时数据解决方案的经验。
认证：
Azure数据工程师助理或Databricks认证的数据工程师助理认证。（可选）
主要职责：
数据管道开发：
• 使用Databricks构建和维护可扩展的ETL/ELT管道。
• 利用PySpark/Spark和SQL转换和处理大型数据集。
• 集成来自多个来源的数据，包括Azure Blob存储、ADLS和其他关系/非关系系统。
协作与分析：
• 与多个团队密切合作，为仪表板和BI工具准备数据。
• 与跨职能团队合作，理解业务需求并提供量身定制的数据解决方案。
性能与优化：
• 优化Databricks工作负载以提高成本效率和性能。
• 监控和排除数据管道故障，以确保可靠性和准确性。
治理与安全：
• 使用Unity Catalog实施和管理数据安全、访问控制和治理标准。
• 确保符合组织和法规的数据政策。
部署：
• 利用Databricks资产包实现Databricks作业、笔记本和配置在不同环境中的无缝部署。
• 管理Databricks工件的版本控制，并与团队合作以维护开发最佳实践。
