职位描述
职位名称：数据工程师 - Databricks 性能与优化
工作地点：休斯顿，德克萨斯州
薪酬：基本工资范围：$130,000–$150,000，外加5%奖金。
福利：提供福利计划（细节待讨论）。此职位符合福利资格。
资格要求：使用Delta Lake、Delta Live Tables (DLT) 和/或 Jobs在Databricks上构建和操作Lakehouse管道（Bronze/Silver/Gold）。
- 优化数据摄取模式（Autoloader、CDC、流处理）。
- 建模数据，实施质量检查和性能优化。
- 分析和优化Spark/SQL工作负载：分区、聚类、约束、液体聚类。
职位描述：
- 为速度和成本设计Delta表：分区、Z-Ordering/聚类、约束、文件大小；通过Auto Optimize、OPTIMIZE和VACUUM管理表健康。
- 实施增量处理（使用Change Data Feed的MERGE，APPLY CHANGES INTO），确保幂等性和精确一次交付。
- 提供可靠、文档齐全的数据集，并有明确的SLA。
- 使用Power BI和其他可视化工具设计和实现仪表板和报告。
- 与业务部门合作，收集需求并提供技术解决方案。
- 整合来自多个来源的数据，包括实时现场设备和传感器。
- 教育和支持利益相关者使用数据工具和最佳实践。
- 参与持续改进和新数据管理技术的采用。
