职位名称:高级数据工程师
地点:洛杉矶,加利福尼亚州,90012
期限:12个月
所需技能:
- 云平台:深入了解Azure生态系统,包括Azure数据工厂、数据湖存储、Blob存储、Power Apps和Functions。此外,深入理解和实施API管理,如Apigee。
- 大数据技术:精通Databricks、Spark、PySpark、Scala和SQL。
- 数据工程基础:ETL/ELT流程、数据管道、数据建模、模式设计和数据仓库方面的专业知识。
- 编程语言:强大的Python和SQL技能,了解Scala或R等其他语言更佳。
- 数据仓库和商业智能:强大的ERD概念、设计和模式,理解OLAP/OLTP系统、性能调优、数据库服务器概念和BI工具(Power BI、Tableau)。
- 数据治理:对RBAC/ABAC、数据血缘、数据泄漏防护、数据安全和合规性有深入理解。对云中的审计和监控有深入的理解和实施知识。
- 基础设施部署:GitHub版本控制、CI/CD管道、发布管理、Terraform和YAML模板以及基于脚本的部署。
所需工作经验:
- 七(7)年应用企业架构原则的经验,其中至少五(5)年担任领导角色。
- 五(5)年Azure数据工厂、Azure Databricks、API实施和管理解决方案以及管理Azure资源的实际经验。
- 五(5)年以下领域的经验:使用Python开发数据模型和管道;与Lakehouse平台合作;GitHub CI/CD管道和基础设施自动化,Terraform脚本;以及数据仓库系统、OLAP/OLTP系统和BI工具的集成。
所需教育/培训:
- 此职位要求拥有IT相关或工程领域的学士学位。