领导 Azure Databricks / 数据工程师 - 新数据湖建设
我们正在招聘一位领导 Azure Databricks / 数据工程师,要求在 Azure Databricks 领域有 5 年经验,并且在担任领导数据工程师的 1-2 年经验中,专注于开发数据管道、数据仓库、数据湖以及类似的用于商业智能、报告和分析的数据存储库。
我们的客户正在构建一个新的数据湖,您将与其他四名稍微年轻一些的数据工程师密切合作,按照已经批准的战略工作,确保解决方案具有可扩展性,并且正确的监控已经就位。您将成为业务上关于数据湖的所有事宜的“联系人”,因此,您需要对此具有良好的扎实的技术理解,并具有在商业世界中构建解决方案的可证明背景。
要被考虑,您需要在以下领域具有专业知识:扎实的 SQL 技能,扎实的 Python 技能(能够在 Databricks 笔记本中使用 Python 编程概念进行数据加载、转换和探索,包括熟悉 Pandas),以及对核心 Databricks 和 Spark 概念的深入了解,如 Delta Lake、Medallion 架构、Dataframes、工作流、Unity 目录、Delta Live Tables 和 UDF's。您还应具备 ADF、ADLS Gen2 和 Azure 云生态系统的经验。
该职位是远程职位,但在团队聚会时,您需要参加这些会议。
薪资:每年最高 £80,000,根据经验而定
地点:远程 - 英国/欧洲