我们正在寻找一名具有Google Cloud Platform (GCP)服务实际经验的GCP数据工程师,特别是BigQuery,并且精通用于数据转换和建模的DBT(Data Build Tool)。该职位要求具备较强的SQL技能,扎实的数据仓库概念理解,以及基本的Python脚本和自动化能力。
主要职责:
- 设计、构建和维护基于GCP的可扩展数据管道,主要使用BigQuery。
- 开发和管理DBT模型,将原始数据转换为干净、经过测试和记录的数据集。
- 编写复杂且优化的SQL查询以进行数据提取、转换和分析。
- 实施和维护数据仓库解决方案,确保性能、可扩展性和可靠性。
- 与数据分析师、数据科学家和业务利益相关者合作,了解数据需求并提供高质量的解决方案。
- 监控和解决数据管道性能和数据质量问题。
- 在必要时使用Python脚本自动化数据工作流和任务。
- 确保符合数据治理、安全性和合规性标准。
所需资格:
- 计算机科学、信息系统或相关领域的学士学位。
- 4-5年数据工程或类似职位的工作经验。
- 精通SQL,能够编写高效、复杂的查询。
- 精通DBT进行数据建模和转换。
- 具备BigQuery和其他GCP数据服务的实际操作经验。
- 对数据仓库原则和最佳实践有扎实的理解。
- 具备基础到中级的Python脚本和自动化技能。
- 熟悉Git等版本控制系统。
- 优秀的问题解决和沟通能力。