GCP数据工程师

芝加哥 29天前全职 网络
63.3万 - 91.4万 / 年
我们正在寻找一名具有Google Cloud Platform (GCP)服务实际经验的GCP数据工程师,特别是BigQuery,并且精通用于数据转换和建模的DBT(Data Build Tool)。该职位要求具备较强的SQL技能,扎实的数据仓库概念理解,以及基本的Python脚本和自动化能力。 主要职责: - 设计、构建和维护基于GCP的可扩展数据管道,主要使用BigQuery。 - 开发和管理DBT模型,将原始数据转换为干净、经过测试和记录的数据集。 - 编写复杂且优化的SQL查询以进行数据提取、转换和分析。 - 实施和维护数据仓库解决方案,确保性能、可扩展性和可靠性。 - 与数据分析师、数据科学家和业务利益相关者合作,了解数据需求并提供高质量的解决方案。 - 监控和解决数据管道性能和数据质量问题。 - 在必要时使用Python脚本自动化数据工作流和任务。 - 确保符合数据治理、安全性和合规性标准。 所需资格: - 计算机科学、信息系统或相关领域的学士学位。 - 4-5年数据工程或类似职位的工作经验。 - 精通SQL,能够编写高效、复杂的查询。 - 精通DBT进行数据建模和转换。 - 具备BigQuery和其他GCP数据服务的实际操作经验。 - 对数据仓库原则和最佳实践有扎实的理解。 - 具备基础到中级的Python脚本和自动化技能。 - 熟悉Git等版本控制系统。 - 优秀的问题解决和沟通能力。