职位名称:数据库开发人员
地点:新泽西州泽西城(混合型)3天现场,2天远程
该职位是为DBT开发人员而设。如果没有DBT经验,他们也可以考虑具有丰富SQL经验的人员,因为很难找到DBT经验的人。
要求详情
简要描述:
负责利用dbt对我们组织的数据分析堆栈中的数据进行转换、建模和管理。优化数据工作流程,确保数据准确性,并为数据分析和报告提供结构化基础。
完整描述:
注意:这是一个混合型职位 - 3天现场,2天远程。
dbt(数据构建工具)开发人员负责利用dbt对组织的数据分析堆栈中的数据进行转换、建模和管理。dbt开发人员在优化数据工作流程、确保数据准确性并为数据分析和报告提供结构化基础方面发挥着重要作用。
职责
1. 数据转换和建模
- 使用dbt设计和实现数据转换和模型,以创建结构化、清洁和聚合的数据集。
- 开发和维护准确表示业务逻辑和数据要求的dbt模型。
2. SQL技能
- 使用dbt编写和优化SQL查询,从各种来源(例如数据库、API、平面文件)提取、操作和连接数据。
- 确保SQL代码符合可读性、性能和可维护性的最佳实践。
3. 版本控制
- 使用版本控制系统(例如Git)管理dbt代码库,实现协作开发并跟踪变更。
- 与数据工程师和分析师合作,协调代码变更。
4. 测试和文档
- 在dbt中实施单元测试,验证数据转换的准确性和可靠性。
- 记录dbt模型、数据血缘和转换,以促进理解和协作。
5. 自动化
- 安排和自动化dbt运行,使数据模型保持最新并与源系统同步。
- 根据需要实施数据编排和调度。
6. 数据质量保证
- 在dbt中开发和执行数据质量检查和验证,以识别和纠正数据问题。
- 监控数据质量和完整性,对异常或差异进行响应。
7. 性能优化
- 优化dbt模型和查询的性能,识别和解决瓶颈问题。
- 分析和微调数据处理流程,以满足性能要求。
8. 协作
- 与数据工程师、数据分析师和业务利益相关者密切合作,了解数据需求并提供数据解决方案。
- 参与跨职能团队,并为与数据相关的项目做出贡献。
9. 安全和合规性
- 通过适当的数据处理实践,确保数据安全和符合相关数据保护法规(例如GDPR、HIPAA)。
10. 知识共享
- 与团队成员分享dbt最佳实践和数据建模技术的知识。
- 向数据分析师和其他dbt用户提供培训和支持。
资格要求
- 计算机科学、数据科学或相关领域的学士或硕士学位。
- 熟练掌握SQL,并具有与关系数据库的工作经验。
- 在数据仓库环境(例如Snowflake、BigQuery、Redshift)中使用dbt进行数据转换和建模的经验超过3年。
- 7年以上使用类似dbt的业务规则引擎构建业务规则的经验。
- 熟悉版本控制系统(例如Git)和代码协作工作流程。
- 出色的数据分析和问题解决能力。
- 高度重视细节和对数据质量的承诺。
- 理解数据仓库概念和最佳实践。
- 了解数据治理和数据安全原则。
- 有效的沟通和协作能力,能够与不同团队合作。
- 具备其他数据工具和语言的经验(例如Python、R、Looker)将是一个加分项。