角色:雪花开发人员
地点:伊利诺伊州芝加哥(现场工作)
期限:长期合同
主要技能:
1. 雪花开发
2. Kafka
3. 微软 Azure
4. Databricks
关键职责:
数据集成:
实施和维护本地 Oracle 数据库与雪花之间的数据同步,使用 Kafka 和 CDC 工具。
支持数据建模:
协助开发和优化雪花的数据模型,确保其支持我们的分析和报告需求。
数据管道开发:
设计、构建和管理 ETL 过程的数据管道,使用 Airflow 进行调度,使用 Python 进行脚本编写,将原始数据转换为适合我们新雪花数据模型的格式。
报告支持:
与数据架构师合作,确保雪花中的数据结构化,以支持高效和深入的报告。
技术文档:
创建和维护数据管道、ETL 过程和数据模型的全面文档,以确保遵循最佳实践并在团队内共享知识。