负责理解和记录业务需求
- 管理数据和机器学习工程及数据运营团队
- 设计和开发大数据架构
- 深刻理解ETL方法论、大数据、API和数据仓库的原则、方法、技术和架构,包括数据仓库和数据集市的概念、设计和使用
- 与业务和技术团队紧密合作,理解、记录、设计、开发、编码和测试ETL流程
- 使用敏捷方法论、CI/CD和DevOps策略
- 设计数据流策略,确保遵循数据治理政策
- 设计、开发和协调Databricks作业,包括使用Python和SQL进行编码
- 编写、实施和维护适当的ETL流程
- 编写单元测试、用户验收测试并与业务用户验证
- 负责数据库的完整性、维护和变更
• *要考虑这个职位,你需要具备**:
- 商业管理/信息学或任何相关领域的学士学位或同等工作经验
- 微软大数据认证 - Azure或类似
- **8年以上**相关领域的经验
- **5年以上**大数据架构和工具的经验
- **5年以上**ETL工具(Talend、Azure DF或类似)的经验
- **3年以上**Azure Databricks的经验
- **3年以上**使用Python、SQL和/或Java进行开发的经验
- **3年以上**数据科学交付的经验(Azure ML、Databricks和/或Python)
- 对大数据工具(Databricks、Hadoop、Spark、Azure Data Lake、Hive、Pig等)有深入的知识和专业技能
- 必须具备显著的分析能力
- 使用Python、SQL的编程技能
- 具有数据科学解决方案(Azure ML、Databricks和/或Python)的经验
- 具有Microsoft Azure Data Factory的经验
- 显著的数据建模专业技能
- 理解使用Visual Studio和Team Foundation Server\GitHub
- 具有MS Azure Cloud的经验
- 具有Erwin等数据建模工具的经验
- 具有客户画像和主数据管理解决方案的经验
- 良好的沟通能力
- 项目管理和交付能力
- 领导和团队管理能力
• *可选**:
- 商业管理/信息学或任何相关领域的硕士学位或同等工作经验是可取的
- Talend和/或Azure DF的认证
- 10年以上相关领域的经验
- 3年以上数据可视化工具(Tableau或类似)的经验
- 3年以上作为经理或团队领导开发团队的经验
- 具有Tableau的经验