角色简介:数据工程师 直接汇报给:首席数据工程师
背景:一家快速增长的专业(再)保险组织正在建立其技术和数据基础设施。此角色支持安全、可扩展的云数据解决方案的交付,以符合业务和合规需求。
主要职责:
• 设计、构建和维护云原生数据管道(Azure/GCP)
• 实施可扩展的数据管理框架:可观察性、验证、数据血统
• 将业务需求转化为有效的技术原型和解决方案
• 与利益相关者、数据团队和服务合作伙伴协作
• 确保数据安全、治理和合规性
• 监控和优化云资源的使用和性能
• 自动化数据生命周期任务,提高速度、一致性和可靠性
• 为自助工具支持分析团队提供干净、建模的数据
• 指导同行,分享文档,支持技术最佳实践
• 在云平台之间集成基础设施和数据服务
技能和经验:
• 云平台的专业知识:
• Azure:数据工厂、Synapse、监控、ARM
• GCP:BigQuery、Dataflow、Cloud Composer、Pub/Sub
• 深厚的数据仓库、存储和建模知识
• 具备ETL/ELT流程和性能调优经验
• 具备自动化的实践脚本编写能力(Python、PowerShell)
• 熟悉CI/CD工具(Azure DevOps、GitHub Actions)
• 基础设施即代码:Terraform、ARM模板
• 具备数据目录(Azure Purview、GCP 数据目录)的工作知识
• 了解GDPR、HIPAA、RBAC、加密和审计
• 熟悉保险数据:投保、索赔、保单、承保
• 有效的利益相关者沟通和交付重点
• 在快节奏环境中具备强大的项目和时间管理能力
期望的工具和技术:
• Power BI、Tableau、Looker、Domo
• 数据治理和元数据管理工具
• 用于数据工作流的DevOps,混合/多云架构
• 监控和成本优化工具(Azure Monitor、GCP成本工具)
文化与行为:
• 作为诚信、专业和团队合作的榜样
• 坚持所有合规、法律和内部政策标准
• 在所有技术工作中寻求创新和持续改进