项目描述 我们正在寻找一位经验丰富的高级数据目录解决方案工程师/架构师,以设计、实施和发展我们的企业级数据目录平台。这个角色在将先进的技术能力与业务需求结合起来方面至关重要,确保数据在大规模上是可发现的、可信赖的且受到管理。您将负责架构集成、执行治理标准,并使不同团队和系统能够自助访问数据。我们的客户团队由前端和后端开发人员、数据分析师和数据科学家、架构师、分析师以及项目经理组成。
职责 职责包括(但不限于):
架构与实施数据目录解决方案 领导企业数据目录(包括data.world)的部署和配置,确保与组织的数据治理框架保持一致。
元数据与血缘管理 设计元数据模型、血缘追踪机制和业务术语表;实施自动化元数据丰富、敏感数据检测和信任指标。
集成与自动化 开发和维护与云端和本地系统(例如:Snowflake、Databricks、Tableau、Power BI、Salesforce)的连接器,实施REST API和Webhook集成,并实现近实时的元数据同步。
数据治理赋能 配置RBAC、数据所有权模型、审批工作流和生命周期追踪;为“黄金”数据集建立认证流程。
数据质量与可观察性 与DQ/DO平台(例如:Monte Carlo、Anomalo、Soda)集成,在目录中显示质量指标,并构建治理仪表板以监控健康、及时性和合规性。
影响分析与变更管理 利用血缘图进行上下游影响评估,管理模式漂移,并协调受控的元数据/模式发布。
协作与采纳 为分析师、数据工程师和业务主管提供技术指导;创建最佳实践文档、入职指南和培训课程以推动平台的采纳。
技能 必须具备 经验:在数据架构、数据工程或元数据管理方面拥有7年以上的经验,并直接实施过企业数据目录平台(data.world、Collibra、Alation、Informatica EDC或类似)。 在企业级规模上直接实施过data.world的经验。 具备设计可扩展的元数据模型、管理业务术语表和实施自动化丰富流程(在适用情况下基于AI/ML)的能力。 具有API、RESTful服务、Webhook/事件驱动自动化和批量元数据导入/导出流程的实际经验。 对于跨摄取、转化和可视化层的血缘捕获有深入理解;具有跨平台血缘可视化工具的经验。 深刻了解RBAC、敏感数据处理(PII/PHI/PCI)、审批工作流及合规框架(GDPR、CCPA、HIPAA)。 数据治理作为原则。 熟悉将目录平台与DQ/DO工具集成;能够解读和呈现信任指标和KPI。 技术栈:精通SQL和一种或多种脚本语言(Python、Bash等);具有云数据生态系统(AWS、Azure、GCP)的经验。 强大的利益相关者参与、需求收集和跨职能沟通能力;能够将技术概念转化为业务价值。
附加技能 在企业级规模上直接实施过data.world的经验。 熟悉语义知识图谱、本体/分类建模和基于元数据的AI能力。 RDF / SPARQL。 设计PB级元数据和治理解决方案的背景。 出色的逻辑推理和问题解决能力。 渴望学习新技术,具备“能做”的心态。 在处理需求时具备算法思维和创新思维。 有与云基础设施平台集成的经验,尤其是Microsoft Azure。 理解金融数学。
其他 语言 英语:C1 高级 职级 领导