关键责任
• 评估当前的数据架构和解决方案
• 为目标数据平台设计高层次的数据架构和数据管理解决方案
• 设计、开发和维护与组织战略目标一致的数据架构
• 与解决方案架构师协调,推荐最适合的数据平台技术组件
• 构建强大的数据管道,以支持可扩展的数据摄取、转换和交付
• 部署集成系统,以使用实时或批处理摄取技术从各种来源收集数据
• 建立数据治理政策和程序,以确保数据质量、一致性、隐私以及遵守相关法规
• 实施数据安全措施,以保护敏感信息并确保数据免受未经授权的访问或泄露
• 参与产品路线图规划,推荐解决方案
• 监督数据标准的创建
• 通过概念数据模型开发实体和关系的高层次描述
• 开发概念数据模型,该模型将作为在数据架构所有层次中实施的数据设计的表示
• 开发和实施数据管理政策、标准和程序
• 与客户利益相关者合作,了解他们的数据需求和要求
• 领导并指导初级架构师和工程师,培养技术卓越、持续学习和创新的文化
期望的经验和资格
• 计算机科学、信息技术或相关领域的学士学位(相关领域的硕士或博士学位优先)
• 至少8年以上作为数据架构师的证明经验,专注于数据与人工智能转型架构
• 有使用多跳架构构建数据管道的经验
• 深入了解数据管理概念和最佳实践
• 熟悉行业标准的企业架构框架(例如,TOGAF,Zachman)
• 深入理解行业标准的数据管理成熟度框架(即,DAMA-DMBOK,DCAM,CMMI CERT-RMM,IBM数据治理委员会,斯坦福数据治理,和Gartner的企业信息管理)
• 技术专长:
• 编程语言:精通Python、Java、Scala和R。
• 数据管理与数据库:Oracle、SAP、SQL、NoSQL和数据仓库解决方案。
• 大数据技术:Apache Hadoop、Spark、Kafka和其他大数据工具。
云平台:
• Microsoft Fabric
• Azure(Synapse Analytics、Databricks、机器学习、人工智能搜索、函数等)
• Azure上的Databricks
• AWS(S3、Redshift、SageMaker等)
• Google Cloud Platform(BigQuery、Dataflow等)
数据治理:
Ab Initio、Informatica、Collibra、Purview、IBM InfoSphere、Great Expectations、Deepchecks、Databricks的Unity Catalog、Delta Sharing、Catalog Explorer、审计日志和身份管理。
• 数据可视化:Matplotlib、Seaborn、Tableau和Power BI。
• DevOps和MLOps:CI/CD原则、Docker、MLFlow和Kubernetes。
• 对数据建模、数据库设计、数据集成和ETL过程有深入了解
• 精通SQL和NoSQL数据库
• 精通Web技术和语言
• 相关认证(例如,Azure或AWS认证解决方案架构师,TOGAF等)为加分项。