要求
• 这个关键角色需要技术能力和领导能力的结合,最适合热衷于塑造数据工程未来的专业人士,
• 经验:具备8年以上的数据工程经验,并在设计和管理大规模数据系统方面有着良好的业绩记录,
• 领导数据工程团队的经验至关重要,
• 技术专长:精通大数据技术(如Hadoop、Spark)、数据库管理系统(如SQL、NoSQL)、云服务(如AWS、Azure、GCP)和编程语言(如Python、Scala、Java),
• 熟练掌握AWS、Databricks、Snowflake等现代数据工具。具备大数据技术、实时数据处理和基于云的系统的经验,
• 领导能力:强大的领导能力和团队建设能力,
• 能够指导和发展技术团队,
• 解决问题:出色的解决问题能力,能够处理复杂的系统和挑战,
• 沟通:优秀的沟通和人际交往能力,能够与技术和非技术利益相关者有效沟通,
• 熟练掌握Python和SQL的编程技能,
• 对分布式系统和Spark分布式数据处理引擎有了解,
• 有使用支持数据摄取、处理、存储和交付的ETL工具和流程(如Airflow)的经验,
• 了解数据安全和隐私规定,以及如何确保数据质量、一致性和可访问性,
• 熟练设计、构建和维护基于Snowflake和Databricks Lakehouse平台的数据仓库解决方案,
• 精通维度数据建模技术,
• 数据治理和管理技能,如定义和执行数据质量标准、数据合同、数据血统和数据访问策略,以及确保数据安全和合规性,
• 精通AWS平台和云计算原理,
• 强大的基础设施管理技能,如配置和维护数据服务器、集群和网络,以及自动化和优化数据工作流程和流程,
• 能够设计、规划、推动和记录重大架构变更,并为数据工程问题提出创新解决方案
工作内容
• 我们正在寻找一位经验丰富的首席数据工程师来领导我们的数据工程倡议,
• 成功的候选人将推动我们数据架构的开发和优化,确保我们的数据系统稳健、可扩展和高效,
• 高级数据架构设计:设计和实施可扩展和可靠的数据架构,
• 领导数据建模、数据仓库和数据湖开发的倡议,确保架构支持当前和未来的业务需求,
• 开发和维护可扩展、高效的数据架构,整合AWS、Databricks和Snowflake等现代数据堆栈,
• 确保这些架构支持当前和未来的业务分析、人工智能和机器学习倡议,
• 高级数据工程:运用大数据技术、实时数据处理和基于云的系统的专业知识,提升我们的数据能力,
• 实施数据管道、ETL流程和数据存储解决方案,
• 机器学习/人工智能工具的专业知识:利用AWS SageMaker、Databricks MLflow等工具,促进数据处理和分析,
• 实施和监督机器学习管道和数据科学工作流程,
• 团队指导和合作:担任初级数据工程师的导师,培养技术卓越的文化,
• 与数据科学家、分析师和IT专业人员等跨职能团队合作,将数据工程努力与组织目标对齐,
• 创新解决方案和最佳实践:紧跟数据工程趋势。引入创新解决方案和数据处理、存储和分析的最佳实践,
• 评估和推荐新技术,增强我们的数据能力,
• 数据质量和治理:建立和维护高标准的数据质量和完整性,
• 实施数据治理框架,确保符合数据隐私和安全规定,
• 性能优化:监控系统性能,识别瓶颈,并实施解决方案以优化数据流和存储