Databricks 数据工程师

洛杉矶 1天前全职 网络
面议
作为 EY 的数据工程经理,您将负责设计和实施复杂的云分析解决方案,使用 Databricks。您将与数据和分析专业人士、管理层及利益相关者合作,确保业务需求转化为有效的技术解决方案。 主要职责包括: • 理解和分析业务需求,将其转化为技术需求。 • 设计、构建和运营可扩展的数据架构和建模解决方案。 • 及时了解最新趋势和新兴技术,以保持竞争优势。 您还将管理和指导一支数据工程师团队,培养创新、协作和持续改进的文化。 资格要求: • 计算机科学、工程或相关领域的学士学位;硕士学位优先。 • 通常需要 4 - 6 年相关的数据工程经验,重点关注云数据解决方案和分析。 • 在 Databricks 方面具备丰富的专业知识,并具备使用 Spark 进行大数据处理的经验。 • 在数据架构和设计方面有扎实的背景,具备构建复杂云分析解决方案的经验。 • 有领导和管理团队的经验,专注于指导和培养人才。 • 精通 Python、Scala 或 SQL 等编程语言。 • 具备出色的问题解决能力,能够独立工作,也能作为团队的一部分。 • 具备强大的沟通和人际交往能力,专注于客户管理。 理想的候选人将具备深厚的数据架构、云技术和分析方面的技术专长,以及卓越的领导力和客户管理能力。 该职位提供在动态环境中工作的机会,您将面临需要创新解决方案的挑战。在指导他人的同时,您将学习和成长,解读内部和外部问题,以推荐优质解决方案。 根据客户需求,可能需要定期出差。 成功所需的技能和属性: • 领导使用 Databricks 在云平台(如 AWS、Azure、GCP)上设计和开发可扩展的数据工程解决方案。 • 监督复杂云分析解决方案的架构,确保与业务目标和最佳实践的一致性。 • 管理和指导数据工程师团队,培养创新、协作和持续改进的文化。 • 与客户合作,了解其分析需求,提供推动业务价值的定制解决方案。 • 确保数据在整个生命周期中的质量、完整性和安全性,实施数据治理的最佳实践。 • 驱动端到端数据管道开发,包括数据摄取、转换和存储,利用 Databricks 和其他云服务。 • 与利益相关者有效沟通,包括技术和非技术受众,传达复杂的数据概念和项目进展。 • 管理客户关系和期望,确保高水平的满意度和参与度。 • 及时了解数据工程、云计算和分析领域的最新趋势和技术。 • 具备较强的分析和问题解决能力。 • 出色的沟通技巧,能够清晰地传达复杂信息。 • 有效管理和交付项目的经验。 • 能够与客户和利益相关者建立和管理关系。 大规模实施项目: • 企业数据湖实施:领导为一家财富 500 强零售客户设计和部署基于云的数据湖解决方案,从多个来源(如 ERP、POS 系统、电子商务平台)整合数据,以实现高级分析和报告功能。 • 实时分析平台:管理为一家金融服务机构开发实时分析平台,使用 Databricks 实现实时欺诈检测和风险评估,通过流数据摄取和处理。 • 数据仓库现代化:监督将遗留数据仓库现代化为云原生架构,为一家医疗服务提供商实施 ETL 过程,利用 Databricks 改善数据的可访问性以进行分析和报告。 理想情况下,您还应该具备: • 具备高级数据分析工具和技术的经验。 • 熟悉机器学习概念和应用。 • 了解数据工程领域的行业趋势和最佳实践。 • 熟悉云平台(AWS、Azure、GCP)及其数据服务。 • 了解数据治理和合规标准。 • 具备机器学习框架和工具的经验。 EY 注重员工的高道德标准和诚信,并期望所有候选人展示这些品质。