首席数据工程师；全球安全

职位：首席数据工程师（全球安全） 职位描述 机会是什么？在RBC，我们的数据工程团队增强了对公共云和应用程序安全领域资产的可见性。我们的使命是提供对数字基础设施的清晰洞察，从而有效识别和管理安全风险。我们利用行业领先的工具，如Databricks、Python、PySpark和Tableau，将数据转化为战略资产。我们的方法超越了传统安全，通过分析复杂的数据集生成可操作的商业洞察，从而增强我们的网络弹性。 合作是我们成功的关键，营造了一个创新的环境，团队成员利用他们的叙述和技术技能推动云安全的持续进步。 你将做什么？ - 在Azure Databricks中使用Spark（SQL，PySpark）设计、开发和维护端到端的数据管道，以高效地转换大型数据集。 - 使用Databricks Workflows或Apache Airflow开发和优化ELT/ELT工作流，确保数据的完整性、质量和可靠性。 - 设计和管理Delta Lake解决方案，以实现数据版本控制、增量数据加载和高效的数据存储。 - 与跨职能团队合作，了解数据需求，创建稳健的数据模型，并提供可操作的洞察。 - 通过构建自动化监控、警报和事件管理解决方案，实施数据管道的站点可靠性工程（SRE）实践，以确保数据的可靠性、可用性和性能。 - 应用数据治理的最佳实践，使用Unity Catalog进行访问管理和数据血统追踪，确保合规性。 - 监控、排除故障并优化Spark作业的性能，解决数据管道瓶颈并确保成本效益。 - 使用Terraform实施基础设施即代码解决方案，以实现自动化资源配置和管理。 - 开发和维护数据管道、转换和数据模型的全面文档。 - 为初级工程师提供指导和技术指导，培养学习和数据工程最佳实践的文化。 - 领导和指导数据工程师团队，提供技术指导并促进专业发展。 - 监督复杂数据解决方案的设计和实施，确保与业务目标一致。 - 推动数据工程最佳实践的采用，包括代码审查、测试和文档编制。 - 与利益相关者合作定义和优先排序数据工程项目，确保按时交付和高质量的成果。 - 关注数据工程领域的新兴技术和趋势，推荐和实施创新解决方案。 成功所需的条件 必须具备 - 计算机科学、数据工程或相关领域的学士或硕士学位。 - 8年以上数据工程经验，为大型企业提供关键业务软件解决方案，并有持续成功的记录。 - 在Databricks（Delta Lake、Unity Catalog、Lakehouse架构、表触发器、Delta Live Pipelines、Databricks Runtime、集群管理等）方面的丰富专业知识。 - 熟练使用Azure云服务。 - 对Spark和PySpark进行大数据处理的扎实理解。 - 英语流利，口语和书面。 - 了解SCM、基础设施即代码和CI/CD管道。 - 有领导和指导数据工程师团队的经验。 - 强大的项目管理技能，能够优先处理任务并同时管理多个项目。 - 出色的沟通和协作技能，能够与跨职能团队有效合作。 - 有敏捷方法论和Dev Ops实践经验。 优先考虑 - Databricks认证（例如，Databricks认证数据工程师，Spark工程师）。 - 接触过Kubernetes、Docker和Terraform。 - 对商业智能和报告工具有深刻理解。 - 熟悉网络安全概念。 对你的好处是什么？我们在挑战中茁壮成长，以进步的思维不断成长，并共同努力提供值得信赖的建议，以帮助我们的客户蓬勃发展和社区繁荣。我们…