大数据架构师

解决方案架构师：Databricks与大数据 我们是谁？ SDG集团是一家全球咨询公司，拥有超过30年的数据与分析市场领导经验。随着我们继续推动美国业务的扩展，我们正在寻找一位解决方案架构师来领导我们最具雄心的客户项目的技术交付和创新。 为什么加入我们？ 在这个角色中，您将成为我们Databricks产品的技术支柱。您将设计复杂的大规模大数据架构，并与我们的联盟负责人密切合作，积极与Databricks组织接触，以展示SDG的顶级技术能力。您不仅仅是在构建管道；您是在为世界领先品牌构建数据智能的未来。 - 创新优先文化：我们不仅使用技术；我们在它们成为主流之前评估并采用市场上最具颠覆性的工具。 - 全球影响，本地影响：利用拥有2500多人全球公司的资源，同时在我们针对美国的扩展中发挥关键作用。 - 持续发展：享受一个基于绩效的职业发展路径，您的技术贡献将得到认可，并通过官方认证和专业培训支持您的成长。 您将做什么 - 高级大数据架构：设计和定义端到端的高性能架构，以在分布式环境中处理大量复杂数据。建立数据湖仓和现代数据仓库模式的标准，以确保可扩展性和效率。 - 存储策略：使用Delta Lake、Apache Iceberg和优化格式如Parquet实施高级存储策略。 - Databricks解决方案设计：领导在Databricks数据智能平台上的解决方案的技术设计，利用Unity Catalog实现统一治理。 - 未来保障：展示对Delta Live Tables（DLT）的深刻经验，并保持对即将到来的Lakeflow生态系统（Spark声明性管道）的关注，以确保SDG始终处于路线图的前沿。 - 性能调优：为大型Spark集群的性能调优和在Databricks中优化SQL工作负载提供专家指导。 - 客户参与：在客户研讨会中充当“技术北极星”，将战略业务需求转化为可行的高影响技术蓝图。 - 联盟合作：与联盟负责人合作，与Databricks的技术团队接触，通过深入的架构审查和概念验证（PoC）展示SDG的卓越。 - 技术卓越：从技术角度支持项目执行，确保团队遵循DataOps最佳实践、CI/CD和强大的数据质量框架。 我们寻找什么 - 架构经验：6年以上数据工程专业经验，专注于在分布式平台上构建解决方案和管理复杂的ETL/ELT管道。 - 生命周期管理：在企业规模上架构管理完整数据生命周期（摄取、清理和治理）解决方案的验证经验。 - Databricks专业知识：3年以上在Databricks生态系统中设计和部署解决方案的实际经验。 - 云平台：至少对一个主要云提供商（Azure、AWS或GCP）及其数据相关服务有深入经验。 - 语言：熟练掌握Python、Spark、PySpark及其变体如SparkSQL。 期望的技能和经验 - 编排：掌握如Airflow或原生Databricks工具如Databricks Workflows的编排器知识。 - 处理框架：具有如dbt等框架的高级经验。 - 沟通：出色的人际交往和沟通能力，能够在开发人员和高管利益相关者之间领导技术讨论。 - 创新：与我们的全球创新实验室合作，实施专有加速器和工件，以减少客户的上市时间。 - 心态：积极的“成长心态”，热衷于保持在新兴数据技术的前沿。 与我们合作的好处 在SDG，我们不断努力建立一个以人为本的文化，通过创造透明、协作和绩效导向的环境。我们通过确保提供以下福利来照顾我们的全球员工： - 竞争力薪酬：在一个令人兴奋且不断增长的高科技行业中全职就业，享有竞争力的薪水。 - 职业成长：提供个人/专业成长和基于绩效导向的快速晋升机会的专业职业。 - 反馈循环：定期与您的经理会面，分享反馈，讨论新挑战，并审查您的职业轨迹。 - 灵活性：提供灵活工作选项（灵活工作时间，现场和远程的良好组合）的创造性和创新性工作环境。 - 健康与福利：包括医疗、牙科、视力、残疾保险和各种其他福利选项的强大医疗和福利计划。 - 退休：401k退休计划，雇主匹配。 - 休假：3周以上带薪假期和灵活的假期安排。