解决方案架构师：Databricks 和大数据
我们是谁？
SDG Group 是一家全球咨询巨头，拥有超过 30 年的数据与分析市场领导经验。随着我们继续推动美国业务的扩展，我们正在寻找一位解决方案架构师，以领导我们最具雄心的客户项目的技术交付和创新。
为什么加入我们？
在这个角色中，您将成为我们 Databricks 产品的技术支柱。您将设计复杂的大规模大数据架构，并与我们的联盟负责人密切合作，积极与 Databricks 组织互动，以展示 SDG 的卓越技术能力。您不仅仅是在构建管道；您是在为世界领先品牌构建数据智能的未来。
- 创新优先文化：我们不仅使用技术；我们在市场上最具颠覆性的工具成为主流之前进行评估和采用。
- 全球影响，本地影响：利用拥有 2500 多名员工的全球公司的资源，同时在我们针对美国市场的扩展中发挥关键作用。
- 持续发展：享受基于绩效的职业发展路径，您的技术贡献将得到认可，并通过官方认证和专业培训支持您的成长。
您的工作内容
- 高级大数据架构：设计和定义端到端的高性能架构，以在分布式环境中处理大量复杂数据。为数据湖仓和现代数据仓库模式建立标准，以确保可扩展性和效率。
- 存储策略：使用 Delta Lake、Apache Iceberg 和 Parquet 等优化格式实施高级存储策略。
- Databricks 解决方案设计：领导 Databricks 数据智能平台上的解决方案的技术设计，利用 Unity Catalog 实现统一治理。
- 未来保障：展示在 Delta Live Tables (DLT) 方面的深厚经验，并保持对即将推出的 Lakeflow 生态系统（Spark 声明性管道）的关注，以确保 SDG 始终处于路线图的前沿。
- 性能调优：为大型 Spark 集群的性能调优和优化 Databricks 中的 SQL 工作负载提供专家指导。
- 客户参与：在客户研讨会中充当“技术北极星”，将战略业务需求转化为可行的高影响力技术蓝图。
- 联盟合作：与联盟负责人合作，与 Databricks 的技术团队互动，通过深入的架构审查和概念验证 (PoCs) 展示 SDG 的卓越表现。
- 技术卓越：从技术角度支持项目执行，确保团队遵循 DataOps 最佳实践、CI/CD 和稳健的数据质量框架。
我们寻找的条件
- 架构经验：6 年以上数据工程专业经验，专注于在分布式平台上构建解决方案和管理复杂的 ETL/ELT 管道。
- 生命周期管理：在企业规模上架构管理完整数据生命周期（摄取、清理和治理）解决方案的丰富经验。
- Databricks 专业知识：3 年以上在 Databricks 生态系统中设计和部署解决方案的实际经验。
- 云平台：至少对一个主要云提供商（Azure、AWS 或 GCP）及其数据相关服务有深入经验。
- 编程语言：精通 Python、Spark、PySpark 及其变体如 SparkSQL。
期望的技能和经验
- 编排：对 Airflow 或原生 Databricks 工具如 Databricks Workflows 等编排器有实际操作知识。
- 处理框架：具有使用 dbt 等框架的高级经验。
- 沟通：出色的人际交往和沟通能力，能够在开发人员和高管利益相关者之间领导技术讨论。
- 创新：与我们的全球创新实验室合作，实施专有加速器和工件，缩短客户的上市时间。
- 心态：积极的“成长心态”，对保持在新兴数据技术的前沿充满热情。
与我们合作的好处
在 SDG，我们不断努力营造一种以人为本的文化，通过创造透明、协作和基于绩效的环境来实现这一目标。我们通过确保提供以下内容来照顾我们的全球员工：
- 竞争性薪酬：在一个令人兴奋且不断增长的高科技行业中提供全职就业机会，并提供有竞争力的薪水。
- 职业发展：提供专业职业发展机会，基于绩效的快速晋升。
- 反馈循环：定期与您的经理会面，分享反馈，讨论新挑战，并回顾您的职业轨迹。
- 灵活性：在创造性和创新的工作环境中提供灵活的工作选择（灵活的工作时间，现场和远程的良好组合）。
- 健康与福利：包括医疗、牙科、视力、残疾保险等在内的强大医疗和福利套餐。
- 退休计划：提供雇主匹配的 401k 退休计划。
- 休假：3 周以上的带薪假期和灵活的假期安排。
团队数据技术角色 大数据工程师 地点 芝加哥、马萨诸塞、新泽西 远程状态 混合 雇佣类型 全职 雇佣级别 初级/中级官员
