职位：雪花/大数据/云技术负责人
持续时间：3-6个月
地点：纽约现场
职位描述 - 主要顾问 - 雪花/大数据/云技术负责人：
技术领导：
1. 擅长在雪花平台上架构和设计复杂的数据解决方案，包括数据模型、数据摄取管道和数据转换，确保最佳实践和可扩展性。
2. 熟悉雪花内部的定制化配置，例如，定制雪花内部市场的仪表盘内容。
3. 理解架构原则，并与企业架构师合作执行架构策略。
4. 擅长构建大数据解决方案和数据协作的自定义目录。
5. 熟悉云原生应用/大数据原则，并有使用AWS/Azure云堆栈构建云原生数据解决方案的经验。
6. 擅长在MS Fabric/OneLake或类似平台上构建大数据原则和解决方案。
7. 有为数据产品生态系统和数据协作平台构建解决方案的经验。
8. 理解开放数据格式，如Iceberg和Delta，适用于特定的投资银行用例。
9. 能够将雪花数据平台与非雪花客户端集成，反之亦然。
10. 精通数据工程项目的生命周期管理。
11. 有构建数据网格和数据产品的经验，能够在市场上发布/消费数据产品，使用雪花或AWS或Azure。
12. 熟悉使用AWS堆栈，包括S3、Glue、Lambda、雪花平台、Redshift和Glue目录。
13. 熟悉使用Azure堆栈，如ADLS2.0、ADF2.0、Synapse。
14. 精通Python和Pyspark编程，Java，使用VSCode进行笔记本开发和性能改进实践。
15. 擅长使用SAFe敏捷实践构建项目。
16. 能够撰写技术文档，如大数据/云项目的高层解决方案设计和详细设计。
数据建模：
1. 设计数据结构并优化雪花中的数据组织，以支持高效的查询和分析。
2. 使用星型模式和数据保管库实践设计标准数据仓库模型，并支持SCD-2场景。
数据集成：
实施ETL/ELT过程，将来自各种来源的数据集成到雪花和MS Fabric/OneLake中，确保数据质量和一致性。
团队管理：
领导和指导雪花开发团队的工程师，提供技术指导、代码审查和问题解决支持。
性能优化：
1. 监控和优化雪花查询、数据加载策略和仓库配置，以最大化性能。
2. 在数据管道代码中进行性能代码审查，掌握雪花查询调优技术，善于解决雪花数据可扩展性和大小问题。
团队协作：
与业务分析师、产品经理和数据科学家等跨职能团队密切合作，理解数据需求并将其转化为技术解决方案。
合规、监管和安全：
在雪花中实施数据安全措施，以保护敏感数据，遵循行业法规和合规标准。
基于云的CI/CD开发与管理：
1. 为雪花应用程序设置和维护持续集成和持续交付管道。
2. 有在AWS或Azure DevOps和雪花解决方案方面的经验者优先。
故障排除和支持：
识别和解决与雪花数据处理、性能和操作相关的复杂技术问题。
个人优秀：
1. 优秀的沟通和协作能力，能够与多元化团队合作。
2. 证明能够领导技术项目并指导初级工程师。
3. 良好的概念表达能力和通过POC实现概念的能力。
4. 能够根据业务需求/请求调整产品待办事项。 
纽约