职位概述
职位名称：高级数据顾问
角色概述：作为一名数据工程师，此职位将负责收集、解析、管理、分析和可视化大量数据，以将信息转化为可操作的洞察。他们将跨多个平台工作，以确保数据管道具有可扩展性、可重复性和安全性，能够服务于多个用户。
工作地点：旧金山，加利福尼亚州/洛杉矶，加利福尼亚州/波特兰，俄勒冈州/盐湖城，犹他州/伦顿，华盛顿州
工作时长：长期
主要职责
• 设计、开发和维护健壮高效的数据管道，以从不同来源获取、转换、编目和交付经过整理、可信和高质量的数据到我们的公共数据平台。
• 积极参与敏捷仪式，并遵循CDP项目团队设定的规模化敏捷流程。
• 根据安全敏捷实践交付高质量的数据产品和服务。
• 主动识别和解决数据管道和分析数据存储中的问题。
• 部署数据管道和数据存储的监控和警报，尽可能实施自动修复，以确保系统的可用性和可靠性。
• 采用安全优先、测试和自动化策略，遵循数据工程最佳实践。
• 与跨职能团队协作，包括产品管理、数据科学家、分析师和业务利益相关者，以理解他们的数据需求并提供必要的基础设施和工具。
• 跟踪最新趋势和技术，评估并推荐新工具、框架和技术，以改善数据工程流程和效率。
所需资格
• 计算机科学、信息系统或相关领域的学士学位，或具有同等经验。
• 2年以上使用Databricks、Collibra和Starburst等工具的经验。
• 3年以上Python和PySpark的经验。
• 使用Jupyter笔记本的经验，包括编码和单元测试。
• 最近在关系型和NoSQL数据存储、方法和方法（STAR，维度建模）方面的成就。
• 2年以上现代数据栈的经验（如S3对象存储、Spark、Airflow、湖屋架构、实时数据库）以及云数据仓库，如RedShift、Snowflake。
• 在传统ETL和大数据方面的整体数据工程经验，无论是在本地还是云端。
• 在AWS（任何CFS2/EDS）中的数据工程经验，突出使用的服务/工具。
• 使用Spark架构构建端到端数据管道以获取和处理非结构化和半结构化数据的经验。 
