职位概述
职位名称：高级数据顾问
角色概述：作为数据工程师，该合同工将负责收集、解析、管理、分析和可视化大型数据集，以将信息转化为可操作的洞察。他们将在多个平台上工作，以确保数据管道具有可扩展性、可重复性和安全性，能够为多个用户服务。
地点：旧金山，加利福尼亚/洛杉矶，加利福尼亚/波特兰，俄勒冈/盐湖城，犹他/伦顿，华盛顿
期限：长期
主要职责
• 设计、开发和维护稳健且高效的数据管道，以从不同来源摄取、转换、编目和交付经过策划、可信和高质量的数据到我们的公共数据平台。
• 积极参与敏捷仪式，并遵循CDP项目团队制定的规模化敏捷流程。
• 根据安全敏捷实践交付高质量的数据产品和服务。
• 主动识别和解决数据管道和分析数据存储的问题。
• 部署数据管道和数据存储的监控和警报，尽可能实施自动修复，以确保系统的可用性和可靠性。
• 采用安全优先、测试和自动化策略，遵循数据工程最佳实践。
• 与跨职能团队合作，包括产品管理、数据科学家、分析师和业务利益相关者，以了解他们的数据需求，并为他们提供必要的基础设施和工具。
• 跟上最新趋势和技术，评估并推荐新工具、框架和技术，以改进数据工程流程和效率。
所需资格
• 计算机科学、信息系统或相关领域的学士学位，或同等经验。
• 2年以上使用Databricks、Collibra和Starburst等工具的经验。
• 3年以上使用Python和PySpark的经验。
• 使用Jupyter笔记本的经验，包括编码和单元测试。
• 最近在关系型和NoSQL数据存储、方法和方法（星型、维度建模）方面的成就。
• 2年以上使用现代数据堆栈（如S3、Spark、Airflow、Lakehouse架构、实时数据库）和云数据仓库（如RedShift、Snowflake）的经验。
• 传统ETL和大数据的整体数据工程经验，无论是本地还是云端。
• 在AWS中具有数据工程经验（任何CFS2/EDS），突出使用的服务/工具。
• 具有使用Spark架构构建端到端数据管道以摄取和处理非结构化和半结构化数据的经验。
