主要 - GCP，次要 - DevOps
角色与职责
该职位要求在数据摄取、集成、数据处理、计算、分析管道方面具有扎实的实践经验，使用 GCP 生态系统组件。
能够在实施和增强数据集成解决方案中利用数据集成和大数据设计原则的专业知识。
具备提供设计输入以改善企业数据管道的能力。
具有设计、开发、部署和支持数据管道的经验，包括：
- 数据摄取、集成、数据质量与治理
- 数据存储和计算框架
- 性能优化
必须具备的条件：
- 7 年以上的 IT 经验，具备云平台和管理的相关知识。
- 在 GCP（云数据流、云发布-订阅、大查询、云存储、谷歌编排器等）方面有实践经验。
- 至少在一个云平台（AWS/Azure/GCP）及相关数据服务方面有 3 年以上的经验。
- 对大数据、DataProc 架构有工作知识，并了解其与其他大数据框架的区别。
- 具备性能调优和查询优化的经验。
- 精通 SQL。
- 熟练使用 SQL、Shell/Python 脚本、提取、转换、加载方法。
- 了解 DevOps 工具和编排工具以自动化管道执行。
- 熟悉数据架构和数据管理的设计、开发和部署标准及指南。
- 理解 Git 基础知识和 Git 工作流程，至少使用过一种基于 SAAS 的 Git 工具，如 GitHub、GitLab、Bitbucket。
- 熟悉 GCP IAM 和数据安全的相关知识。
额外的条件：
- 具有 Java 经验。
- 有服务和配置更新的自动化部署经验。
- 有优化现有生产环境中运行的云服务的经验。
- 了解数据治理流程（安全性、血缘、目录）和工具，如 Collibra。
- 接触 CI/CD - 云基础设施配置、自动构建与部署管道、代码质量。
- 具备云平台（AWS/Azure/GCP）的有效专业认证。
- 接触管理活动。
- 熟练使用 Linux 命令行，使用工具如 bash、SSH、vim。
- 有使用 Python 脚本化重复任务的经验。
个人特质：
- 优秀的口头和书面沟通能力及人际交往能力。
- 在挑战时刻的自信与灵活性。
- 能够与跨职能团队在快节奏的团队环境中协作工作。
- 自我驱动，需最小监督。
- 能够优先处理和管理多个任务。
- 具备流程导向能力，能够定义和建立流程。 
