角色： GCP 顾问
地点： 远程
工作描述：
深入理解谷歌的产品技术及其底层架构：
• Big Query - 数据仓库/数据集市 - 深入了解 Big Query 的内部机制，以便为 ELT 需求编写高效的查询，创建视图/物化视图，创建可重用的存储过程等。
• DataFlow (Apache Beam) - 使用 Java 为批处理和流处理需求创建可重用的 Flex 模板/数据处理框架。
• c - 数据库更改或事件的实时流处理。
• 设计、构建和部署生产级数据管道的经验，使用 Kafka；在事件驱动架构方面有丰富经验。
• 对 Kafka Connect 框架有深入了解，具备使用多种连接器的经验，包括 HTTP REST 代理、JMS、文件、SFTP、JDBC 等。
• 处理来自 Kafka 的大量流消息的经验。
• Cloud Composer (Apache Airflow) - 用于构建、监控和协调数据管道。
• 了解 Bigtable。
• Cloud SQL、Compute Engine、Cloud Function、Cloud Run 和 App Engine、Cloud Storage。
• 在 Apache Hadoop 系列中的开源分布式存储和处理工具方面有经验。
• 对处理各种文件格式（如 orc、Avro、csv、json、xml 等）有广泛了解。
• 了解/有使用 ETL 工具（如 DataStage/Informatica）的经验 - 能够理解现有的本地 ETL 工作流并在 GCP 中重新设计它们。
• 在 Terraform 上有经验和专业知识，以在 CI/CD 中部署 GCP。
• 了解/有从谷歌云连接到本地 API 的经验。 
