关键决策因素：
• Cloudera，Spark，Scala，HDFS，Hive
• 有Cloudera升级和迁移经验
• E2E数据工程师，能够进行自动化和测试 - 相对资深的人员（8年以上）
主要职责：
· 设计、构建和维护数据处理系统，以在CDP中迁移和重构数据流水线 - 并进行底层组件的相关版本升级。
• 在数据工程和迁移方面有4年以上经验，最好有Cloudera Data Platform的经验。
• 对数据处理和迁移工具（如Spark，HDFS，Scala，Airflow）有深入理解。
• 进行数据分析、数据分析和数据映射，以确保在迁移过程中数据的完整性。
• 制定和实施数据迁移策略，包括数据验证和测试。
• 与跨职能团队合作，确保数据及时高效地迁移。
• 创建技术文档，包括数据迁移计划、数据流程图和流程文档。
• 为团队成员和利益相关者提供技术指导和支持。
• 有Python或Shell脚本等脚本语言的经验。
• Cloudera开发者认证 
Sydney