详细工作描述 - 技能要求:
• 精通Hadoop数据建模,使用Hive和Pyspark进行ETL,并了解Talend和Redwood
• 在传输和分配领域具有良好的知识,尤其是在电网现代化、电网分析等领域
• 设计、开发和实施有效的Hadoop分析解决方案和模型
• 使用Spark、Hadoop和UNIX等技术设计、架构和实施有效的分析解决方案和模型
• 通过评估业务需求来检查和确定数据仓库的结构需求
• 评估数据仓库实施程序,确保其符合内部和外部规定
• 为管理和执行团队准备准确的数据仓库设计和架构报告
• 通过进行定期测试、故障排除和集成新功能来监控系统性能
• 提出改进新的和现有的数据仓库解决方案的建议
• 通过培训和个人支持向员工提供支持
• 及时回应系统问题,提供支持
• 理解并记录不同系统/应用之间的数据流动
• 指导开发人员准备功能/技术规范,定义报告需求和ETL流程。
技术技能
Hadoop数据仓库架构,Hive和PySpark
了解Snowflake是一个加分项
公用事业和传输分配领域知识,电网现代化
数据建模,建立在摄取、审计、日志和对账基础上的框架