职位概述
大数据开发人员将负责开发与现有或新的内部开发系统相补充的提取-转换-加载(ETL)和商业智能(BI)解决方案,并支持前台和后台系统。该人员还将运用良好的沟通、分析和解决问题的能力,帮助识别、沟通和解决上游和下游领域出现的数据仓库问题。
主要职责
• 大数据开发人员开发、实施和维护提取-转换-加载解决方案,以满足组织终端用户的商业智能(BI)信息交付需求,同时确保数据的完整性和准确性。
• 候选人还负责商业智能(BI)需求收集、设计、开发和支持BI和报表解决方案,如报表和仪表盘,以满足业务需求。
• 候选人将与终端用户和其他技术团队密切合作,以确保上下游数据的一致性,并纠正商业智能交付中的痛点或差距。
• 候选人需遵守软件开发标准、流程和技术。
• 熟悉配置应用服务器,特别是MapR和Hadoop组件,是一个加分项。
• 必须有开放的思维,能够欣赏、评估并在需要时学习新的技术和框架。
• 必须具备合理的结构化查询语言、Unix和Windows命令和脚本的能力。
• 必须能够在下班后提供关键问题的支持。
• 必须具备自我指导/自我激励的能力,并对个人进展和项目交付负责。
要求
• 信息技术、计算机科学或相关专业学士学位
• 在信息系统应用和数据仓库方面有经验。
• 具备商业智能设计概念的深厚知识,特别是在关系数据库环境中的维度建模方面。
• 必须具备维度建模、ETL设计方面的经验。
• 具备扎实的SQL语言知识。
• 熟悉大数据查询工具,如Pig、Hive和Impala。
• 具备来自多个数据源的数据集成经验。
• 具备NoSQL数据库(如HBase、Vertica)的经验。
• 具备大数据ML工具包(如Mahout、SparkML或H2O)的经验是一个巨大的优势。
• 对Lambda架构有良好的理解,包括其优点和缺点。
• 具备Cloudera/MapR/Hortonworks的经验。
• 表现出学习新技能和新技术的积极性。
• 性格细致、承诺并能从头到尾完成工作。