作为一名大数据开发人员,您将支持数据仓库和基础设施。
您还将负责使用不同的技术检索、清洗、验证和分析数据,以保持数据完整性,以满足业务利益相关者的需求,包括离线数据和实时数据处理,并最终在数据可视化平台上显示数据。
工作范围:
• 参与实时和离线数据仓库的架构和代码实现;
• 参与数据采集架构,实现实时和离线数据的收集和清洗;
• 负责大数据及其衍生系统平台的开发、运营和维护,包括但不限于:a) 数据管理系统;b) 数据立方体;c) 数据仓库;d) 推荐系统;
• 调查新的技术解决方案,并不断努力实现最佳数据结果;
• 对学习新/旧技术持开放态度,对未知领域保持热情,保持学习和交付结果的激情;
职位要求:
• 至少3年以上的大数据开发、数据集成、商业智能和数据分析技术实践经验;
• 计算机科学、信息技术、数学、统计学、数据科学或相关学科的学位或更高学历;
• 必须能够与业务用户、架构师、项目经理、业务分析师、开发人员、测试分析师和生产支持团队等所有项目相关人员合作;
• 熟悉Python、SQL、Linux Bash、Java或其他开发语言;
• 熟悉Hadoop、Hive、Spark、Hbase、Flink等技术;
• 熟悉以下技能将具有很大优势:实时技能,如Spark Streaming、FlinkCDC;分析工具,如Pandas、PETL;云服务,如AWS S3、AWS EMR;LDAP技能,如Clickhouse、Phoenix。