大数据工程师

16个月前全职
Nexus Systems Group Inc.

Nexus Systems Group Inc.

location 多伦多
unsaved
3名大数据工程师 作为网络大数据团队的成员,向网络大数据中心主管汇报,大数据DevOps将在使用大数据技术开发新产品、能力和标准化实践方面发挥领导作用。 与业务合作伙伴密切合作,这个人将是一个团队的一部分,倡导使用大数据技术解决业务问题,并成为大数据领域的思考伙伴。 参与大数据解决方案交付生命周期的所有方面,包括分析、设计、开发、测试、生产部署和支持 使用大数据技术开发交付新产品和能力的标准化实践,包括数据获取、转换和分析 确保大数据实践融入整体数据架构和数据管理原则(如数据治理、数据安全性、元数据、数据质量) 协助制定全面和战略性的业务案例,用于管理和高层决策对大数据解决方案的资金和范围决策 对Hadoop进程和应用程序进行性能调优 在商业智能方面担任Hadoop开发人员/分析师的经验 必须具备良好的沟通能力、技术意识和与高级技术领导层合作的能力 熟悉敏捷方法论和Scrum流程 按时高质量地完成工作,几乎不需要监督 要求计算机科学、管理信息系统或计算机信息系统学士学位。 至少4年的Java应用程序开发经验 至少2年的使用Hadoop组件构建和编码应用程序的经验 - HDFS、Hive、Impala、Sqoop、Flume、Kafka、StreamSets、HBase等 至少2年的编码Scala/Spark、Spark Streaming、Java、Python、HiveQL的经验 至少4年的传统ETL工具和数据仓库架构的理解。 强大的个人领导力和协作能力,结合全面、实践经验和知识,在大数据解决方案的端到端交付方面具备深入了解。 必须精通SQL/HiveQL 需要具备Linux/Unix和脚本编写技能。 具备内存数据库和Apache Hadoop分发知识(例如,精通SQL、NoSQL、关系数据库设计和方法) 深入了解在消费时创建和提供模式的技术 在使用Hadoop作为数据平台交付多个端到端项目中发挥领导作用。 能够清晰地向技术能力不同的观众传达复杂的技术思想。 具备良好的人际和沟通能力,包括书面、口头和技术插图。 有同时与多个客户和项目合作的经验。 了解预测分析技术(如预测建模、统计编程、机器学习、数据挖掘、数据可视化)。 熟悉不同的开发方法论(如瀑布、敏捷、XP、Scrum)。 在大数据基础设施业务开发方面具备能力的证明 能够熟练使用双语(法语/英语),并能够根据大多数情况和观众适应自己的沟通方式。熟练计划自己的沟通,促进会议或研讨会; 能够轻松地采访非技术人员以收集/讨论需求; 能够在2-3天内熟悉新技术,如编程语言; 具备无线电/电信运营和工程业务知识,包括对无线电接入、核心网络和增值服务技术和配置的基本理解。