高级工程师，大数据
职位概要：利用Cloudera或Hortonworks的大数据平台以及其他企业应用平台领域，重塑数据管理解决方案的架构、设计和实施。
主要职责：
- 将概念转化为技术架构、设计和实施
- 提供关于选择理想架构、评估工具和框架的指导，定义实施可扩展业务解决方案的标准和最佳实践
- 通过ETL、流处理、API等，在不同的源系统和目标系统之间实现批处理和实时数据摄取/提取过程，处理结构化和非结构化数据集
- 设计和构建数据解决方案，强调性能、可扩展性和高可靠性
- 编写、测试和记录新的或修改的数据系统，以创建稳健且可扩展的数据分析应用程序
- 为分析和应用层构建数据模型
- 参与领导和建设高绩效数据技术专业团队
- 协助项目规划和调度
要求：
- 5-7年的数据管理经验
- 具备使用Kafka、Storm或Spark-Streaming等解决方案构建流处理系统的经验
- 在Spark、Hive、Impala、Polybase、Phoenix、Presto、Kylin等大数据工具方面有丰富经验
- 具备从多个数据源集成数据的经验（使用Talend等ETL工具）
- 具有构建NoSQL数据库解决方案的经验，如HBase、Memsql
- 在数据库技术、数据仓库、数据验证与认证、数据质量、元数据管理和数据治理方面有丰富经验
- 具备Java/Scala/Python等编程语言的经验
- 具有实现Web应用程序和Web服务API（REST/SOAP）的经验
