大数据工程师职位描述：
· 5年以上的数据工程和数据仓库工作经验。
· 3-5年将数据集成到分析平台的经验。
· 具备摄取技术（例如Swoop、flume）、处理技术（Spark/Scala）和存储（例如HDFS、HBase、Hive）的经验。
· 具备数据分析、源目标映射、ETL开发、SQL优化、测试和实施的经验。
· 精通流式框架（Kafka/Spark Streaming/Storm）至关重要。
· 具备构建基于Spark SQL和Spark Data Frame API的应用程序的经验。
· 具备管理结构化和非结构化数据类型的经验。
· 具备需求工程、解决方案架构、设计和开发/部署的经验。
· 具备创建大数据或分析IT解决方案的经验。
· 有实施数据库和数据访问中间件以及高容量批处理和（近）实时处理的记录。 
Sydney