职位： 大数据开发工程师
工作地点： 密西沙加，安大略省（远程）
工作类型： 固定合同/全职
总经验： 7-12 年
职位描述：
• 根据业务需求和定义的标准、设计原则及模式，设计高质量的交付物。
• 使用 Apache Spark 框架开发和维护高可扩展性、高性能的数据转换应用程序。
• 开发/集成代码，遵循 CI/CD，使用 Scala/Java 的 Spark 框架。
• 提供解决方案，处理使用 Spark 基于数据转换的解决方案、Hive、MPP 过程（如 IMPALA）的大数据问题。
• 创建 Junit 测试，确保代码覆盖率符合约定的标准。
• 能够与可能地理分布的团队协作。审查其他初级开发人员开发的代码模块。
所需技能：
• 必须具备使用 Maven、Apache Spark 框架和 Unix Shell 脚本的 JAVA、SCALA 等编程语言的实际开发经验。
• 应熟悉 Unix 文件系统及 HDFS 命令。
• 应具备使用 Oracle SQL、Hive SQL、Spark SQL、Impala、HBase 数据库等查询语言的经验。
• 应具备灵活性。
• 应具备良好的沟通和客户管理技能。
期望技能：
• 优先考虑具备 SQOOP 和 KAFKA 等大数据数据摄取工具知识的候选人。
• 应了解大数据生态系统中的组件。
• 应具备使用 Eclipse IDE、Tectia Client、Oracle SQL Developer 构建项目的经验。 
