Apache Spark / 大数据开发人员
全职 / 远程或混合
我们正在寻找一位经验丰富的 Apache Spark / 大数据开发人员加入我们充满活力的团队。作为我们数据解决方案团队的一员，您将使用 Apache Spark 和其他大数据技术设计、开发和实施复杂的大数据应用程序。
职责
• 使用 Apache Spark、Hadoop 和其他大数据技术开发可扩展和可维护的应用程序。
• 将复杂的分析模型转化为可扩展的、适用于生产环境的解决方案。
• 应用持续集成和交付的最佳实践。
• 与数据和分析专家合作，努力提高我们数据系统的功能性。
• 设计和实现能够与大量数据进行良好扩展和性能的数据模式和模型。
• 处理数据摄取、处理、存储和向各种应用程序暴露的工作。
• 解决数据问题并进行根本原因分析以解决问题。
资格
• 计算机科学、工程或相关领域的学士学位。
• 5年以上大数据开发人员的专业经验。
• 熟练掌握 Apache Spark 和 Hadoop。
• 熟练使用其他大数据技术和工具，如 HBase、Hive、Kafka 等。
• 具备 Java、Scala 或 Python 等编程语言的经验。
• 熟悉云服务（AWS、Google Cloud 或 Azure）和分布式计算原理。
• 强大的解决问题的能力和独立工作的能力。
• 出色的沟通能力，能够以清晰简明的方式传达复杂信息。
• 理解敏捷方法和 DevOps CI/CD 工具。
技术技能
• 精通编程语言，特别是 Java 和 Python。这些对于开发强大高效的数据处理应用程序至关重要。
• 大量使用 Apache Spark 创建批处理作业以处理大量数据的经验。这是管理和操作大数据的关键技能。
• 能够创建流处理作业以实时处理大量数据的强大能力。这种技能对于处理动态、持续更新的数据至关重要。
• 对于 Kafka 的实时数据流处理有深入的理解和经验。对 Kafka 的专业知识对于管理高吞吐量、容错的流数据至关重要。
• 在 AWS 技术方面有丰富的经验，特别是 EMR（Elastic Map Reduce）、S3、EC2、Lambda 和 Kinesis。了解 AWS Glue、Redshift 和 DynamoDB 是一个加分项。熟悉 AWS 架构和服务对于这个角色至关重要。
• 精通 Apache Spark、Hadoop 和其他大数据工具。
• 熟练使用 SQL、Hive、Pig 等查询语言。
• 能够整合来自多个数据源的数据的能力。
• 了解各种 ETL 技术和框架。
• 熟悉机器学习算法和库。
• 熟练使用 Git 等代码版本控制工具。
如果您是一个技术专业人士，擅长将原始数据转化为有价值的洞察力，如果您对大数据技术，特别是 Apache Spark 充满热情，我们很想听到您的声音。立即申请，帮助我们塑造大数据的未来！
关于公司
TapLane Inc. 是安大略省温莎市一家成立已久的软件开发公司，一直处于创新解决方案的前沿。凭借我们对卓越的不懈追求，我们打造定制化的解决方案，推动企业迈向新的高度，巩固了我们作为行业信赖的领导者的声誉。
工作类型：全职
语言要求灵活：
• 不需要法语
工作时间表：
• 8小时轮班
• 周一至周五
额外支付类型：
• 加班费
教育程度：
• 学士学位（优先考虑）
经验：
• 软件开发：4年（必需）
工作地点：远程 
多伦多