Apache Spark / 大数据开发人员
全职 / 远程或混合
我们正在寻找一名经验丰富的Apache Spark / 大数据开发人员加入我们充满活力的团队。作为我们数据解决方案团队的一部分，您将使用Apache Spark和其他大数据技术设计、开发和实施复杂的大数据应用程序。
职责
• 使用Apache Spark、Hadoop和其他大数据技术开发可扩展和可维护的应用程序。
• 将复杂的分析模型转化为可扩展的、可投入生产的解决方案。
• 使用持续集成和交付的最佳实践。
• 与数据和分析专家合作，努力实现数据系统的更高功能性。
• 设计和实现可以扩展和处理大量数据的数据模式和模型。
• 处理数据摄取、处理、存储和向各种应用程序暴露的工作。
• 解决数据问题并进行根本原因分析以解决问题。
资格
• 计算机科学、工程或相关领域的学士学位。
• 5年以上大数据开发人员的专业经验。
• 熟练掌握Apache Spark和Hadoop。
• 熟悉其他大数据技术和工具，如HBase、Hive、Kafka等。
• 掌握Java、Scala或Python等编程语言的经验。
• 熟悉云服务（AWS、Google Cloud或Azure）和分布式计算原理。
• 强大的解决问题的能力和独立工作的能力。
• 出色的沟通能力，能够以清晰简明的方式传达复杂信息。
• 理解敏捷方法和DevOps CI/CD工具。
技术技能
• 熟练掌握编程语言，特别是Java和Python。这对于开发强大高效的数据处理应用程序至关重要。
• 具有使用Apache Spark创建批处理作业处理大量数据的丰富经验。这是管理和操作大数据的关键技能。
• 强大的创建流处理作业以实时处理大量数据的能力。这种技能对于处理动态、持续更新的数据至关重要。
• 对于实时数据流处理的Kafka的深入理解和经验。精通Kafka对于管理高吞吐量、容错性的流式数据至关重要。
• 丰富的AWS技术经验，特别是EMR（弹性Map Reduce）、S3、EC2、Lambda和Kinesis。了解AWS Glue、Redshift和DynamoDB是一个加分项。熟悉AWS架构和服务在这个角色中至关重要。
• 精通Apache Spark、Hadoop和其他大数据工具。
• 熟练使用SQL、Hive、Pig等查询语言。
• 能够整合来自多个数据源的数据的能力。
• 了解各种ETL技术和框架。
• 熟悉机器学习算法和库。
• 熟练使用Git等代码版本控制工具。
如果您是一个将原始数据转化为有价值洞察力的技术专业人士，如果您对大数据技术特别是Apache Spark充满热情，我们很乐意听到您的消息。立即申请，帮助我们塑造大数据的未来！
关于公司
TapLane Inc. 是安大略温莎地区一家成立已久的软件开发公司，一直处于创新解决方案的前沿。凭借我们对卓越的不懈追求，我们打造定制化解决方案，推动企业获得新的高度，巩固了我们作为行业信任的领导者的声誉。
工作类型：全职
语言灵活要求：
• 不需要法语
工作时间表：
• 8小时班次
• 周一至周五
额外支付类型：
• 加班费
教育：
• 学士学位（优先考虑）
经验：
• 软件开发：4年（必需）
工作地点：远程 
芝加哥