大数据开发人员

渥太华 1天前全职 网络
面议
你对新技术充满热情,并希望加入一个在温暖、轻松且充满活力的环境中不断追求创新的软件开发团队吗? 我们正在寻找一名大数据开发人员/机器学习运维工程师加入我们的“受众”团队。 我们的成功依赖于我们共同应对挑战的能力。我们是技术爱好者,总是在寻找最佳工具和方法来改善我们的工作,同时我们也非常重视沟通技巧和团队精神。 如果你有兴趣创建利用数百万音频流用户生成的数据的商业智能工具,请继续阅读。 如果你是优秀的候选人,你需要: - 精通编程语言,如Scala(必需)和Python(加分)。 - 曾经开发过优先考虑高并发和短响应时间的应用程序。 - 掌握数据建模和并行处理概念,并对大数据技术(例如Apache Spark)和分布式数据存储系统(例如Scylla DB)有扎实的了解。 - 拥有高级容器化工具(Docker、Kubernetes、Red Hat OpenShift)和云平台(例如AWS)的知识。 - 有测试驱动开发(TDD)的经验,并熟悉CI/CD工具,如GitHub Actions和Bamboo。 - 曾经使用Airflow等工具设计和优化数据处理管道。 - 在应用于大数据的机器学习工程和运维方面有丰富的经验,并使用过Apache Spark等框架进行机器学习。 - 在软件开发工作中使用AI工具。 - 自主性强,具备优秀的问题解决能力和分析思维。 - 在敏捷/Scrum环境中有开发经验。 - 至少有五年的大数据开发人员的专业经验。 你的职责: - 使用Scala或其他相关技术开发新产品/应用程序,并改进现有解决方案。 - 参与软件开发生命周期的所有阶段:规划、设计、编码、测试、部署、监控、支持、文档。 - 编写高质量代码以开发和维护强大且大规模的应用程序。 - 与数据科学家密切合作,理解他们的模型并将复杂算法转化为可扩展的解决方案。 - 管理机器学习模型的生命周期,包括测试、部署和在生产环境中的监控。 - 维护流程和最佳实践的文档,以便团队成员能够轻松理解和遵循已建立的协议。 - 与大数据开发人员、数据运维团队和IT运维团队跨职能合作,确保机器学习解决方案无缝集成到现有基础设施中。 - 成为一个自组织的多学科敏捷团队中积极和正面的成员。 - 提供帮助并乐于寻求帮助。 - 乐于接受他人的想法,同时尊重地进行沟通。 - 与产品经理和其他产品团队合作,帮助定义组织的未来解决方案。 - 推荐技术选择并能够支持这些选择。