高级大数据工程师

15个月前全职
100K - 150K CAD / 年 ShyftLabs

ShyftLabs

location 多伦多
unsaved
我们正在寻找一位经验丰富、多才多艺的高级数据工程师加入我们充满活力和快速发展的团队。如果您对数据充满热情,并善于解决复杂问题,这个职位可能非常适合您。 ShyftLabs是一家成立于2020年初的不断发展的数据产品公司,主要与财富500强公司合作。 我们提供数字解决方案,旨在通过创新创造价值,帮助各行各业的企业加速增长。 使用Apache Spark Streaming、Apache Kafka和Elasticsearch等工具设计、开发和维护流式数据管道。 使用关系型(RDMS)和非关系型(NoSQL)数据平台优化数据处理和分析。 实施和优化SQL脚本,确保实时场景中的调优、索引、分布和分区策略以实现最佳性能。 在Python、Java或R方面具有高级专业知识,以实现实时数据处理工作流程。 探索流式数据生态系统中的新兴技术和工具,以增强我们的数据处理能力。 为初级团队成员提供关于流式数据工程最佳实践的指导和指导。 5年以上关系型(RDMS)和非关系型(NoSQL)数据平台的扎实经验。 精通SQL、Python和PySpark。 具有云平台(如AWS、Azure或GCP)和ETL/数据工具的实际经验。 在实施实时数据处理工作流程方面具有广泛的专业知识。 具备Java经验者优先考虑。 熟练运用Apache Spark进行大规模数据处理和分析。 该职位最好是混合型,每周有2天在我们多伦多市中心办公室工作。我们以员工的成长为傲,提供广泛的学习和发展资源。 我们鼓励所有背景合格的申请人,包括种族、宗教、残疾状况、性别认同、性取向、家庭状况、年龄、国籍和教育水平。