高级数据工程师(MySQL Aurora 到 NoSQL MongoDB) - 仅限加拿大公民

1个月前全职
50.8万 - 76.1万 / 年 Confidential Company

Confidential Company

location 多伦多
unsaved
高级数据工程师(单体到微服务) SQL:MySQL/Aurora/Redshift --2-- NoSQL:MongoDB/DocDB 全职职位,享有假期和公司福利计划 – 远程工作(不包括魁北克) – 必须是加拿大公民 公司致力于成为健身和健康企业的第一软件。他们提供基于云的业务管理软件,供领先的健身房、瑜伽工作室和健康中心使用。该平台受到超过5000家企业的信任,拥有超过1500万用户。从一个初创公司发展成为北美增长最快的SaaS公司之一,该公司帮助企业家发展、管理和简化他们的业务,以可靠、直观的软件推动更多收入。公司正在经历快速增长,并正在构建四个AI模块,以简化客户沟通、预订和支付、增长营销以及商业主辅导。公司总部位于加拿大安大略省多伦多。 单体到微服务过渡:数据库 1)SQL:MySQL、Aurora、Redshift -和- 2)NoSQL:MongoDB、DocumentDB 技术栈 - LLMs:OpenAI、Gemini • 语音:Twilio、LiveKit、STT/TTS • 后端:Python、Node/TypeScript、REST/GraphQL • 数据:Aurora Serverless(MySQL)、Redshift、S3/Glue • 基础设施:Docker、Kubernetes、GitHub Actions • 消息传递:Twilio、SendGrid、FCM、SES • 集成:Nuvei/Paragon支付、Salesforce/HubSpot/Zapier。 这位经验丰富的高级数据工程师将帮助引领我们的数据基础设施现代化,因为我们从紧密耦合的单体系统过渡到可扩展的微服务架构。此角色对于解耦旧有数据库结构、实现以领域为驱动的服务所有权以及为我们的平台提供实时分析、运营智能和AI倡议至关重要。职位将与解决方案架构师和领域所有者紧密合作,设计反映业务背景的弹性管道和数据模型,并支持内部和外部用户的可扩展、安全和可审计的数据访问。 主要职责 • 单体到微服务的数据过渡:领导将单体数据库结构分解为与领域对齐的模式,以实现服务独立性和所有权。 • 管道开发与迁移:使用Python、PySpark/Spark、AWS Glue和dbt构建和优化ETL/ELT工作流,包括从本地和云遗留系统到数据湖和仓库环境的模式/数据映射和转换。 • 领域数据建模:定义逻辑和物理的领域驱动数据模型(星型/雪花模式、数据集市),以满足跨职能需求、BI、运营、流媒体和机器学习。 • 遗留系统集成:设计从遗留系统提取、验证和重构数据的策略,处理嵌入逻辑和不完整规范化。 • 数据库管理:管理、优化和扩展SQL(MySQL、Aurora、Redshift)和NoSQL(MongoDB)平台,以满足高可用性和低延迟需求。 • 云与无服务器ETL:利用AWS Glue Catalog、爬虫、Lambda和S3管理和调度现代、成本高效的数据管道。 • 数据治理与合规:执行有关目录、数据血缘、保留、访问控制和安全的最佳实践,确保遵守GDPR、CCPA、PIPEDA和内部标准。 • 监控与优化:在Spark、Glue和Redshift工作负载中实施可观察性(CloudWatch、日志、指标)和性能调优。 • 利益相关者协作:与架构师、分析师、产品经理和数据科学家合作,定义、验证和优先考虑需求。 • 文档与指导:维护技术文档(数据字典、迁移指南、模式规格),并指导初级工程师遵循工程标准。 所需资格 • 5年以上数据工程经验,在现代化遗留数据系统和推动大规模迁移计划方面有良好记录。 • 云ETL专业知识:精通AWS Glue、Apache Spark/PySpark和模块化转换框架如dbt。 • 数据建模:对领域驱动设计、边界上下文和适合BI的建模方法(星型/雪花/数据金库)有深入理解。 • 数据迁移:具有完整生命周期迁移的经验,包括模式/数据映射、对账和异常处理。 • 数据库:1)SQL:MySQL、Aurora、Redshift -和- 2)NoSQL:MongoDB、DocumentDB • 编程:具备强大的Python技能,用于数据处理、管道自动化和API交互。 • 数据架构:在数据湖、仓储策略和混合云数据生态系统方面具有实践经验。 • 合规与安全:在实施治理、数据目录、加密、保留、血缘和RBAC方面有良好记录。 • DevOps实践:Git、CI/CD管道、Docker和数据管道的测试自动化。 • 必须是加拿大公民。远程工作 - 但我们不能雇用居住在魁北克的人。理想候选人住在多伦多附近,处于东部时间区。 优先资格 • 有学位,并且有使用流数据平台如Kafka、Kinesis或CDC工具如Debezium的经验。 • 熟悉编排平台如Airflow或Prefect • 在分析、AI/ML管道的数据建模或机器学习准备方面有背景 • 理解云原生数据服务(AWS Glue、Redshift、Snowflake、BigQuery等) • 具备良好的书面和口头沟通能力。自我驱动,能够驾驭模糊性和遗留系统复杂性。 • 有接触生成性AI、LLM微调或特征存储设计的经验者优先。