高级大数据架构师

1天前合同
90 - 107 CAD / 时 Infotek Consulting Services Inc.

Infotek Consulting Services Inc.

location 多伦多
unsaved
我们正在寻找一位实践型、高技能且积极进取的个人,加入我们充满活力的团队,担任大数据解决方案架构师。作为我们数据工程团队的关键成员,您将在设计和实施 GAM 的混合数据平台方面发挥至关重要的作用。您的主要任务将是设计、实施和维护强大的数据基础设施和云解决方案,以支持我们组织的数据需求,并提升我们在数据工程、商业智能和数据分析方面的能力。 在 Databricks 和 Snowflake 平台上拥有 3-5 年的架构经验;熟悉 Azure 和/或 AWS 公有云;掌握 ETL 流程、OLAP\OLTP 系统、SQL 和 NoSQL 数据库;利用 Spark、Airflow、Nifi、Kafka、Cassandra 和 Elasticsearch 等大数据技术构建数据管道;具备 DataOps/DevOps 的经验;至少精通 Java、Scala 和/或 Python 中的一种编程语言。 领导并推动银行的数据战略,向更混合的架构转型。(目前主要是在本地,但希望增加云的存在) • 计算机科学、信息系统或相关领域的学士或硕士学位。 • 在 Databricks 和 Snowflake 平台上拥有 3-5 年的架构经验,设计和实施大数据解决方案,包括向混合架构的迁移。 • 拥有 Azure 和/或 AWS 公有云解决方案设计的专业认证。 • 对 ETL 流程、OLAP\OLTP 系统、SQL 和 NoSQL 数据库有深入了解。 • 具备构建批处理和实时数据管道的经验,利用 Spark、Airflow、Nifi、Kafka、Cassandra 和 Elasticsearch 等大数据技术。 • 精通 DataOps/DevOps 实践,以部署和监控自动化数据管道和数据生命周期管理。 • 熟练编写和优化 SQL 查询,并至少精通 Java、Scala 和/或 Python 中的一种编程语言。 • 具备持续学习的心态,喜欢处理开放性问题。 加分项 • 具备系统管理经验,包括 Docker 和 Kubernetes 平台。 • 有 OpenShift、S3、Trino、Ranger 和 Hive 的经验。 • 了解机器学习和数据科学概念及工具。 • 有 BI 工具的经验。