我们正在寻找一位实践型、高技能且积极进取的个人,加入我们充满活力的团队,担任大数据解决方案架构师。作为我们数据工程团队的关键成员,您将在设计和实施 GAM 的混合数据平台方面发挥至关重要的作用。您的主要任务将是设计、实施和维护强大的数据基础设施和云解决方案,以支持我们组织的数据需求,并提升我们在数据工程、商业智能和数据分析方面的能力。
在 Databricks 和 Snowflake 平台上拥有 3-5 年的架构经验;熟悉 Azure 和/或 AWS 公有云;掌握 ETL 流程、OLAP\OLTP 系统、SQL 和 NoSQL 数据库;利用 Spark、Airflow、Nifi、Kafka、Cassandra 和 Elasticsearch 等大数据技术构建数据管道;具备 DataOps/DevOps 的经验;至少精通 Java、Scala 和/或 Python 中的一种编程语言。
领导并推动银行的数据战略,向更混合的架构转型。(目前主要是在本地,但希望增加云的存在)
• 计算机科学、信息系统或相关领域的学士或硕士学位。
• 在 Databricks 和 Snowflake 平台上拥有 3-5 年的架构经验,设计和实施大数据解决方案,包括向混合架构的迁移。
• 拥有 Azure 和/或 AWS 公有云解决方案设计的专业认证。
• 对 ETL 流程、OLAP\OLTP 系统、SQL 和 NoSQL 数据库有深入了解。
• 具备构建批处理和实时数据管道的经验,利用 Spark、Airflow、Nifi、Kafka、Cassandra 和 Elasticsearch 等大数据技术。
• 精通 DataOps/DevOps 实践,以部署和监控自动化数据管道和数据生命周期管理。
• 熟练编写和优化 SQL 查询,并至少精通 Java、Scala 和/或 Python 中的一种编程语言。
• 具备持续学习的心态,喜欢处理开放性问题。
加分项
• 具备系统管理经验,包括 Docker 和 Kubernetes 平台。
• 有 OpenShift、S3、Trino、Ranger 和 Hive 的经验。
• 了解机器学习和数据科学概念及工具。
• 有 BI 工具的经验。