解决方案架构师
职位描述摘要
Koantek的Databricks AWS/Azure/GCP架构师构建安全、高度可扩展的大数据解决方案，以实现有形的、数据驱动的结果，同时保持简单性和运营效率。该角色与团队成员、产品团队和跨职能项目团队合作，领导Databricks Lakehouse平台在企业生态系统和AWS/Azure/GCP架构中的采用和集成。该角色负责实施安全架构的大数据解决方案，这些解决方案在操作上可靠、性能良好，并实现战略目标。
该角色的具体要求包括：
● 精通数据框架、数据湖和开源项目，如Apache Spark、MLflow和Delta Lake的知识
● 在Spark/Scala、Python或Pyspark方面具有专业级的实际编码经验
● 精通Python、C++、Java、R和SQL
● 对代码版本控制工具（如Git、Bitbucket或SVN）有中级了解
● 深入理解Spark架构，包括Spark Core、Spark SQL、Data Frames、Spark Streaming、RDD缓存、Spark MLib
● 云中的物联网/事件驱动/微服务-具有私有和公共云架构的经验，了解优缺点和迁移考虑因素。
● 丰富的实际经验，使用AWS/Azure/GCP服务实施数据迁移和数据处理
● 熟练使用Spark SQL与JSON、Parquet和键值对等各种数据源
● 对于数据管理、数据摄取、捕获、处理和策划行业中可用的技术堆栈具有丰富的实际经验：Kafka、StreamSets、Attunity、GoldenGate、Map Reduce、Hadoop、Hive、Hbase、Cassandra、Spark、Flume、Hive、Impala等。
● 使用Azure DevOps和CI/CD以及包括Git、Jenkins、Jira和Confluence在内的敏捷工具和流程的经验
● 在Spark SQL/Scala中创建表、分区、存储桶、加载和聚合数据的经验
● 能够构建到ADLS的摄取并为分析启用BI层
● 在机器学习工作室、流分析、事件/IoT中心和Cosmos方面具有经验
● 对数据建模和定义概念逻辑和物理数据模型有深入理解
● 熟练掌握大数据采集、摄取、存储、处理和可视化的架构设计、构建和优化
● 对于RESTful API、OAuth2授权框架和API网关的安全最佳实践有工作知识
● 熟悉处理非结构化数据集（如语音、图像、日志文件、社交媒体帖子、电子邮件）的工作
● 处理客户操作问题的升级经验。
职责：
● 与团队成员密切合作，领导和推动企业解决方案，就权衡、最佳实践和风险缓解的关键决策点提供建议
● 指导客户进行大数据项目转型，包括开发和部署大数据和人工智能应用
● 教育客户云技术，并影响解决方案的方向。
● 推广、强调和利用大数据解决方案，部署性能良好的系统，适当自动扩展，高可用、容错、自我监控和可维护
● 在设计数据解决方案和AWS/Azure/GCP基础架构时采用深度防御方法
● 协助和建议数据工程师准备和交付原始数据以进行预测建模
● 帮助开发人员识别、设计和实施具有自动化工具的流程改进，以优化数据交付
● 构建所需的基础架构，以从各种数据源中提取、加载和转换数据
● 与开发人员合作，维护和监控可扩展的数据管道
● 执行根本原因分析，回答特定的业务问题，并识别流程改进的机会
● 构建新的API集成，以支持数据量和复杂性持续增加
● 实施流程和系统，监控数据质量和安全性，确保生产数据准确可用于关键利益相关者和依赖于它的业务流程
● 使用变更管理最佳实践，确保数据对业务保持可访问性
● 维护工具、流程和相关文档，以管理API网关和基础架构
● 实施可重用的设计模板和解决方案，以集成、自动化和编排云操作需求
● 使用数据治理解决方案进行MDM的经验
资格要求：
● 在IT领域拥有12年以上的总体经验。
● 2年以上使用Azure Databricks设计和实施多租户解决方案的实际经验，用于数据治理、近实时数据仓库和机器学习解决方案。
● 3年以上的设计和开发经验，使用可扩展和具有成本效益的Microsoft Azure/AWS/GCP数据架构和相关解决方案
● 在软件开发、数据工程或数据分析领域具有5年以上的经验，使用Python、Scala、Spark、Java或等效技术
● 获得大数据、计算机科学、工程学、数学或类似领域的学士或硕士学位，或具有同等的工作经验
● 有以下资格证书将是加分项：
- 高级技术认证：Azure解决方案架构师专家
- AWS认证数据分析师，DASCA大数据工程与分析
- AWS认证云从业者，解决方案架构师
- Google Cloud认证专业人员 
洛杉矶