角色：AWS解决方案架构师
地点：加利福尼亚州旧金山
工作目的：
• 设计解决方案架构，处理数据摄取、准备和转换。调试生产故障并识别解决方案。
• 使用（AWS Dynamo DB、EKS、Kafka、Kinesis/Spark/Streaming/Python等）开发高效的开发和测试框架，以实现无缝的数据摄取过程到AWS云平台。
• 启用数据治理和数据发现平台
• 使用Spark、Databricks和Python构建数据处理框架
• 接触云上的数据安全框架
• 使用DevOps工具接触数据管道自动化
• 接触作业监控框架以及验证和自动化
• 接触处理结构化、非结构化和流数据集。
必须具备 - 技术和软技能
• 在大数据技术（首选AWS）方面具有扎实的实践和解决方案架构经验
• 实践经验：AWS Dynamo DB、EKS、Kafka、Kinesis、Glue PySpark、EMR PySpark
• 熟练使用Python、Scala与Spark等编程语言。
• 在Hadoop/Map Reduce、HDFS、Hive、HBase和No-SQL数据库方面具有良好的掌握和工作经验
• 在任何数据工程/分析平台（Hortonworks/Cloudera/MapR/AWS）上具有实践工作经验，首选AWS
• 在数据摄取Apache Nifi、Apache Airflow、Sqoop和Ozzie方面具有实践经验
• 在事件驱动系统、消息队列（Kinesis/Kafka/Flink/Spark Streaming）的大规模数据处理方面具有实践工作经验
• 在AWS服务如EMR、Kinesis、S3、CloudFormation、Glue、API Gateway、Lake Foundation方面具有实践工作经验
• 在AWS Athena方面具有实践工作经验
• 在Apache Nifi、Apache Airflow、Kylo上的数据仓库接触
• 在AWS上实现ML模型的操作化（例如，部署、调度、模型监控等）
• 用于模型开发的特征工程/数据处理
• 在大规模收集和处理原始数据方面的经验（包括编写脚本、网络抓取、调用API、编写SQL查询等）
• 使用MQ、Kafka、流处理构建结构化/非结构化、实时/批处理、事件/同步/异步的数据管道的经验
• 在分析源系统数据和数据流方面具有实践工作经验，处理结构化和非结构化数据
• 必须非常擅长编写SQL查询
• 通过大数据解决方案加强数据工程团队
• 强大的技术、分析和解决问题的能力
• 强大的组织能力，能够独立工作以及在团队环境中工作
• 良好的人际交往能力，强大的沟通和人际交往能力
认证（优先）
• AWS认证解决方案架构师 - 助理
• AWS认证解决方案架构师 - 专业
加分项
• 脚本：Unix或Shell脚本
• 接触各种ETL和商业智能工具
• 数据仓库设计和最佳实践经验
• 在故障排除和技术支持方面具有强大的背景将是有益的。
教育资格
• 计算机科学、计算机工程或相关学科的学士学位是担任技术主管的必需条件
• AWS认证
• 该领域的个人可以通过完成项目管理协会提供的项目管理专业认证来进一步展示他们的领导能力。
