你好,
希望你过得很好。
请查看以下需求,并告诉我你是否感兴趣。
职位:高级大数据架构师
地点:加利福尼亚州圣何塞,现场办公
时长:12个月以上
职位描述:
• 将业务需求转化为技术规格,包括数据流、集成、转换、数据库、数据湖、数据仓库和数据产品
• 定义数据架构框架、标准和原则,包括建模、元数据、参考数据、主数据和PA LDS环境的安全性
• 定义参考架构,供其他人创建和改进数据系统的模式
• 定义数据流程的完整生命周期(数据来源、组织数据流和功能、数据流如何管理以及数据在转换中如何变化)
• 创建程序以确保数据准确性、质量、及时性、可用性和可访问性
• 创建和实施数据管理流程和程序
• 与组织内的其他团队合作,制定和实施数据战略,构建模型,并评估股东的需求和目标
• 开发应用程序编程接口(API)以检索数据
• 定义和部署满足功能/非功能业务领域需求的大型复杂数据环境
• 识别、设计和实施内部流程改进:自动化手动流程、优化数据交付、重新设计基础设施以实现更大的可扩展性等
• 使用SQL和“大数据”技术设计所需的基础设施,以从各种数据源中提取、转换和加载数据
资格要求:
• 计算机科学或相关领域的学士学位,至少10年以上的数据/数据库背景,其中5年以上担任数据架构师。
• 候选人必须具有2-3年的AWS云端数据服务经验,如ECT、Glue、EMR、RDS、Redshift。
• 必须具备使用Storm、Spark-Streaming、Kafka或类似技术的实时数据流经验。
• 具备强大的数据管理技能,以高效且具有成本效益的方式收集、存储和使用数据
• 具备系统开发生命周期、项目管理方法和需求、设计和测试技术方面的经验
• 具备使用传统和新兴数据管理和报告技术的经验,了解列式数据库、NoSQL数据库、预测分析、数据可视化和非结构化数据
• 具备高级SQL知识和与关系数据库的工作经验,包括查询编写(SQL),并熟悉各种数据库
• 具备构建和优化“大数据”数据流程、架构和数据集的经验。
• 具备通过内部和外部数据和流程进行根本原因分析以回答具体业务问题并找到改进机会的经验
• 具备较强的项目管理和组织能力
• 具备在动态环境中支持和与跨职能团队合作的经验。
• 我们正在寻找一名在数据架构师角色中拥有5年以上经验的候选人,他们应该拥有计算机科学、统计学、信息学、信息系统或其他定量领域的学位。他们还应具备使用以下软件/工具的经验:
• 大数据工具的经验:Hadoop、Spark、Kafka等
• 具备利用人工智能和机器学习(AI/ML)构建处理大数据的可扩展系统的经验
• 具备使用数据建模工具如ERWin或Visio可视化元数据和数据库模式和/或架构的经验
• 具备关系SQL和NoSQL数据库的经验,包括Oracle、MS SQL Server、Postgres、Cassandra等
• 具备数据管道和工作流管理工具的经验:Azkaban、Luigi、Airflow等
• 具备来自Informatica、MuleSoft、Talend、TIBCO等供应商的数据集成服务解决方案的经验
• 具备云端数据服务的经验,如AWS(EC2、Glue、EMR、RDS、Redshift等)
• 具备流处理系统的经验:Storm、Spark-Streaming、Kafka等
具备面向对象/函数脚本语言的经验:Python、R、Java、C++、Scala等