大数据工程师
加利福尼亚州萨克拉门托
3-6个月
费率:C2C每小时50美元
面试方式:电话面试
任何签证均可
描述:
创建最佳数据管道架构。
组装满足功能/非功能业务要求的大型复杂数据集。
识别、设计和实施内部流程改进:自动化手动流程、优化数据传递、设计具有更高可扩展性的基础设施。
构建所需的基础设施,以通过SQL和AWS的“大数据”技术从各种数据源中提取、转换和加载数据。
从宏观视图(即架构图)和微观视图(即Airflow中的脚本级任务)创建详细的数据架构步骤说明文档。
资质:
• 具备高级SQL知识和在关系型数据库中工作的经验,能够进行查询编写和优化(SQL),并熟悉各种数据库。
• 具备构建和优化“大数据”数据管道、架构和数据集的经验。
• 构建支持数据转换、数据结构、元数据、依赖关系和工作负载管理的流程。
• 成功处理和提取大型结构化和非结构化数据集的价值的历史。
• 熟悉消息队列、流处理和高度可扩展的“大数据”数据存储。
• 具备使用大数据工具的经验:Snowflake、Hadoop、Spark、Kafka等。
• 具备关系型SQL和NoSQL数据库的经验。
• 具备数据管道和工作流管理工具的经验:Azkaban、Luigi、Airflow等。
• 具备AWS云服务的经验:EC2、VDI和RDS。
• 具备面向对象/面向函数脚本语言的经验:Python、R、Java、C++、Scala等。
知识/技能和能力:
• 自我导向和积极解决问题。
• 自信的口头沟通者。
• 能够以有效和清晰的方式书面沟通复杂信息。
• 强大的项目管理和组织能力。
• 在动态环境中支持和与跨职能团队合作的经验。
• 建立和维护外部合作伙伴关系的能力。
• 具备优先处理、多任务处理和同时有效管理多个任务的能力。
• 出色的组织能力和注重细节。
• 以客户为导向。
• 能够轻松切换独立和协作任务。
• 有Salesforce经验者优先。
• 有K-12数据和教育领域工作经验者优先。
• 熟悉各种K-12学生信息系统(SIS),如PowerSchool、Aeries、Illuminate等者优先。
• 致力于增加教育机会和公平性。
教育和经验:
• 我们正在寻找有3年数据工程师经验的候选人,拥有计算机科学、统计学、信息学、信息系统或其他量化领域的研究生学位。