大数据工程师

16个月前全职
Key Business Solutions, Inc.

Key Business Solutions, Inc.

location 旧金山
unsaved
大数据工程师 加利福尼亚州萨克拉门托 3-6个月 费率:C2C每小时50美元 面试方式:电话面试 任何签证均可 描述: 创建最佳数据管道架构。 组装满足功能/非功能业务要求的大型复杂数据集。 识别、设计和实施内部流程改进:自动化手动流程、优化数据传递、设计具有更高可扩展性的基础设施。 构建所需的基础设施,以通过SQL和AWS的“大数据”技术从各种数据源中提取、转换和加载数据。 从宏观视图(即架构图)和微观视图(即Airflow中的脚本级任务)创建详细的数据架构步骤说明文档。 资质: • 具备高级SQL知识和在关系型数据库中工作的经验,能够进行查询编写和优化(SQL),并熟悉各种数据库。 • 具备构建和优化“大数据”数据管道、架构和数据集的经验。 • 构建支持数据转换、数据结构、元数据、依赖关系和工作负载管理的流程。 • 成功处理和提取大型结构化和非结构化数据集的价值的历史。 • 熟悉消息队列、流处理和高度可扩展的“大数据”数据存储。 • 具备使用大数据工具的经验:Snowflake、Hadoop、Spark、Kafka等。 • 具备关系型SQL和NoSQL数据库的经验。 • 具备数据管道和工作流管理工具的经验:Azkaban、Luigi、Airflow等。 • 具备AWS云服务的经验:EC2、VDI和RDS。 • 具备面向对象/面向函数脚本语言的经验:Python、R、Java、C++、Scala等。 知识/技能和能力: • 自我导向和积极解决问题。 • 自信的口头沟通者。 • 能够以有效和清晰的方式书面沟通复杂信息。 • 强大的项目管理和组织能力。 • 在动态环境中支持和与跨职能团队合作的经验。 • 建立和维护外部合作伙伴关系的能力。 • 具备优先处理、多任务处理和同时有效管理多个任务的能力。 • 出色的组织能力和注重细节。 • 以客户为导向。 • 能够轻松切换独立和协作任务。 • 有Salesforce经验者优先。 • 有K-12数据和教育领域工作经验者优先。 • 熟悉各种K-12学生信息系统(SIS),如PowerSchool、Aeries、Illuminate等者优先。 • 致力于增加教育机会和公平性。 教育和经验: • 我们正在寻找有3年数据工程师经验的候选人,拥有计算机科学、统计学、信息学、信息系统或其他量化领域的研究生学位。