数据科学家 / 数据仓库工程师（非结构化数据提取与处理）
职位概述
帕森斯公司正在寻找一位专注于非结构化数据提取与处理的数据科学家 / 数据仓库工程师。理想的候选人将设计、开发并维护可扩展的数据管道，将来自各种来源的结构化和非结构化数据集成。此角色要求具备数据工程工具和最佳实践的技术专长，以及出色的沟通和协作能力，以便与数据分析师、科学家和利益相关者跨部门合作。加入一个由科学家、软件架构师和软件工程师组成的专注且分布式的团队，负责开发生成性人工智能（GenAI）能力，以加速基础设施项目（如高速公路、桥梁等）的设计。
主要职责
非结构化数据处理
• 提取、清洗和处理非结构化数据（例如，文本、日志、图像），以用于分析和机器学习。
• 开发和优化自定义ETL/ELT管道，以处理复杂数据格式和大数据量。
数据管道开发
• 使用Apache Spark、Hadoop或Apache Beam构建稳健且可扩展的数据管道。
• 使用Apache Airflow、Prefect或Luigi等编排工具自动化工作流和调度数据处理。
数据仓库与存储
• 设计、实施和维护现代数据仓库解决方案（例如，Databricks、Snowflake、Redshift、BigQuery）。
• 管理结构化（SQL）和非结构化数据存储的关系型和NoSQL数据库。
云集成
• 在云平台（Azure、AWS或GCP）上部署和优化数据解决方案。
• 利用Azure Data Factory、AWS Glue或Google Dataflow等服务实现无缝的数据摄取和转换。
性能优化与故障排除
• 监控、诊断和改善数据系统的性能和可靠性。
• 与其他团队合作，优化数据库查询、改进ETL流程，并确保数据完整性。
数据治理与安全
• 实施数据质量检查、版本控制和符合规定的安全协议（GDPR、CCPA）。
• 确保敏感信息的强大访问控制和加密措施。
协作与文档
• 与跨职能团队紧密合作，了解数据需求并提供解决方案。
• 记录工作流程、系统设计和故障排除程序，以支持知识共享和未来维护。
所需技术技能
编程
• 精通Python进行数据处理和自动化。
• 有脚本语言（例如，Bash、Shell）的经验者优先。
数据处理框架
• 具有Apache Spark、Hadoop或Apache Beam的实践经验。
• 熟悉ETL/ELT流程和最佳实践。
数据库与查询
• 对SQL有深入理解，具备PostgreSQL、MySQL或Oracle的经验。
• 接触过MongoDB、Cassandra或DynamoDB等NoSQL数据库。
云平台
• 具备Azure（例如，Data Factory、Synapse、Data Lake）、AWS（例如，S3、Redshift、Glue）或GCP（BigQuery、Dataflow）的工作知识。
数据仓库
• 具备Databricks、Snowflake、Redshift或BigQuery的经验。
数据管道与编排
• 熟悉工作流编排工具（Airflow、Prefect、Luigi）。
大数据工具
• 精通使用HDFS或云原生等效系统的分布式数据系统。
版本控制
• 熟练使用Git进行协作开发和代码版本管理。
经验
• 工作经验：至少4年数据工程、数据仓库或相关领域的经验。
• 项目经验：表现出构建和优化可扩展数据管道的能力，适用于批处理和实时处理。
• 调试与优化：在诊断性能问题和优化数据系统方面有良好记录。
• 数据治理与安全：有实施数据隐私法规和数据质量、访问控制最佳实践的经验。
软技能
解决问题
• 能够独立排查复杂数据和系统问题。
沟通
• 强大的能力与数据分析师、科学家及其他工程师协作，将业务需求转化为有效的数据解决方案。
文档
• 能够清晰简明地记录数据工作流程、系统设计和故障排除步骤。
团队合作
• 有在全球范围内的跨职能专业团队中工作的经验，最好是在敏捷或类似方法论中。
教育
• 计算机科学、信息系统、工程或相关领域的学士或硕士学位。
• 在某些情况下，相当的实践经验可以替代正式教育。
认证（可选但有价值）
• AWS认证数据分析专业
• Google专业数据工程师
• 微软Azure数据工程师助理
• Databricks认证数据工程师助理
其他考虑
• 分析与统计技能：具有数据分析或数据科学背景对于设计有效的数据模型和理解商业洞察非常有益。
• 机器学习集成：接触集成机器学习管道，特别是GenAI技术，以进一步推动数据驱动的智能。
• 创新思维：热衷于探索新工具、框架和方法，以不断优化数据解决方案。
为什么加入我们
• 有影响力的角色：塑造非结构化数据管理和分析的架构与战略，影响关键决策并推动商业价值。
• 协作环境：与动态的数据专业团队合作，利用尖端技术解决现实挑战。
• 职业发展：在提供持续学习和发展机会的角色中，扩展您的技术能力和领导能力。
最低入职所需的安全审查：不适用/无
帕森斯是一个平等机会的雇主，致力于工作场所的多样性。少数族裔/女性/残疾人士/受保护退伍军人。 
