职责
• 设计、开发和优化提取、转换、加载（ETL）流程，以促进跨各种平台（包括AWS和Azure Data Lake等云环境）的高效数据移动。
• 与跨职能团队合作，收集需求并使用Informatica、Talend和Apache Hive等工具将其转化为可扩展的数据工作流。
• 构建和维护数据管道，利用Hadoop、Spark和Apache Hive等大数据框架有效处理大规模数据集。
• 使用Microsoft SQL Server、Oracle和其他关系数据库开发和实施数据仓库的数据库模式、模型和设计。
• 通过RESTful API集成链接数据源，确保不同系统之间的互操作性。
• 编写复杂的SQL查询、Python脚本、Bash shell脚本和VBA宏，以自动化流程并增强数据分析能力。
• 监控管道性能，及时排除故障，并优化流程以实现最佳效率。
• 通过准备数据集并确保用于分析项目的数据的完整性来支持模型训练活动。
• 参与敏捷开发周期，以交付与项目目标一致的迭代改进。
技能
• 在SQL编程方面具有较强的能力，能够在包括Microsoft SQL Server和Oracle在内的多个数据库平台上进行数据提取和操作。
• 拥有使用Informatica或Talend等ETL工具构建可扩展数据工作流的实际经验。
• 熟悉AWS（亚马逊网络服务）、Azure Data Lake等基于云的存储解决方案及相关的大数据处理服务。
• 精通大数据技术，包括Hadoop生态系统组件（HDFS）、Spark、Apache Hive及相关框架，用于处理大型数据集。
• 了解Java、Python、Bash（Unix shell）、Shell脚本、VBA等编程语言，用于自动化和自定义开发任务。
• 拥有使用Looker或类似BI工具创建支持分析计划的仪表板和可视化的经验。
• 理解RESTful API集成技术，用于从外部系统获取链接数据。
• 能够在复杂环境中设计高效的数据库模式并优化查询性能。
• 熟悉敏捷方法论，以促进快节奏项目中的协作开发周期。
• 具备强大的分析技能，能够准确解释大型数据集并得出可操作的见解。加入我们，成为一个致力于将原始数据转化为战略资产的前瞻性团队的一员！您的专业知识将赋能我们的组织决策过程，同时在一个专注于创新和卓越的活跃技术环境中推进您的职业生涯。
职位类型：全职
薪资：每年$75,598.37-$123,084.89
