关键角色和职责:
• 就数据应用和执行专业任务提供详细建议
• 创建针对性能进行优化的数据库,并对数据进行结构化以便进行分析
• 在数据项目中提供支持和协助,并确保客户项目的数据交付架构最佳化
• 构建基础设施,以从各种数据源中进行最佳的数据提取和转换
• 从业务源系统中开发可扩展的ETL包
• 开发ETL例程以从源中填充数据
• 构建测试场景,以支持数据转换的准确性进行测试和验证
• 在不同数据库和不同服务器之间进行数据迁移
• 根据系统和用户需求定义和实施数据存储
• 根据变更请求进行评估、分析、开发、文档化和实施变更
• 与测试人员协调进行建模测试,并维护和管理工具和方法
• 确保与配置管理进行信息交流
• 确保维护发布流程和程序
• 调查运营需求、问题和机会,并为新的或更改的流程和组织的自动化和非自动化组件改进提出建议
• 定义和管理变更的范围、需求定义和优先级活动
• 根据变更管理政策,调查、管理和应用对基线需求的授权变更请求
• 根据项目需求解释安装标准,并根据需要生成数据库组件
• 评估潜在解决方案,演示、安装和投入使用所选产品
• 在数据转换过程中应用符合组织政策和程序的道德和可靠技术
• 与分析和业务团队合作,改进供应商商业智能工具所需的数据模型,提高数据可访问性,并促进公司的数据驱动决策
• 实施过程和系统以监控数据质量,确保生产数据准确无误
• 进行数据分析以解决与数据相关的问题,并协助解决数据问题
• 测试新系统和/或现有系统的每个部分的可靠性和性能
• 将机器学习模型部署到生产环境中
知识、技能和特质
• 保持与数据工程相关的特定专业知识
• 展示规划和组织能力
• 具有分析思维和商业头脑
• 使用Python编程,具有软件开发的可证明理解能力
• 解决问题的能力
• 熟悉使用Power BI创建报告、仪表板和度量指标
• 了解增强分析、数据可视化、数据虚拟化和数据治理解决方案和实施
• 出色的问题解决和故障排除能力
• 高度注重流程,具有出色的文档编写技巧
• 对构建和维护物理和逻辑数据模型有深入的工作和概念性知识
• 对处理非结构化数据集具有强大的分析能力
• 能够处理、处理和从大型断开的数据集中提取价值
• 强大的项目管理和组织能力
• 能够在压力下工作并满足截止日期
• 对数据库设计原则有扎实的理解
• 具有优秀的口头和书面沟通能力,具有较强的客户服务意识
• 能够管理和传达数据仓库计划给内部客户
• 至少了解一个主要云平台提供商,如Azure、AWS、Google等
学术资格和认证:
• 相关学位,如计算机科学、信息技术或应用数学或统计学学士学位
• 相关认证,如认证数据工程师、认证专业等
所需经验:
• 在快节奏环境中从事数据工程和数据挖掘的经验
• 在构建能够从复杂数据集中提供洞察的现代数据分析解决方案方面有经验
• 熟练使用Python进行编程
• 在SQL、MySQL数据库和Microsoft SQL方面有良好的工作经验
• 在互联网技术方面有工作经验,如Saas、Iaas和Paas
• 有使用Hadoop、Cassandra、Storm等大数据工具的经验
• 有使用Perl、bash、Shell、Python等脚本语言编写脚本的经验
• 在自动化、脚本编写方面有经验,并有成功实施的示例
• 具有安全、高可用和可扩展系统的架构和设计经验
• 在构建能够从大型和复杂数据集中提供洞察的现代数据分析解决方案方面有经验
• 在安全、高可用和可扩展系统的架构和设计方面有经验
• 在互联网技术方面有工作经验