数据工程师将负责收集、存储、处理和转换大量数据，使其能够被分析和决策使用。理想的候选人是一位经验丰富的数据管道构建者和数据整理者，喜欢优化数据系统并从头开始构建它们。
成功的候选人必须自主并且能够支持多个团队和系统的数据需求。合适的候选人将对优化我们公司的数据以支持下一代投资的前景感到兴奋。
职责
70% 数据工程、ETL和Azure数据工厂
• 设计、构建和维护可扩展和高效的数据管道，使用Azure数据工厂从各种来源提取、转换和加载(ETL)数据到Azure数据仓库。
• 设计和实施数据集市，包括维度建模、模式设计和优化技术。
• 整合和 consololidating 来自不同来源的数据，如数据库、API和流媒体平台，确保数据质量、一致性和完整性。
• 创建和维护数据模型，定义数据结构、关系和数据存储需求，使用实体关系图和数据流图等技术。
• 开发数据转换过程，包括数据清洗、规范化、聚合和丰富，为分析和报告准备数据。
• 识别和解决数据处理和存储系统的性能瓶颈，优化查询性能，提高整体数据管道效率。
• 实施数据质量保证流程，执行数据验证，测试数据管道，并解决数据质量问题。
• 监控数据管道，诊断和解决问题，执行系统升级和维护任务，确保数据的可靠性和可用性。
• 与跨职能团队合作，包括业务联络员、分析师和软件工程师，记录数据工程流程、工作流程和最佳实践。
• 支持 Harrison Street 团队成员如何正确组织调查结果和阅读收集到的数据。
• 与运营和基础设施团队合作，识别、设计和实施内部流程改进，例如自动化手动流程、优化数据交付和重新设计基础设施以提高可扩展性。
• 与运营和基础设施团队合作，构建所需的基础设施，以实现从各种数据源使用SQL和Azure数据工厂的数据的最佳提取、转换和加载。
• 理解 Harrison Street 的数据平台如何融入整体技术架构。
20% 数据可视化
• 对数据可视化原则、最佳实践和设计美学有很好的理解。
• 使用Tableau开发、维护和管理高级报告、分析和仪表板。
• 进行数据分析和验证。
• 能够将业务需求转化为技术解决方案，并与利益相关者进行有效沟通。
• 具有数据分析和解释的经验，以获得可操作的见解。
10% 项目管理
• 与利益相关者密切合作，定义项目目标、范围和交付物。
• 使用Azure Dev Ops创建项目计划、任务和时间表。
• 监控进展，确保及时完成里程碑和交付物。
• 进行会议，提供进展报告，并管理期望，以确保一致性和利益相关者满意度。
• 制定风险缓解和应急计划，以应对潜在的挫折。
• 运用组织和沟通技巧，确保项目目标得到实现，并且交付物在定义的约束条件下具有高质量。
资格要求
• 微软认证 - Azure数据工程师。
• 使用Tableau或Power BI的经验。
• 具有高级的SQL知识，具有使用关系数据库进行查询编写(SQL)的经验，以及对各种数据库的工作熟悉。
• 具有构建和优化Azure数据工厂管道、体系结构和数据集的经验。
• 具有对内部和外部数据和流程进行根本原因分析以回答具体业务问题并找到改进机会的经验。
• 具有处理非结构化数据集的强大分析能力。
• 构建支持数据转换、数据结构、元数据、依赖性和工作负载管理的流程。
• 成功处理、处理和从大量断开的数据集中提取价值的历史。
• 较强的组织能力。
• 在动态环境中支持和与跨职能团队合作的经验。
• 5年以上数据工程师角色的经验。他们还应具备以下软件/工具的使用经验：
• 有Azure数据工厂的经验。
• 有关系SQL数据库的经验。
• 有Azure云服务的经验。
• 有面向对象/函数脚本语言的经验：Python、Java、C++、Scala等。
• 能够编译和组织检索到的统计信息，并向管理层呈现结果。
• 有处理私人和敏感个人信息的经验。
• 在决策方面有信心，并能根据需要解释流程或选择。
• 较强的计算机技能和使用必要数据库和软件的能力。
• 能够同时完成里程碑并朝着多个截止日期努力。
• 熟练掌握数据仓库解决方案和ETL工具。
• 熟练掌握数据库设计、数据定义、数据字典和相关概念。
• 理解机器学习。
• 可以利用数据API。
• 理解应用程序/开发和SDLC。
• 算法和数据结构的知识。 
芝加哥