提交需求
*
*

*
*
*
立即提交
点击”立即提交”,表明我理解并同意 《美创科技隐私条款》

logo

    产品与服务
    解决方案
    技术支持
    合作发展
    关于美创

    申请试用
      成功案例
      百强客户信赖、覆盖行业场景应用、典型客户成功实践
      百强客户信赖
      覆盖行业场景应用
    • 吉林油田

      数据支撑平台数据标准化数据采集上传规范化数据综合分析数据模型管理规范化

      中国石油天然气股份有限公司吉林油田分公司(简称中国石油吉林油田公司)是中国石油天然气股份有限公司下属地区公司,主营业务为石油和天然气勘探、开发及销售,总部位于吉林省松原市。吉林石油集团有限责任公司是中国石油天然气集团公司(CNPC)的全资子公司,也是中国石油四大上产油田之一。

    • 需求分析

      自2006年,吉林油田陆续开展了勘探开发主库建设、历史数据建设及新数据正常化三项重点工作:集中开展了科研成果文档、分析化验、录井图、测井图、开发地质、物探、油气生产、试井等11类17期科研生产急需的历史数据资源建设工作,目前勘探开发历史数据入库率近70%。

      勘探开发主库的数据来源于数据同步、专业库集成和历史数据建设批量加载,这一过程存在错误数据或数据不一致等问题,需要按照一定的规则针对问题数据开展数据清洗工作。

      具体如下:

      1、需借助ETL工具等技术手段对勘探开发主库及钻录测试等专业库进行数据综合分析。

      2、对关键值缺失、异常值和重复数据及其它关键问题数据进行处理,提升主库和专业库内数据规范性、可用性和数据质量。

    • 解决方案

      针对吉林油田上述实际需求,美创科技通过自主研发的数据支撑平台实现数据清洗、转换、同步和加载工作。该平台通过对业务系统数据进行标准化,向数据仓库或大数据平台提供高质量数据,支持异构数据迁移、基于数据库日志的数据实时复制、ETL开发、分布式处理等功能。具体如下:


      数据清洗人物配置管理模块

      清洗模块是整个清洗工具的控制中心,实现清洗数据源的连接信息、清洗表的设置,并且记录清洗信息。

      清洗规则管理模块

      包含各类清洗算法的运行参数、数据质量指标等,如重复记录清洗算法的阈值、异常值检测的标准、基于业务规则的清洗算法的业务逻辑等。

      清洗算法管理模块

      对重复数据检测算法、不完整数据检测算法和字段匹配算法、异常值检测算法等进行灵活定义和配置。

      扩展模块管理

      通过扩展模块允许向数据清洗工具中加入完全定制化的清洗方法和流程,负责将编译好的扩展清洗方法及描述信息保存到扩展模块配置中,清洗任务可以灵活的选择相应的扩展清洗方法。

      清洗日志管理

      实现清洗动作的可追溯性,清洗任务会自动保存到清洗日志表中,不能自动清洗的为异常。通过清洗日志管理模块可以对清洗任务进行查询,并对异常数据进行手工处理。

      算法和规则配置管理

      通过选择不同的清洗方法和规则实现数据清洗的需求。算法库管理:通过配置管理界面,将已实现算法编译后的类加载到算法库,并在算法库中维护算法的描述信息便于以后的配置管理;规则库管理:工具中的清洗规则都维护在系统规则表中,将规则代码和规则相对应管理。

      扩展清洗模块

      增强数据清洗工具和数据类型的灵活性,在满足扩展模块接口的前提下,定制数据清洗流程进行数据清洗工作。

      安全测评

      系统上线前开展代码安全测评,并出具第三方测评机构出具评测报告。

    • 方案价值

      1、实现数据标准化、数据模型管理规范化、数据采集上传规范化、数据采集流程、数据整理流程规范化、数据质量控制、完整性控制的流程与规范化。

      2、进一步整合了吉林油田不同系统业务数据,挖掘信息所能带来的价值以及对业务提供更好的决策支持。

      3、支持多种数据交换应用场景,平台支持数据复制、数据同步、数据备份/恢复、数据迁移、应用系统数据卸载、ETL、数据汇聚整合、数据分发、数据服务等应用场景,并满足各种不同应用场景的统一使用和监控管理需求。

    • 更多案例
      查看更多
      上海燃气 江苏电网 天津电网 上海电力 国网某信通分公司
      相关产品
      数据流动平台
      资料下载
      查看更多
      如果想进一步了解美创产品或解决方案

      请联系我们,我们将推荐适合您需求的产品,或为您定制解决方案

      400-811-37771

      免费试用
      服务热线

      马上咨询

      400-811-3777

      回到顶部
      XML 地图