- 资源优化:帮您节省计算、存储费用
- 移动运维:轻松搞定任务运维
- 运行诊断:为您快速定位疑难问题
- 智能监控:提高生产力,更加智慧的告警处理方式
- 字段级数据血缘:快速定位脏数据源头
- 多种控制节点:满足复杂业务场景逻辑
- 数据保护伞:进行数据安全保障
- 实时流计算开发:极大降低新技术使用门槛
https://support.huaweicloud.com/usermanual-dgc/dgc_01_0024.html
3.1产品架构
华为云整个的数据湖解决方案,完整覆盖了数据处理的生命周期,并且明确支持了数据治理,并提供了基于模型和指标的数据治理流程工具,在华为云的数据湖解决方案中逐渐开始往“湖仓一体化”方向演进 。
文章插图
DGC基于数据湖底座,提供数据集成、开发、治理、开放等能力 。DGC支持对接所有华为云的数据湖与数据库云服务作为数据湖底座,例如数据湖探索(Data Lake Insight,简称DLI)、MRS hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、Greenplum等 。DGC包含如下功能组件:
- 管理中心,提供DGC数据连接管理的能力,将DGC与数据湖底座进行对接,用于数据开发与数据治理等活动 。
- 数据集成之批量数据迁移,批量数据迁移提供20+简单易用的迁移能力和多种数据源到数据湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成 。
- 数据集成之实时数据集成,实时数据接入为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题 。实时数据接入每小时可从数十万种数据源(例如日志和定位日志事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据 。
- 规范设计,作为数据治理的一个核心模块,承担数据治理过程中的数据加工并业务化的功能,提供智能数据规划、自定义主题数据模型、统一数据标准、可视化数据建模、标注数据标签等功能,有利于改善数据质量,有效支撑经营决策 。
- 数据开发,大数据开发环境,降低用户使用大数据的门槛,帮助用户快速构建大数据处理中心 。支持数据建模、数据集成、脚本开发、工作流编排等操作,轻松完成整个数据的处理分析流程 。
- 数据质量,数据全生命周期管控,数据处理全流程质量监控,异常事件实时通知 。
- 数据资产,提供企业级的元数据管理,厘清信息资产 。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控 。
- 数据服务,数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现 。
- 数据安全,数据安全为数据湖治理中心提供数据生命周期内统一的数据使用保护能力 。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规 。
批量数据迁移基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构 。
文章插图
- 表/文件/整库迁移支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表 。
- 增量数据迁移支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移 。
- 事务模式迁移支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据 。
推荐阅读
- 娃娃沉迷手机怎么办 娃娃迷上手机怎么办
- 比亚迪|王朝、海洋网车型最高涨价1万 比亚迪辟谣
- 如何教育孩子不要攀比 孩子攀比怎么教育
- 孩子厌学怎么沟通 孩子厌学怎么沟通呢
- 孩子爱发脾气是怎么回事 孩子爱发脾气是怎么回事啊
- 推拉门用什么材质好 衣柜推拉门用什么材质好
- 橱柜门用什么材质好打理 橱柜门用什么材质好
- 背景墙用什么材质好 背景墙用什么材质好?
- 华为 Harmony OS 3.0 新功能曝光:文件中转站、智慧视觉等
- 橱柜用什么材质好 厨房橱柜用什么材质好
