巨龙信息大数据集成技术 海量数据集成架构实践
来源:搜狐 发表于2022-05-18 15:45:40 编辑:青青

  原标题:巨龙信息大数据集成技术 海量数据集成架构实践

  产品介绍

  巨龙信息(厦门市巨龙信息科技有限公司)研发的大数据集成系统是一款基于分布式并行计算架构开发的ETL数据集成系统。具备高吞吐、高可用、高扩展特性,可以为海量数据的超大规模数据仓库建设提供抽取、整合、清洗、入库等集成业务。

  产品特征

  ■高吞吐处理能力:采用多线程处理算法,高效的内存利用率;任务运行过程无需本地磁盘IO操作,提升整体单位时间的大批量处理能力;支持TB/h级的大数据集成业务性能。

  ■高扩展、高可靠:并行架构提升单机处理能力的线性扩展;新增执行引擎的快速部署和自动识别,分布式架构提升多机处理能力的线性扩展;执行引擎宕机的自动识别和任务转移,保证任务的顺利执行。

  ■可视化流程配置:通过简单的图形拖拽配置数据集成流程,简单易用的专业化配置。

  ■集成业务全流程监控:可对处理过程的每个步骤,每个子流程处理进行实时监控,简单快速发现处理过程遇到的漏数据,错处理等问题。

  ■统一的元数据模型:基于统一公共仓库元模型,可与公司产品线其他产品无缝对接,简化整体解决方案的实施运维。

  ■大数据技术支持:支持主流的关系型数据库,NOSQL数据库,全文库处理等主流大数据产品的抽取入库,以及异构库之间的抽取入库。

  ■低廉的硬件成本:使用x86架构的PCServer,无需昂贵的unix服务器。

  技术亮点

  高性能

  ■任务的水平切分

  一个分布式ETL任务会根据分区自动被分片到多台ETL-执行引擎中,每个执行引擎的执行容器使用多线程并发的对数据进行加工处理后加载到数据仓库中。当源头库单表数据量巨大时,可极大提升整体的数据集成效率和性能

  ■任务拓扑切分

  一个任务的各个步骤,可根据现场物理设备的实际配置,合理地安排到不同的物理设备上,保证硬件资源满足步骤的执行

  高扩展

  ■集群处理能力的线性扩展

  Ø 集群处理能力的快速扩充

  Ø 集群自动识别和热部署新增执行引擎

  ■多集群组

  Ø 根据业务划分集群组,使关注点分离

  Ø 集群组有利于异常干扰的隔离

  ■单任务并行计算

  Ø 任务步骤的独立线程数可配置

  Ø IO的合理平衡

  Ø 内存空间的合理利用,减少内存垃圾回收率

  ■任务的分布式调度

  Ø 带权重的负载均衡算法,可根据设备处理能力安排并发任务数

  Ø 控制中心对集群环境的自动负载均衡

  高可用

  ■异常数据分流

  Ø 可选的异常数据分流机制,保证不影响正常流程的情况下异常数据分流

  Ø 保证每个步骤出现的异常数据转储到指定地点,不丢失

  ■控制中心HA

  ■任务的异常处理

  Ø 自动感知执行引擎异常,将异常设备的任务转发到正常设备上重新执行

  Ø 任务在一台设备上执行过程出现错误,自动重新在另外一台设备重新执行

投稿邮箱:lukejiwang@163.com
相关推荐
李显龙参观小米汽车工厂:小米汽车构造零件看得入迷
李显龙参观小米汽车工厂:小米汽车构造零件看得入迷

原标题:李显龙参观小米汽车工厂:小米汽车构造零件看得入迷 听雷军讲解开

快资讯8小时前

日产泰国销量下跌!中国车企疯狂挖人、接盘销售门店
日产泰国销量下跌!中国车企疯狂挖人、接盘销售门店

原标题:日产泰国销量下跌!中国车企疯狂挖人、接盘销售门店 11月25日消息,

快资讯2024-11-25 22:09:08

网易云音乐宣布三大体验升级!全新版本将发布 VIP用户
网易云音乐宣布三大体验升级!全新版本将发布 VIP用户

原标题:网易云音乐宣布三大体验升级!全新版本将发布 VIP用户无广告 11月2

快资讯2024-11-25 22:05:19

SpaceX星舰第七次试飞定了:计划在明年1月11日进行
SpaceX星舰第七次试飞定了:计划在明年1月11日进行

原标题:SpaceX星舰第七次试飞定了:计划在明年1月11日进行 11月25日消息,据报

快资讯2024-11-25 22:03:28

国际领先!腾讯CSIG获CSIG科技进步一等奖:头发丝1/50粗
国际领先!腾讯CSIG获CSIG科技进步一等奖:头发丝1/50粗

原标题:国际领先!腾讯CSIG获CSIG科技进步一等奖:头发丝1/50粗细缺陷都能发现

快资讯2024-11-25 22:02:50

《王者荣耀》16.0评分将获顶级分路 一次可加三颗星
《王者荣耀》16.0评分将获顶级分路 一次可加三颗星

原标题:《王者荣耀》16.0评分将获顶级分路 一次可加三颗星 11月25日消息,《

快资讯2024-11-25 21:38:11

广电总局:已有超过2亿用户实现“一个遥控器看电视”
广电总局:已有超过2亿用户实现“一个遥控器看电视”

原标题:广电总局:已有超过2亿用户实现一个遥控器看电视 11月23日消息,近年

快资讯2024-11-23 20:56:47

《黑神话》获金摇杆年度游戏!有网友吐槽:没少刷贴
《黑神话》获金摇杆年度游戏!有网友吐槽:没少刷贴

原标题:《黑神话》获金摇杆年度游戏!有网友吐槽:没少刷贴、根本不配 1

快资讯2024-11-22 22:05:04

滴滴张博卸任CTO 未来将专注自动驾驶业务
滴滴张博卸任CTO 未来将专注自动驾驶业务

原标题:滴滴张博卸任CTO 未来将专注自动驾驶业务 11月22日消息,滴滴内部宣布

快资讯2024-11-22 21:55:10

中国车企竞争太激烈!福特将在欧洲裁员4000人
中国车企竞争太激烈!福特将在欧洲裁员4000人

原标题:中国车企竞争太激烈!福特将在欧洲裁员4000人 11月21日消息,据报道,

快资讯2024-11-21 21:43:54