目录

可靠传输

  • 文档创建者:ReiKing
  • 最近更新: 于 2023-07-13
  • 图片.png

    一、简介

    平台独特的可靠传输技术,保障数据传输过程中不堵、不丢、保障数据一致性,模块特性如下:

     1. 在同一个服务内实现了端对端的数据交换。

     2. 事务处理机制保证跨网段交换数据一致性。

     3. 状态传感器技术解决了分布式传输过程的状态感知,避免了TCP协议大数据量长时间处理情况下的通讯挂起现象,保证了传输的畅通。

    4. 支持中心、分中心、中转、物理隔离、前置等部署方式。提供睿智数据文件格式,能兼容各种类型的数据库,方便安全区物理隔离情况下准实时交换。支持推、拉等安全传输方式。

    图片.png

    二、可靠传输与数据处理事务技术实现

    1. 提供状态传感器,保证分布式情况下传输和处理的事务完整

    提供状态传感器,能感知分布式节点的传输和加工状态,当任何一个节点出现故障时能感知并能及时的通知发送方、接收方相关处理服务,发送方断点不更新,接收方数据不提交,保证分布式传输和处理的事务一致性,保证了数据的一致性、可靠性。

    2. 提供核心技术满足复杂网络情况下的可靠传输需要

    A) 提供动态智能路由技术

    动态智能路由技术解决了通讯连接与网络的物理连接无关的问题,方便传输节点IP地址不固定的情况下的数据传递的应用;

    动态智能路由技术根据传输路径动态优化数据的传输带宽,尤其是在一对多的数据传输情况下,极大的减少了数据传输带宽的占用量,提高了传递的速度;

    智能路由技术能根据网络的带宽状况调整传输包大小,方便在网络带宽比较差的情况下的数据可靠传递。

    B) 面向过程的可靠性数据传输机制

    这种机制减少了传输过程的网络堵塞,可靠性记录的瞬间瓶颈等现象,保证数据传输的稳定性和可靠性,达到不丢、不重、不错标准。

    提供面向传输过程断点续传机制,在发送过程中如果订阅者出现如网络断等意外,发送处理将调用积压处理,对于消息队列将发送的消息保存到本地的存储介质中,将在存储介质中的位置保存到本地的索引表中,对于文件队列,将文件数据块索引号保存到本地索引表中,把这些信息打包放到相应的积压队列中,然后启动网络监控线程,监控订阅者的网络情况,当网络意外解除时调用积压处理线程做积压消息发送, 自行重建连接,继续传输未完成部分。

    C) 提供了数据块传输和属性信息的有效管理,提高了传输数据量和带宽利用率

    提供了属性队列,用于描述数据传递的状态信息等属性,将数据传递块和传输状态目的等属性信息分开。方便了大数据量情况下的数据传输,减少了传递带宽。提高了数据的传输效率,尤其是大数据量情况下的数据传输。

    D)传输通道和整合服务的关联,可视化配置数据传递

    数据传输通道和整合服务可视化关联,方便数据传输通道和数据加工处理的绑定。通过工具可视化配置发送方数据加工处理,并将加工的结果可视化配到传输通道中,可靠地传输到接收方,通过工具可视化配置接受方的数据整合处理,并将配置好的整合处理与接受方的通道关联,接受方的通道一旦接到数据就调用配置的整合服务处理。

    主要包括发送方数据关联和接受方数据关联。

    发送方的数据通道可以和数据整合服务关联起来。可视化配置数据整合服务,配置转换和清洗策略、拖拉生成映射关系,将数据整合服务的输出可以作为数据通道的传输内容,放到数据通道上。当指定目标服务器时,通道的数根据指定的服务器ID发送到相应的服务器上;当不指定目标服务器时,通道的数据传输根据该通道的订阅者来传递。

    接收方接受的通道数据也可以和数据整合服务关联起来,数据通道的内容可以作为数据整合处理的输入。可视化配置数据整合服务,配置转换和清洗策略、拖拉生成映射关系,通过定义接受方的数据通道的定义将配置好的数据整合服务和数据通道内容关联起来。选择绑定处理,选择绑定的数据整合服务。

    3. 支持基于通道的数据加工和传输服务一体化处理

    定义通道——异构数据经转换、清洗等处理输出到通道——由传输平台将数据传输到接收方——进入到目标系统中。

    4. 支持基于文件的内容加工和传输服务

    提供内置的文件传输服务实现文件传输的安全可管理的传输。异构数据经转换、清洗等处理输出到通道——文件的推送处理——接收方文件处理并装载到目标.

    5. 提供易用的文件传输服务,用于保障数据文件传输的可靠性、可管理性、安全性。文件传输支持变化文件传输、文件夹传输、可定义传输数据块大小、传输线程并发数、可选择文件传输加密方法、压缩传输,支持同步、异步传输方式。

    6. 提供易用的服务实现和外部系统的交换和集成:JMS集成、外部文件传输集成服务(HTTP文件传输服务、FTP文件传输服务、SFTP文件传输、HADOOP文件传输)。

    三、 解决的难点重点

    可靠传输与数据处理事务架构解决了堵包、丢数据,数据不一致等问题。

    提供端对端的数据服务,在同一个数据服务内实现跨网段的数据交换,解决了堵包、丢数据,数据不一致等问题,事务处理机制保障了跨网段交换数据一致性。提供状态传感器技术,能感知分布式传输过程的状态感知,避免了长时间处理情况下的通信挂起现象,保障了传输的畅通。


    咨询留言
    电话联系
    服务热线
    400-608-2558
    服务热线
    400-608-2558
    微信沟通
    微信扫描二维码,立即在线咨询
    微信扫描二维码,立即在线咨询
    免费试用

    咨询留言

    姓名 *
    电话 *
    验证码 *
    留言 *