近数计算
近数计算技术是指在一个数据服务流内实现数据检查、数据清洗、数据比对、数据转换、数据逻辑判断、数据路由、数据异常处理等计算并将计算的结果输出到数据服务的目标中;近数计算技术通过优化算法,将数据服务的加工计算在数据管理引擎内一次完成,减轻数据源和目标IO操作和计算压力,大大降低了对数据源和数据目标的影响。通过分页分块、并行处理等技术实现数据加工、质量处理、数据清洗等快速高效运行,实现流批一体数据处理。
近数计算技术实现数据库、NoSQL(hive、hbase、mogodb)、搜素引擎(ElasticSearch)、文件、XML、Web Service、传输队列、适配器、内存表、JSON等之间的相互交换。
近数计算处理可以是数据加工处理、数据逻辑检查、数据安全处理、调用服务或者方法等。数据加工处理包括字符串加工、字段赋、时间类转换、比对翻译、数学计算、数组操作、系统信息、变量操作、专用转换、GIS转换等;数据逻辑检查包括:格式检查、范围检查、缺失记录检查、相似重复记录检查、数字检查、专用检查、逻辑表达式检查、复合规则检查等;数据安全处理包括:安全过滤、模糊加密等;调用服务或者方法包括:调用流程/服务、根据逻辑判断调用处理方法。
数据路由包括:干净数据路由、异常数据路由、业务规则路由等。
提供可视化界面实现如下功能:
·支持数据库、NoSQL(hive、hbase、mogodb等)、搜素引擎(Elastic Search等)、文件、XML、Web Service、传输队列、适配器、内存表、JSON等之间的相互交换
·基于近数计算技术的转换加工处理
·基于近数计算技术的逻辑判断和数据质量检查
·保证数据事务完整性
·分组并行加工能力
·全量、批量、实时的数据交换
·大数据量的数据交换
·复杂网络环境下可靠数据交换
·跨网段、跨单位的联动式数据交换
·基于通道、文件的加密传输