数据编织的一大重点就是集成不同数据源的数据,而集成的方式无需搬运数据,只是连接数据,通过运用数据虚拟化技术,在不同的数据载体之上构建一个数据逻辑层。最终,数据消费者可以通过数据表视图获取数据并进行分析。AnyFabric1.0.0.3版本实现了数据编织的第一步,获取不同数据源中的数据并以统一的数据形式进行管理,同时对认知搜索进一步优化,为认知助手奠定了坚实的基础,并针对用户体验进行了一系列改进。我们共同走进AnyFabric的新变化吧!
【重大价值】
一、数据表视图
传统元数据是基于特定的数据库类型的元数据,数据类型不统一且缺乏业务语义,在数据分析时,技术要求高、数据难理解。
AnyFabric通过数据虚拟化引擎对不同数据源的数据类型进行了抽象,引入数据表视图的概念,无论是何种类型的数据源都能够以统一的数据类型进行表示,同时对列名进行语义化增强。数据表视图大大降低了数据使用的门楷,增强了数据的可理解性。
数据表视图可以作为数据模型(业务建模为数据建模提供了上下文和需求,只有理解了业务的流程和规则,数据模型才能准确地反映业务需要的数据)的来源表,也可以基于数据表视图生成接口服务,并以数据目录的形式提供给业务人员进行数据查询和数据分析。
1.1数据表视图扫描
图1 数据表视图扫描
1.2数据表视图列名语义增强
图2 数据表视图列名业务语义补充
【功能优化】
一、数据运营门户
1.自定义首页,支持场景分析图表组件
用户可以根据自身的需求定制门户内容,根据业务需求设计出适合个人业务需要的首页,场景分析的数据结果也可以通过图表的方式以可视化的形式展示,将数据分析的结果链接至个人的业务使用。打破传统BI平台与管数平台之间的界限,让数据分析的结果更好地辅助业务用户的日常工作,完成数据运营工作的价值闭环。
图3数据资产门户首页可配置
2.优化数据目录的展示方式
优化展示方式,不再区分表格方式和图谱方式,关联信息采用图谱的形式展示,管理信息则以表格呈现,使得用户能够更好的理解当前数据目录与其他数据资源之间的关系,获取关键信息。
图4 数据目录基本信息展示
二、场景分析
1.数据探查结果,助力数据分析
用户在场景分析中选择数据目录时,能够获取数据探查的结果,例如数据范围、数据分布等信息。这些内容有助于数据分析人员更好的判断当前数据目录的内容,便于配置算子。
图5 数据探查出时间范围
2.过滤算子支持“或”关系
过滤算子支持配置在过滤条件组之间配置“或”关系,有效解决了之前复杂过滤条件难配置的问题。
图6 支持复杂条件关系配置
三、认知搜索
分词算法得到优化,结果排序更加精准,同时通过订阅实时消息的方式更新知识图谱,提高认知搜索的实时性。
四、数据虚拟化引擎
支持ClickHouse数据库,增加数据虚拟化引擎对其他数据源驱动的适配,为后续各类数据源的接入提供了便利,实现了开箱即用。