帮助中心
语言选择
免费试用
AnyBackup
性能爆表
认识数据管理“性能观”
简介
生产系统
传输网络
数据管理平台
“性能爆表”应用场景
百 TB 级数据库
PB 级数据仓库
百亿级小文件
海量虚拟机
大规模测试数据
“性能爆表”数据表现
同行性能对比
产品
AnyBackup Family 8
简介
创新客户价值
我们的客户
副本数据湖
AnyBackup Family 7
AnyBackup Enterprise 7
AnyBackup Express 7
AnyBackup Master Server 7
AnyBackup 软件订阅服务
AnyBackup 订阅服务
订阅一体机
AnyBackup for 华为云
数据保护即服务
Microsoft 365 保护服务
AnyStorage
成功案例
方案
行业方案
金融行业测试数据管理
场景方案
副本数据中台
体系化防勒索病毒
数据中心分级保护
两地三中心灾备
AnyShare 高性能保护
海量非结构化数据分级保护
体系化数据灾备与可观测性
生态方案
副本数据脱敏方案
数据库复制容灾联创方案
创新灾备特性
通用应用数据保护
应用级灾备
灾难恢复管理
国产化数据库保护
工作负载
SaaS
Microsoft 365
云原生
Kubernetes
数据库
Oracle | SQL Server  | MySQL
虚拟化
VMware
大数据
Hadoop | GaussDB | SAP HANA
物理
NAS
资源
Demo中心
不可变存储能力演示
强制数据保留能力演示
灾难恢复管理演示
AnyShare 高性能备份恢复演示
虚拟机跨云容灾演示
混合云灾难恢复演示
Kubernetes 应用迁移演示
副本数据脱敏方案演示
智能灾备运维方案演示
测试数据管理方案演示
社区
产品博客
开发者社区
活动
2023 新品发布会
统一数据管理平台
神盾会
神盾会十三 副本数据中台
神盾会十二 体系化防勒索病毒方案
神盾会十一 应用级灾备
神盾会十 海量数据管理用户体验
神盾会九 测试数据管理
神盾会八 性能爆表
神盾会七 备份数据湖
神盾会六 混合云分级保护解决方案
神盾会五 Kubernetes数据保护
神盾会四 灾难恢复管理
神盾会三 副本数据脱敏方案
神盾会二 大数据平台保护方案
神盾会一 防勒索病毒整体解决方案
在线研讨会
研讨会三 智能灾备运维方案
研讨会二 分布式架构
研讨会一 海量非结构化数据保护方案
SMART 2022
数据驱动型组织
数据即服务
Microsoft 365 保护服务
试用与购买
软件订阅服务
许可模式
价格对比
如何购买
AnyShare
产品
AnyShare Family 7
简介
版本对比
版本升级
电子文档安全管理系统
AnyShare 订阅服务
简介
订阅一体机
for 华为云
一体化优势
企业内容门户
内容即服务
内容数据湖
NAS 数据整合
AnyRobot 可观测性
AnyShare 高性能备份恢复
生产力提升
AnyShare 认知助手
企业云盘
智能搜索
安全策略
知识中心
表格中心
标签及编目
SAP 数据资产管理
Movement 计划
计划简介
产品对比
优惠政策
迁移故事
方案
中台方案
什么是非结构化数据中台
内容即服务
文档治理体系专业服务
知识管理
生态方案
华途
亿赛通
第四范式
浩辰
睿展
网智易通
永中
SAP 数据资产管理
生产力故事
按行业
能源
消费与服务业
制造业
按场景
文档管理
知识管理
安全合规
共享协作
智能搜索
数据迁移
表格自动化
统一内容管理
统一认证登录
业务系统集成
标签及编目
按数据
图片
视频
文档
邮件
表格
元数据
活动

揭秘会集锦

立即观看一气呵成 揭秘会（九）
揭秘会
一气呵成 · 揭秘会（九）
近在咫尺 · 揭秘会（八）
独树一帜 · 揭秘会（七）
始终如一 · 揭秘会（六）
智者见智 · 揭秘会（五）
洞若观火 · 揭秘会（四）
海纳百川 · 揭秘会（三）
川流之下 · 揭秘会（二）
别有洞天 · 揭秘会（一）
行业研讨会
工程勘察设计
新零售
SMART 2022
中台与反脆弱
数据驱动型组织
知识中心服务
文档治理体系
资源
Demo中心
智能搜索-图片搜索
智能搜索-相似结果折叠
AnyShare 高性能备份恢复
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
非结构化数据中台白皮书
AnyShare Family 7 产品手册
AnyShare Family 7 技术白皮书
社区
开发者社区
产品博客
专家博客
在线支持
AnyShare 在线帮助
AnyShare 技术知识库
如何购买
我想先试用
知识中心服务
AnyShare Family 7
我已是Anyshare 客户
从V5/V6版本升级到V7
AnyRobot
可观测性
认识“可观测性”
简介
开发测试可观测
IT运维可观测
业务运营可观测
安全合规可观测
“可观测性” 运用场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
AnyShare可观测性
可观测性中台
“可观测性” 的对比表现
可观测性与监控的对比
产品
AnyRobot Family 5
AnyRobot Eyes 5
AnyRobot 订阅服务
AnyRobot 订阅一体机
AnyRobot for 私有云
技术优势
机器数据管道
KPI 智能分析
关联分析
SuperAgent
生产力提升
智能告警
可视化及仪表盘
大屏可视化
机器数据湖
AnyShare 可观测性
方案
中台方案
可观测性中台
行业方案
智慧医院
智慧边检
场景方案
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
业务性能监控
AnyShare 可观测性
生态方案
业务性能监控
ITSM 解决方案
运维故事
按行业
电子政务
城商行
垂直政府
石油石化
高校
边检
医院
高端制造
企业
按场景
统一日志管理及可观测性
云基础设施可观测性
灾备体系可观测性
可观测性中台
AnyShare 可观测性
业务性能监控
查看所有
活动
新品发布会
云原生时代的可观测性平台
线上活动
联璧会（四）机器数据湖
联璧会（三）云基础设施运维解决方案
联璧会（二）AnyRobot Library 5
联璧会（一）AnyRobot Eyes 5
在线研讨会 （四）AnyRobot + 听云携手创新智能运维
在线研讨会 （三）AnyRobot & 听云业务性能监控方案
在线研讨会 （二）智能灾备运维方案
在线研讨会 （一）基于 Hub 架构纳管 Splunk
行业研讨会
高校
金融
SMART 2022
中台与反脆弱
数据驱动型组织
智能运维中台
资源
Demo中心
AnyRobot Eyes 5 产品演示
SuperAgent
云基础设施可观测性
统一日志管理及可观测性
机器数据管道
KPI 智能分析
大屏可视化
智能告警
资料下载
数据驱动型组织蓝皮书
全域数据治理白皮书
AnyRobot Family 5 产品手册
AnyRobot Family 5 eBook
社区
开发者社区
产品博客
在线支持
AnyRobot 在线帮助
AnyRobot 技术知识库
如何购买
我想先试用
AnyRobot Family 5
AnyRobot 订阅服务
购买 AnyRobot 订阅服务
部署在私有云
我已是 AnyRobot 客户
一对一在线咨询
我是 AnyRobot 新客户
一对一在线咨询
AnyDATA
领域认知智能
认识“领域认知智能”
了解领域认知智能
了解领域知识网络
了解领域大模型
了解 RAG 模式
Able说AI
ChatGPT来了，知识图谱何去何从？
复旦大学肖仰华：大模型与知识图谱联合驱动的领域认知智能
GPT 对 NLP 领域是福还是祸
大模型真的“大”吗？
到底多有钱，我才能拥有专属大模型？
揭秘Prompt
RAG：大模型落地的秘密武器？
大模型的阴暗面：智能背后的安全隐忧
“大力出奇迹”失效了？领域大模型如何落地
产品
AnyDATA Framework 3
领域知识图谱构建
认知搜索
智能问答
图分析
领域认知应用
AnyShare 认知助手
KWeaver 开源框架
方案
通用方案
领域认知中台解决方案
行业方案
智慧城市产业大脑方案
制造业认知中台解决方案
产业链情报分析与管理解决方案
活动

无界会四 图分析服务

观看回放
无界会
无界会一 认知驱动·先进制造
无界会二 走近领域知识网络
无界会三 产业链知识网络
无界会四 图分析服务
SMART 2022
知识中台重磅亮相
领域智商点亮认知智能
认知智能在智慧城市建设中的应用分享
资源和支持
Demo中心
图分析
产业链知识网络
企业画像
归因分析
智能问答
产业链招商
知识图谱构建
资料下载
智慧城市产业大脑方案白皮书
数据驱动型组织蓝皮书
全域数据治理白皮书
爱分析·数据产品开发市场厂商评估报告
AGI时代的领域认知智能框架 eBook
AnyDATA Framework 3 技术白皮书
社区
开发者社区
产品博客
如何获得支持？
获得认知中台支持，一对一咨询
开源相关技术服务，一对一咨询

爱数博客

全部 AnyBackup AnyShare AnyRobot AnyDATA AnyFabric

AnyShare 7.0 海量文档的关键词搜索如何实现毫秒级响应？

2021-08-06 1328 0
索引原理简单介绍
      在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。
  
 
传统海量数据搜索方式：数据库 SQL 查询
数据库的查询优化，可以根据字段建索引
查询某段时间内的数据，SQL查询获取数据，无索引：30s，有索引：2s
测试数据量：10407608（1000万）
SELECT * FROM `tf_hotspotdata_copy_test` WHERE collectTime BETWEEN '2014-12-06 00:00:00' AND '2014-12-10 21:31:55';

分词：决定文档中的内容能不能被搜索到
如何将一个句子拆分成不同的词组？
1.将文档分成一个一个单独的单词
2.去除标点符号
3.英文优化：全部小写，单词缩减为词根，单词转变为词根
4.中文使用 Jieba 分词算法（结巴分词）
       

排序算法：搜索结果排序优先级的判决官
获得所有与搜索条件匹配的结果计算权重（Term weight）
检索词频率（TF，Term Frequency）
        •检索词出现的频率，出现频率越高，相关性也越高
        •如：出现过 5 次要比只出现一次的相关性高
反向文档频率（IDF，Inverse Document Frequecy）
•每个检索词在索引中出现的频率？频率越高，相关性越低
•检索词出现在多数文档中会比出现在少数文档中的权重更低
字段长度准则
•字段的长度越长，相关性越低
•检索词出现在一个短的【标题】中，比同样的词出现在一个长的文本中权重更大
 
AnyShare 引入 elastic 实现海量文档数据的全文检索

•一个分布式的开源搜索和分析引擎，适用于所有类型的数据，包括文本、数字、地理空间、结构化和非结构化数据。
•同时还是一个近实时的搜索平台，这意味着从文档索引操作到文档变为可搜索状态之间的延时很短，一般只有一秒。
•分布式特性使得它可以扩展至数百台（甚至数千台）服务器，并处理 PB 量级的数据。

索引创建及索引搜索的基础流程



分布式集群：海量数据响应的基础支撑

内容分析及检索服务自身的关键特性

请就本文对您的益处进行评级：

返回 下一篇：AnyShare Family 7 Movement 计划迁移...

标签

产品技术

相关文章

AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！

AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！

AnyShare Family 7.0.5.4发布，更智能、更易用的工作流！

AnyShare Family 7.0.5.4发布，更智能、更易用的工作流！

AnyShare Family 7.0.5.3发布，提升智能化文本撰写能力！

AnyShare Family 7.0.5.3发布，提升智能化文本撰写能力！

热门标签

版本发布 在线教学

热门文章

AnyRobot Family 5.0.2.7版本发布通知 AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！ Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构

最近文章

Able 说 AI 丨 大模型中立：构筑全场景业务赋能的认知智能架构 AnyShare Family 7.0.5.5发布，更智能、更开放的知识创建及管理！ AnyRobot Family 5.0.2.7版本发布通知
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

语言选择
关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

关于爱数
公司新闻
公司活动
客户成功故事
加入爱数
联系我们
如何购买
已有注册账户
加入伙伴生态
登录合作伙伴门户
进入伙伴赋能中心
快速链接
开发者社区
专家博客
知识库
电话咨询
联系爱数
销售咨询：400 8216055
技术咨询：400 8801569
在线交流
关注爱数
联系销售
技术支持
语言选择
隐私声明法律声明用户协议Cookie声明廉洁协议云服务等级协议（SLA）

版权所有 © 2006-2023 上海爱数信息技术股份有限公司 沪ICP备09089247号 沪公网安备 31011202011832

扫码关注「爱数官方微信」

扫码关注「爱数服务号」

大数据基础设施领航者

抖音扫一扫 查看更多精彩视频

大数据基础设施领航者

拨打400

免费销售咨询热线

400 8216055

7*24 小时免费售后服务热线

400 880 1569

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

返回顶部

免费销售咨询热线: 400 8216055

7*24 小时免费售后服务热线: 400 880 1569

拨打400

拨打400

购买咨询

购买咨询

售后服务

售后服务

申请试用

申请试用

为了给您提供更优质的服务，请您先完善以下信息：
确认提交

扫码关注

爱数技术支持中心公众号