当前位置： 首页 > news >正文

做网站课程,做影视网站版权问题,网络营销的定义,益阳建设公司网站目录 一、引言二、全文检索基本概念三、创建索引 一、引言 Redis Search 是 Redis 的一个模块#xff0c;用于提供全文搜索和二级索引功能。它允许在 Redis 数据库中执行复杂的搜索查询#xff0c;并支持多种数据类型和查询操作。以下是 Redis Search 的一些关键特性#x… 目录 一、引言二、全文检索基本概念三、创建索引 一、引言 Redis Search 是 Redis 的一个模块用于提供全文搜索和二级索引功能。它允许在 Redis 数据库中执行复杂的搜索查询并支持多种数据类型和查询操作。以下是 Redis Search 的一些关键特性 全文搜索支持对文本字段进行全文搜索包括分词、词干提取和高亮显示等功能。多字段索引可以对多个字段进行索引包括文本、数值、地理位置等。排序和分页支持对搜索结果进行排序和分页方便处理大数据量的查询结果。聚合查询支持对数据进行聚合操作如分组、计数、求和等。高性能利用 Redis 的内存存储特性提供高性能的搜索和索引功能。 二、全文检索基本概念 在全文检索full-text search中以下术语是关键概念 Index索引是一个数据结构用于快速查找包含特定词的文档。它通常是一个倒排索引inverted index其中存储了每个词及其在文档中的位置。 Document文档是索引中的基本单位。它可以是任何形式的文本数据如网页、文章、电子邮件等。在索引中每个文档都有一个唯一的标识符。 Field字段是文档中的一个部分或属性。例如一个文档可能有标题字段、正文字段、作者字段等。字段可以单独索引和搜索。 Token词元是从文本中提取的最小单位通常是单词或词组。词元化tokenization是将文本分割成词元的过程。 Term术语是索引中的一个条目表示一个唯一的词元。术语是词元的规范化形式通常经过词干提取stemming比如复数变单数、动词过去式变回原形和小写转换。 Stop Word停用词是指在索引和搜索过程中被忽略的常见词如 “the”、“is”、“and” 等。停用词通常对搜索结果的相关性没有显著影响因此被过滤掉以减少索引大小和提高搜索效率。
三、创建索引 创建索引后Redis Stack会自动索引存储在数据库中的任何现有的、修改的或新创建的JSON文档。 对于现有文档索引在后台异步运行因此文档可用可能需要一段时间。修改已有的文档和新创建的文档是同步索引的因此在添加或修改命令完成时文档将可用。 创建索引FT.CREATE命令语法 FT.CREATE index [ON HASH | JSON] [PREFIX count prefix [prefix …]] [FILTER {filter}][LANGUAGE default_lang] [LANGUAGE_FIELD lang_attribute] [SCORE default_score] [SCORE_FIELD score_attribute] [PAYLOAD_FIELD payload_attribute] [MAXTEXTFIELDS] [TEMPORARY seconds] [NOOFFSETS] [NOHL] [NOFIELDS] [NOFREQS] [STOPWORDS count [stopword …]] [SKIPINITIALSCAN]SCHEMA field_name [AS alias] TEXT | TAG | NUMERIC | GEO | VECTOR | GEOSHAPE [ SORTABLE [UNF]] [NOINDEX] [ field_name [AS alias] TEXT | TAG | NUMERIC | GEO | VECTOR | GEOSHAPE [ SORTABLE [UNF]] [NOINDEX] …]FT.CREATE命令参数说明 索引参数说明index要创建的索引名称。如果该索引已存在则返回错误回复错误“Index already exists”。SCHEMA在 SCHEMA关键字之后声明要索引的字段 field_name [AS alias] field_name对于HASH则哈希中的字段名称对于 JSON则为JSON Path表达式alias定义field的别名可使用此功能将复杂的 JSONPath 表达式与更易记住且更易输入的名称关联ON {data_type}HASH (默认) 或JSON即支持索引的Redis数据类型若值为JSON则需要安装 RedisJSON模块PREFIX {count} {prefix}需要被索引的key前缀支持设置多个前缀支持通配符*默认*表示全部FILTER {filter}filter过滤表达式如使用__key表示新增或修改just added/changed的key TODO A field can be used to set field name by passing ‘FILTER indexName“myindexname”’.LANGUAGE {default_lang}文档索引的默认语言默认值为english可选值[arabic, armenian, danish, dutch, english, finnish, french, german, hungarian, italian, norwegian, portuguese, romanian, russian, serbian, spanish, swedish, tamil, turkish, yiddish, chinese]LANGUAGE_FIELD {lang_attribute}设置文档中的某个field表示具体的LANGUAGESCORE {default_score}文档的默认分值score默认值1.0SCORE_FIELD {score_attribute}设置文档中的某个field表示具体的SCORE此field的值范围为[0.0, 1.0]如不设置默认为1PAYLOAD_FIELD {payload_attribute}设置文档的某个属性用于存储文档的二进制安全负载字符串可在查询时由自定义评分函数或重新返回给客户端。TODO is document attribute that you use as a binary safe payload string to the document that can be evaluated at query time by a custom scoring function or retrieved to the client.MAXTEXTFIELDS强制Redis Search索引编码超过32个文本属性这允许您使用FT.ALTER添加其他属性(超过32个)。为了提高效率如果索引的文本属性少于32个Redi Search会对索引进行不同的编码NOOFFSETS不存储文档的term偏移量可以节省内存但不允许精确搜索或高亮显示使用此选项则意味着NOHLTEMPORARY {seconds}临时索引设置超过n秒 - 未被搜索或新增 - 即删除该索引及其关联的数据注 普通索引删除FT.DROPINDEX时并不删除数据需使用DD标志才可级联删除NOHL不支持高亮highlighting可以节约存储和内存使用此选项则意味着NOOFFSETSNOFIELDS不存储每个term的属性位可以节省内存但不允许按特定属性进行过滤NOFREQS避免在索引中保存term频率可以节省内存但不允许基于文档中给定term的频率进行排序STOPWORDS {count}使用自定义停词stop word列表设置索引在索引和搜索时忽略这些词。{count} 是停用词的数量后面是长度正好为 {count} 的停词参数列表。如果未设置FT.CREATE 将使用默认的停词列表。如果 {count} 设置为 0则索引没有停用词。SKIPINITIALSCAN创建索引时忽略扫描及索引已有数据 注意事项 属性数量限制RediSearch 支持每个模式最多 1024 个属性其中最多 128 个可以是 TEXT 属性。在 32 位构建中最多 64 个属性可以是 TEXT 属性。属性越多索引越大因为每增加 8 个属性每个索引记录需要额外一个字节进行编码。如果不需要按文本属性进行过滤可以始终使用 NOFIELDS 选项不将属性信息编码到索引中以节省空间。这仍然允许按数值和地理属性进行过滤。在集群数据库中运行在集群数据库中有多个索引时需要确保要索引的文档与索引位于同一分片上。可以通过按索引名称标记文档来实现这一点例如 HSET doc:1{idx}FT.CREATE idx … PREFIX 1 doc: … 当在集群数据库中运行Redi搜索时您可以使用RSCoordinator跨分片跨索引。在这种情况下上述规定不适用。 在SCHEMA中field支持的类型 Field类型说明TEXT允许全文full-text检索会被分词、倒排索引TAG由逗号分隔的多标签文本允许精准匹配exact-match如分类、主键、标签等的精确匹配NUMERIC数字范围检索GEO地址位置Point格式经度,纬度允许圆周范围检索VECTOR向量多值数组相似度检索需要dialect 2及以上(introduced in RediSearch v2.4) 关于VECTOR的详细说明可参见VectorsGEOSHAPE允许多边形polygon检索需使用WKT格式POLYGON((x1 y1, x2 y2, …) 支持的坐标系 球面默认 - SPHERICAL for Geographic longitude and latitude coordinates平面 - FLAT for Cartesian X Y coordinates 在SCHEMA中field支持的参数说明 参数说明SORTABLENUMERIC、TAG、TEXT 或 GEO 属性可以有一个可选的 SORTABLE 参数。当用户按此属性的值排序结果时结果可用的延迟非常低。请注意这会增加内存开销因此请考虑不要在大型文本属性上声明它。可以在没有 SORTABLE 选项的情况下对属性进行排序但延迟不如使用 SORTABLE 时好。UNF默认情况下对于哈希不适用于 JSONSORTABLE 会对索引值进行规范化字符设置为小写去除变音符号。使用未规范化形式UNF时可以禁用规范化并保留值的原始形式。对于 JSONUNF 在 SORTABLE 时是隐式的禁用规范化。NOSTEM索引值时禁用词干提取stemming。这对于诸如专有名称之类的内容可能是理想的。NOINDEX设置属性不被索引修改NOINDEX属性不会导致文档的完全重新索引。有NOINDEX 且 没有 SORTABLE则属性将被索引忽略。PHONETIC {matcher}将文本属性声明为 PHONETIC 将在搜索中默认执行语音匹配。强制性的 {matcher} 参数指定使用的语音算法和语言。支持以下匹配器dm:en - 英语的双重音码dm:fr - 法语的双重音码dm:pt - 葡萄牙语的双重音码dm:es - 西班牙语的双重音码有关更多信息请参见Phonetic matchingWEIGHT {weight}适用于 TEXT 属性声明在计算结果准确性时此属性的重要性。这是一个乘数因子如果未指定则默认为 1。SEPARATOR {sep}适用于 TAG 属性指示属性中包含的文本如何拆分为单个标签。默认值为,且参数值必须是单个字符。CASESENSITIVE适用于TAG 属性保留标签的原始字母大小写。如果未指定则字符将转换为小写。WITHSUFFIXTRIE对于 TEXT 和 TAG 属性保留一个包含所有匹配后缀的术语的后缀字典树。它用于优化包含foo和后缀*foo查询。否则将对字典树进行暴力搜索。如果某些字段存在后缀字典树则检索时会忽略其他字段INDEXEMPTY对于 TEXT 和 TAG 属性在 v2.10 中引入允许您索引和搜索空字符串。默认情况下空字符串不会被索引更多使用说明参见Index missing or empty valuesINDEXMISSING对于所有字段类型在 v2.10 中引入允许您搜索缺失值即不包含特定字段的文档。注意 字段为空值与文档缺少值之间的区别。默认情况下缺失值不会被索更多使用说明参见Index missing or empty values FT.CREATE命令示例

创建JSON索引

FT.CREATE itemIdx ON JSON PREFIX 1 item: SCHEMA \(.name AS name TEXT \).description as description TEXT \(.price AS price NUMERIC \).colors.* AS colors TAG $.location AS loc GEO