Ограничение результатов поиска с помощью RANK

Применимо к:SQL Server База данных SQL Azure Управляемый экземпляр SQL Azure

Функции CONTAINSTABLE и FREETEXTTABLE возвращают столбец с именем, RANK содержащий порядковые значения от 0 до 1000 (значения ранжирования). Эти значения используются для ранжирования возвращенных строк согласно их соответствию критерию выбора. Ранжирующие значения указывают только относительный порядок релевантности строк в результирующем наборе, при этом чем меньше значение, тем меньше релевантность. Фактические значения несущественны и, как правило, различны для каждого выполнения запроса.

Количество элементов, соответствующих условию поиска, часто большое. Чтобы запретить CONTAINSTABLE или FREETEXTTABLE запрашивать слишком много совпадений, используйте необязательный параметр top_n_by_rank , который возвращает только подмножество строк. top_n_by_rank представляет собой целочисленное значение, n, указывающее, что возвращаются только совпадения с наибольшим рейтингом n в порядке убывания. Если параметр top_n_by_rank скомбинирован с другими параметрами, то запрос может вернуть меньше строк, чем фактически соответствует всем предикатам.

SQL Server упорядочивает совпадения по рангу и возвращает только указанное количество строк. Это может привести к значительному повышению производительности. Например, запрос, который обычно возвращает 100 000 строк из таблицы 1000 000 строк, обрабатывается быстрее, если запрашиваются только первые 100 строк.

Примеры использования RANK для ограничения результатов поиска

Пример А. Поиск только трех соответствий с максимальным рангом

В следующем примере используется CONTAINSTABLE для возврата только трех первых совпадений.

USE AdventureWorks2022;
GO

SELECT K.RANK,
    AddressLine1,
    City
FROM Person.Address AS A
INNER JOIN CONTAINSTABLE(Person.Address, AddressLine1, 'ISABOUT ("des*",
    Rue WEIGHT(0.5),
    Bouchers WEIGHT(0.9))', 3) AS K
    ON A.AddressID = K.[KEY];
GO

Результирующий набор:

RANK        Address                          City
----------- -------------------------------- ------------------------------
172         9005, rue des Bouchers           Paris
172         5, rue des Bouchers              Orleans
172         5, rue des Bouchers              Metz

Пример B. Поиск первых пяти совпадений

В следующем примере используется CONTAINSTABLE для возврата описания первых пяти продуктов, где Description столбец содержит слово "алюминиевая" рядом с словом или словом lightlightweight.

USE AdventureWorks2022;
GO

SELECT FT_TBL.ProductDescriptionID,
    FT_TBL.Description,
    KEY_TBL.RANK
FROM Production.ProductDescription AS FT_TBL
INNER JOIN CONTAINSTABLE(Production.ProductDescription,
    Description, '(light NEAR aluminum) OR (lightweight NEAR aluminum)', 5) AS KEY_TBL
        ON FT_TBL.ProductDescriptionID = KEY_TBL.[KEY];
GO

Как ранжируются результаты поиска

Полнотекстовый поиск в SQL Server может создать необязательную оценку (или значение ранжирования), указывающую релевантность данных, возвращаемых полнотекстовый запросом. Это ранжирующее значение вычисляется для каждой строки и может использоваться как критерий упорядочения для сортировки результирующего набора данного запроса по релевантности. Ранжирующие значения показывают только относительный порядок релевантности строк в результирующем наборе. Фактические значения несущественны и, как правило, различны для каждого выполнения запроса. Значение ранжирования не содержит никакой важности в запросах.

Статистика ранжирования

При построении индекса собираются статистические данные, которые будут использоваться в ранжировании. Процесс создания полнотекстового каталога не приводит непосредственно к одной структуре индекса. Вместо этого подсистема полнотекстового текста для SQL Server создает промежуточные индексы при индексировании данных. Затем средство полнотекстового поиска выполняет слияние этих индексов в больший индекс по мере необходимости. Этот процесс может повторяться много раз. После этого средство полнотекстового поиска выполняет слияние в единый файл, объединяющее все промежуточные индексы в один большой главный индекс.

Статистические данные собираются на каждом уровне промежуточных индексов. Слияние этих данных производится при слиянии индексов. Некоторые статистические значения могут формироваться только в процессе создания главного индекса.

Хотя SQL Server ранжирует результирующий набор запросов, он использует статистику из крупнейшего промежуточного индекса. Это зависит от того, объединяются ли промежуточные индексы. В результате статистика ранжирования может отличаться в точности, если промежуточные индексы не объединены. По этой причине один и тот же запрос в разное время может возвращать различные результаты ранжирования по мере добавления, изменения и удаления данных, а также по мере слияния небольших индексов.

Чтобы свести к минимуму размер индекса и сложность вычислений, статистические данные часто округляются.

В следующем списке содержатся некоторые часто используемые термины и статистические значения, важные для вычисления ранга.

Проблемы с вычислением ранга

Процесс вычисления ранга зависит от многих факторов. Средства разбиения по словам в различных языках по-разному разбивают текст на лексемы. Например, строку «dog-house» одно средство разбиения по словам может разбить на «dog» и «house», а другое — на «dog-house». Это означает, что сопоставление и ранжирование зависят от указанного языка, так как не только слова отличаются, но и длина документа. Разница в длине документа может повлиять на ранжирование во всех запросах.

Такие статистические данные, как IndexRowCount , могут различаться в широких пределах. Например, если каталог имеет 2 миллиарда строк в главном индексе, то новый документ индексируется хранящимся в памяти индексом. Поэтому ранги для этого документа, вычисленные на основе количества документов в индексе, хранящемся в памяти, могут отличаться от рангов для документов из главного индекса. По этой причине рекомендуется после того, как любое население приводит к индексации или повторному индексации большого количества строк, вы объединяете индексы в главный индекс с помощью ALTER FULLTEXT CATALOG ... REORGANIZE инструкции Transact-SQL. Подсистема полнотекстового текста также автоматически объединяет индексы на основе параметров, таких как число и размер промежуточных индексов.

ЗначенияMaxOccurrence нормализуются в один из 32 диапазонов. Это означает, например, что документ длиной 50 слов обрабатывается так же, как и документ 100 слов. Ниже приведена таблица, используемая для нормализации. Поскольку длина документа находится в диапазоне между смежными значениями таблицы 32 и 128, они эффективно обрабатываются как имеющие ту же длину, 128 (32 = 128 <docLength<).

{ 16, 32, 128, 256, 512, 725, 1024, 1450, 2048, 2896, 4096, 5792, 8192, 11585,
16384, 23170, 28000, 32768, 39554, 46340, 55938, 65536, 92681, 131072, 185363,
262144, 370727, 524288, 741455, 1048576, 2097152, 4194304 };

Ранг CONTAINSTABLE

РанжированиеCONTAINSTABLE использует следующий алгоритм:

StatisticalWeight = Log2( ( 2 + IndexedRowCount ) / KeyRowCount )
Rank = min( MaxQueryRank, HitCount * 16 * StatisticalWeight / MaxOccurrence )

Фразовые соответствия ранжируются как отдельные ключи, за исключением того, что значение KeyRowCount (количество строк, содержащих эту фразу) является приближением — оно может быть неточным и выше фактического значения.

Ранг NEAR

CONTAINSTABLE поддерживает запросы на два или более терминов поиска в близости друг от друга с помощью NEAR параметра. Ранжирующее значение для каждой из возвращаемых строк зависит от нескольких параметров. Одним из основных факторов ранжирования является общее количество совпадений (или попаданий) по отношению к длине документа. Таким образом, например, если у документа из 100 слов и документа из 900 слов будет идентичный набор совпадений, то документ из 100 слов получит более высокий ранг.

Общая длина каждого попадания в строку также способствует ранжированию этой строки на основе расстояния между первым и последним условиями поиска этого хита. Чем меньше расстояние, тем больше попадание увеличивает ранжирующее значение строки. Если полнотекстовый запрос не указывает целое число в качестве максимального расстояния, документ, содержащий только попадания, расстояние которых превышает 100 логических терминов, имеет рейтинг 0.

Ранг ISABOUT

CONTAINSTABLE поддерживает запросы к взвешанным терминам с помощью ISABOUT параметра. ISABOUT — это запрос векторного пространства в традиционной терминологии получения информации. В качестве алгоритма ранжирования по умолчанию используется широко известная формула Жаккарда. Ранжирование вычисляется для каждого термина в запросе, а затем объединяется, как описано в следующем алгоритме.

ContainsRank = same formula used for CONTAINSTABLE ranking of a single term (above).
Weight = the weight specified in the query for each term. Default weight is 1.
WeightedSum = Σ[key=1 to n] ContainsRankKey * WeightKey
Rank =  ( MaxQueryRank * WeightedSum ) / ( ( Σ[key=1 to n] ContainsRankKey^2 )
      + ( Σ[key=1 to n] WeightKey^2 ) - ( WeightedSum ) )

Ранг FREETEXTTABLE

РанжированиеFREETEXTTABLE основано на формуле ранжирования OKAPI BM25. FREETEXTTABLE запросы добавляют слова в запрос с помощью инлекционного создания (инфлектированные формы исходных слов запроса); эти слова рассматриваются как отдельные слова, без особых отношений с словами, из которых они были созданы. Синонимы, сформированные с помощью тезауруса, обрабатываются как отдельные, независимые и взвешенные выражения. Каждое слово в запросе вносит свой вклад в ранжирование.

Rank = Σ[Terms in Query] w ( ( ( k1 + 1 ) tf ) / ( K + tf ) ) * ( ( k3 + 1 ) qtf / ( k3 + qtf ) ) )
Where:
w is the Robertson-Sparck Jones weight.
In simplified form, w is defined as:
w = log10 ( ( ( r + 0.5 ) * ( N - R + r + 0.5 ) ) / ( ( R - r + 0.5 ) * ( n - r + 0.5 ) )
N is the number of indexed rows for the property being queried.
n is the number of rows containing the word.
K is ( k1 * ( ( 1 - b ) + ( b * dl / avdl ) ) ).
dl is the property length, in word occurrences.
avdl is the average length of the property being queried, in word occurrences.
k1, b, and k3 are the constants 1.2, 0.75, and 8.0, respectively.
tf is the frequency of the word in the queried property in a specific row.
qtf is the frequency of the term in the query.

Связанный контент

• Запросы с полнотекстовым поиском