Преобразование «Извлечение терминов»

Преобразование «Извлечение терминов» извлекает термины из текста во входном столбце преобразования, а затем записывает термины в выходной столбец преобразования. Это преобразование работает только с англоязычным текстом и использует собственный словарь и лингвистические сведения об английском языке.

Можно использовать преобразование «Извлечение терминов» для выяснения содержимого набора данных. Например, текст, содержащий сообщения электронной почты, предоставит полезные сведения о продуктах, поэтому можно использовать преобразование «Извлечение терминов», чтобы извлечь обсуждаемые в сообщениях темы для последующего анализа информации.

Преобразование «Извлечение терминов» может извлекать только существительные, только субстантивные словосочетания или как существительные, так и именные словосочетания. Субстантивные словосочетания состоят как минимум из двух слов, одно из которых — имя существительное, а другое — существительное или прилагательное. Например, если преобразование настроено на извлечение только существительных, оно извлекает такие термины, как bicycle и landscape; если же преобразование настроено на извлечение субстантивных словосочетаний, оно извлекает такие термины, как new blue bicycle, bicycle helmet и boxed bicycles.

Артикли и местоимения не извлекаются. Например, преобразование «Извлечение терминов» извлекает термин bicycle из текста the bicycle, my bicycle и that bicycle.

Преобразование «Извлечение терминов» нормализует слова таким образом, что версии написания слова прописными и строчными буквами не рассматривается как различные термины. Например, в текстах You see many bicycles in Seattle и Bicycles are blue термины bicycles и Bicycles распознаются как один и тот же термин, и преобразование оставляет только bicycle. Имена собственные и слова, не содержащиеся во внутреннем словаре, не нормализуются.

Преобразование «Извлечение терминов» также выделяет основу существительных, чтобы извлекать только существительные в единственном числе. Например, преобразование извлекает man из men, mouse из mice и bicycle из bicycles. Для приведения слов к их корневым формам преобразование использует словарь. Герундий, обнаруженный в словаре, рассматривается как существительное.

Преобразование «Извлечение терминов» работает только с текстом в столбцах, имеющих тип данных DT_WSTR или DT_NTEXT. Если столбец содержит текст, но относится к другому типу данных, можно воспользоваться преобразованием «Конвертация данных» для добавления столбца с типом данных DT_WSTR или DT_NTEXT к потоку данных и для копирования значений столбца в новый столбец. Выход преобразования «Конвертация данных» может быть использован как вход для преобразования «Извлечение терминов». Дополнительные сведения см. в разделе Преобразование «Конвертация данных».

Преобразование «Извлечение терминов» формирует оценку каждого извлеченного термина. Оценка может быть либо значением TFIDF, либо просто частотой, то есть количеством появлений нормализованного термина во входных текстах. В любом случае оценка представляется положительным вещественным числом. Например, оценка TFIDF может иметь значение 0,5, а частота может иметь значение 1,0 или 2,0.

При желании преобразование «Извлечение терминов» может ссылаться на столбец в таблице, содержащий исключаемые термины, то есть термины, которые преобразование должно пропускать при извлечении терминов из набора данных. Это полезно, когда существует набор терминов, уже обозначенных как несущественные в том или ином бизнесе или индустрии — обычно из-за того, что термин встречается так часто, что становится неучитываемым словом. Например, при извлечении терминов из набора данных, который содержит сведения о поддержке пользователей для отдельной марки машины, само название марки может быть исключено, так как оно встречается слишком часто, чтобы иметь значение. Таким образом, значения в списке исключений должны иметь непосредственное отношение к набору данных, который обрабатывается.

При добавлении термина в список исключений все содержащие его термины, будь то слова или субстантивные словосочетания, также исключаются. Например, если список исключений содержит единственное слово data, все термины, содержащие это слово, такие как data, data mining, data integrity и data validation, тоже будут исключаться. Если надо исключить только сложные слова, содержащие слово data, следует явным образом добавить эти составные термины в список исключений. Например, если надо извлекать вхождения слова data, но исключать data validation, то следует добавить data validation в список исключений и убедиться, что слово data удалено из списка.

Ссылочная таблица должна быть таблицей в SQL Server 2000, в SQL Server или в базе данных Access. Преобразование «Извлечение терминов» использует отдельное соединение OLE DB для подключения к ссылочной таблице. Дополнительные сведения см. в разделе Диспетчер соединений OLE DB.

Преобразование «Извлечение терминов» работает в режиме с полным предварительным кэшированием. Во время выполнения преобразование «Извлечение терминов» считывает термины-исключения из ссылочной таблицы и сохраняет их в собственной памяти, перед тем как приступать к обработке входных строк преобразования.

Если извлеченные термины записываются в таблицу, они могут быть использованы другим преобразованием, таким как преобразование «Поиск терминов», «Нечеткий поиск» или «Уточняющий запрос».

Выход преобразования «Извлечение терминов» включает только два столбца. Один столбец содержит извлеченные термины, а другой — их оценку. По умолчанию столбцы называются Term и Score. Текстовый столбец входа может содержать несколько терминов, поэтому на выходе преобразования «Извлечение терминов» обычно получается больше строк, чем на входе.

Преобразование «Извлечение терминов» использует внутренние алгоритмы и статистические модели для формирования результатов. Возможно, понадобится несколько раз запустить преобразование «Извлечение терминов» и изучить полученные результаты, чтобы настроить преобразование таким образом, чтобы оно формировало приемлемые результаты для решения интеллектуального анализа текста.

Преобразование «Извлечение терминов» имеет один стандартный вход, один выход и один выход ошибок.