Separadores de palabras y lematizadores

Registro de los separadores de palabras

Para usar los separadores de palabras de un idioma, se deben registrar. Con los separadores de palabras registrados, los recursos lingüísticos asociados (lematizadores, palabras irrelevantes y archivos de sinónimos) también están disponibles para las operaciones de indización y consulta de texto completo. Para ver una lista de los idiomas cuyos separadores de palabras están registrados en SQL Server, use la instrucción Transact-SQL:

SELECT * FROM sys.fulltext_languages

Si agrega, quita o modifica un separador de palabras, necesita actualizar la lista de identificadores de configuración regional (LCID) de Microsoft Windows que se admiten para la indización y las consultas de texto completo. Para obtener más información, vea Cómo modificar la lista de filtros y separadores de palabras registrados (Transact-SQL).

En SQL Server 2008 se incluyen varios separadores de palabras de terceros autorizados. Puede cargar manualmente otros separadores de palabras de terceros (y lematizadores) para distintos idiomas (danés, polaco y turco). Estos separadores de palabras no están habilitados de manera predeterminada porque son propiedad de terceros que todavía no han proporcionado el nivel de pruebas, seguridad y estabilidad necesario. Para obtener más información, vea Cómo cargar separadores de palabras de terceros con licencia.

Opción de idioma de texto completo

En las versiones traducidas de SQL Server, el programa de instalación de SQL Server establece la opción default full-text language en el idioma del servidor si existe una correspondencia apropiada. En las versiones no traducidas de SQL Server, la opción default full-text language es el inglés.

Al crear o modificar un índice de texto completo, puede especificar un idioma diferente para cada columna indizada de texto completo. Si no se especifica un idioma para una columna, el valor predeterminado es el de la opción de configuración default full-text language.

Para obtener más información, vea default full-text language (opción).

Elegir un idioma al crear un índice de texto completo para una columna

Al crear un índice de texto completo, es recomendable que especifique un idioma para cada columna indizada. Si un idioma no se especifica para una columna, el sistema utiliza el idioma predeterminado del sistema. El idioma de una columna determina el separador de palabras y el lematizador que se utilizará para indizar esa columna. Además, las consultas de texto completo de la columna utilizarán el archivo de diccionario de sinónimos del idioma.

Hay varios aspectos que deben tenerse en cuenta al elegir el idioma de columna cuando se crea un índice de texto completo. Estas consideraciones se refieren al modo en que se acorta el texto y se indiza a continuación mediante el motor de texto completo. Para obtener más información, vea Prácticas recomendadas para elegir un idioma al crear un índice de texto completo.

Para ver el idioma del separador de palabras de una columna

• Cómo ver o cambiar las propiedades de un índice de texto completo (SQL Server Management Studio)

• sys.fulltext_index_columns (Transact-SQL)

  SELECT 'language_id' AS "LCID" FROM sys.fulltext_index_columns;
  

Efecto de los nuevos separadores de palabras de SQL Server 2008

SQL Server 2008 incluye separadores de palabras para más de 50 idiomas de los que 23 también están incluidos en SQL Server 2005. Los únicos separadores de palabras que siguen siendo iguales son los separadores de palabras de inglés, coreano, tailandés y chino (tradicional y simplificado). Para otros idiomas, SQL Server 2008 incluye una nueva generación de separadores de palabras que tienen mejores reglas lingüísticas y son más precisos que los anteriores. Posiblemente, los nuevos separadores de palabras podrían comportarse de manera ligeramente diferente que los de los índices de texto completo de SQL Server 2005 importados. Esto es significativo si se importó un catálogo de texto completo cuando una base de datos de SQL Server 2005 se actualizó a SQL Server 2008. Un o varios idiomas que usen los índices de texto completo del catálogo de texto completo podrían estar asociados ahora a nuevos separadores de palabras. Para obtener más información, vea Actualización de la búsqueda de texto completo.

Versiones de los separadores de palabras de los idiomas admitidos en SQL Server 2005

Los únicos separadores de palabras que siguen siendo iguales son los separadores de palabras de inglés, coreano, tailandés y chino (tradicional y simplificado). La tabla siguiente muestra los separadores de palabras que existían en SQL Server 2005 e indica si se han actualizado en SQL Server 2008. Para obtener una lista completa de todos los separadores de palabras de SQL Server 2008, vea sys.fulltext_languages (Transact-SQL).

Para obtener una lista completa de los idiomas admitidos, vea sys.fulltext_languages (Transact-SQL).

Errores de tiempo de espera en la división de palabras

Se puede producir un error de tiempo de espera en la separación de palabras en diversas situaciones: Para obtener información sobre estas situaciones y cómo responder en cada situación, vea MSSQLSERVER_30053.

Obtener información acerca de los separadores de palabras

Ver el resultado de la tokenización de una combinación entre un separador de palabras, un diccionario de sinónimos y una lista de palabras irrelevantes

• sys.dm_fts_parser (Transact-SQL).

Para devolver información sobre los separadores de palabras registrados

• sp_help_fulltext_system_components (Transact-SQL)

Vea también

Referencia

Conceptos