詞彙擷取轉換

「詞彙擷取」轉換會從轉換輸入資料行的文字中擷取詞彙，然後將這些詞彙寫入轉換輸出資料行。轉換只適用於英文字，它使用自己的英文字典和有關英文的語言資訊。

您可以使用「詞彙擷取」轉換來探索資料集的內容。例如，包含電子郵件訊息的文字可能會提供有關產品的有用意見反應，這樣您可以使用「詞彙擷取」轉換來擷取訊息中討論的主題，作為分析意見反應的方法。

「詞彙擷取」轉換可以僅擷取名詞、僅擷取名詞片語，或同時擷取名詞和名詞片語。名詞為單個名詞；名詞片語則至少為兩個單字，其中一個為名詞，另一個為名詞或形容詞。例如，如果轉換使用「單獨名詞」選項，則它會擷取類似 bicycle 和 landscape 的詞彙；如果轉換使用名詞片語選項，則它會擷取類似 new blue bicycle、bicycle helmet 和 boxed bicycles 的詞彙。

轉換不會擷取冠詞和代名詞。例如，「詞彙擷取」轉換會從文字 the bicycle、my bicycle 和 that bicycle 中擷取詞彙 bicycle。

「詞彙擷取」轉換會正規化單字，這樣單字的大寫版本和小寫版本就不會視作不同的詞彙進行處理。例如，在文字 You see many bicycles in Seattle 和 Bicycles are blue 中，bicycles 和 Bicycles 被視為相同的詞彙，轉換僅會保留 bicycle。沒有列在內部字典中的專有名詞和單字不會被正規化。

「詞彙擷取」轉換也會分析名詞的詞幹，僅擷取名詞的單數形式。例如，轉換從 men 擷取 man，從 mice 擷取 mouse，從 bicycles 擷取 bicycle。轉換會使用其字典來分析名詞的詞幹。如果動名詞存在於字典中，則它們將作為名詞進行處理。

「詞彙擷取」轉換僅能使用資料類型為 DT_WSTR 或 DT_NTEXT 之資料行中的文字。如果資料行包含文字，但不具有這些資料類型的其中之一，則可以使用「資料轉換」將資料類型為 DT_WSTR 或 DT_NTEXT 的資料行加入資料流程，並將資料行值複製到新資料行。然後，「資料轉換」的輸出可以用作「詞彙擷取」轉換的輸入。如需詳細資訊，請參閱＜資料轉換＞。

「詞彙擷取」轉換會為其擷取的每個詞彙產生一個分數。此分數可以是 TFIDF 值或原始頻率，表示正規化詞彙在輸入中出現的次數。在任何一種情況下，分數都會由大於 0 的實數來表示。例如，TFIDF 分數可能是值 0.5，而頻率則可能是類似 1.0 或 2.0 的值。

(選擇性)「詞彙擷取」轉換可以參考包含排除詞彙 (是指當轉換從資料集中擷取詞彙時應略過的詞彙) 之資料表中的資料行。如果一組詞彙在特殊商務和產業中視為不合理 (通常因為該詞彙出現的頻率太高，而成為一個非搜尋字)，則這個功能會非常有用。例如，當從包含有關特殊品牌汽車的客戶支援資訊之資料集中擷取詞彙時，該品牌名稱自身可能會被排除，因為它被提及的頻率太高，而失去意義。因此，排除清單中的值必須自訂到您要使用的資料集。

當您將詞彙加入至排除清單時，包含該詞彙的所有詞彙 (單字或名詞片語) 也會被排除。例如，如果排除清單包含單一字 data，則包含這個字的所有詞彙 (例如 data、data mining、data integrity 和 data validation) 也會被排除。如果您只想排除包含 data 單字的複合字，則必須明確將這些複合詞彙加入至排除清單。例如，如果您要擷取含 data 的個體，但要排除 data validation，則將 data validation 加入至排除清單，並確定 data 已從排除清單中移除。

參考資料表必須是 SQL Server 2000、SQL Server 或 Access 資料庫中的資料表。「詞彙擷取」轉換會使用個別 OLE DB 連接，以連接到參考資料表。如需詳細資訊，請參閱＜OLE DB 連接管理員＞。

「詞彙擷取」轉換以完全預先快取模式運作。在執行階段，「詞彙擷取」轉換在處理任何轉換輸入資料列之前，會從參考資料表讀取排除詞彙，並將其儲存於其私用記憶體中。

如果將擷取的詞彙寫入資料表，則它們可以被其他查閱轉換 (例如「詞彙查閱」、「模糊查閱」和「查閱」轉換) 使用。

「詞彙擷取」轉換的輸出僅包含兩個資料行。一個資料行包含擷取的詞彙，另一資料行則包含分數。這兩個資料行的預設名稱是 Term 和 Score。因為輸入中的文字資料行可能包含多個詞彙，所以「詞彙擷取」轉換的輸出一般比輸入擁有更多的資料列。

「詞彙擷取」轉換會使用內部演算法和統計模型來產生結果。您可能須執行「詞彙擷取」轉換多次，並檢查結果來設定轉換，以便產生對您的文字採礦解決方案有效的結果類型。

「詞彙擷取」轉換有一個規則輸入、一個輸出及一個錯誤輸出。