75 lines
1.8 KiB
Go
75 lines
1.8 KiB
Go
package db
|
||
|
||
import (
|
||
"regexp"
|
||
"strings"
|
||
"unicode"
|
||
)
|
||
|
||
var punctuationReg = regexp.MustCompile(`[^\p{L}\p{N}]+`)
|
||
|
||
// BigramTokenize 将文本进行二元分词，用于全文检索影子列
|
||
// 规则：
|
||
// 1. 移除非字母数字的标点符号，按空格/标点初步切分块。
|
||
// 2. 对每个块内的 CJK（中日韩）字符，使用滑动窗口进行 2-gram 切分。
|
||
// 3. 对于块内的非 CJK（英文、数字等）字符，按单词整体保留。
|
||
func BigramTokenize(text string) string {
|
||
if text == "" {
|
||
return ""
|
||
}
|
||
|
||
// 1. 初步切分，按非字母数字字符分割
|
||
chunks := punctuationReg.Split(text, -1)
|
||
var allTokens []string
|
||
|
||
for _, chunk := range chunks {
|
||
if chunk == "" {
|
||
continue
|
||
}
|
||
runes := []rune(chunk)
|
||
length := len(runes)
|
||
|
||
var currentWord []rune
|
||
for i := 0; i < length; i++ {
|
||
r := runes[i]
|
||
if isCJK(r) {
|
||
// 遇到中文字符，先冲刷掉之前的英文单词
|
||
if len(currentWord) > 0 {
|
||
allTokens = append(allTokens, string(currentWord))
|
||
currentWord = nil
|
||
}
|
||
// 1-gram
|
||
allTokens = append(allTokens, string(r))
|
||
// 2-gram
|
||
if i < length-1 && isCJK(runes[i+1]) {
|
||
allTokens = append(allTokens, string(runes[i:i+2]))
|
||
}
|
||
} else {
|
||
// 累积英文/数字
|
||
currentWord = append(currentWord, r)
|
||
}
|
||
}
|
||
// 循环结束，冲刷最后一个单词
|
||
if len(currentWord) > 0 {
|
||
allTokens = append(allTokens, string(currentWord))
|
||
}
|
||
}
|
||
|
||
// 4. 去重，减小索引体积
|
||
tokenMap := make(map[string]bool)
|
||
var uniqueTokens []string
|
||
for _, t := range allTokens {
|
||
if !tokenMap[t] {
|
||
tokenMap[t] = true
|
||
uniqueTokens = append(uniqueTokens, t)
|
||
}
|
||
}
|
||
|
||
return strings.Join(uniqueTokens, " ")
|
||
}
|
||
|
||
func isCJK(r rune) bool {
|
||
return unicode.Is(unicode.Han, r) ||
|
||
unicode.In(r, unicode.Hiragana, unicode.Katakana, unicode.Hangul)
|
||
}
|