Golang基于DFA算法实现敏感词汇过滤

栏目: Go · 发布时间: 5年前

内容简介:DFA:确定有穷自动机。具体功能:

DFA:确定有穷自动机。

具体功能:

  1. 将敏感词汇保存在map中。
  2. 对敏感词汇进行过滤,将敏感词变为“*”。
  3. 对无意义符号进行忽略处理。
敏感词数据结构:
{  王:{
            isEnd: false
            八:{
                    isEnd:false
                    蛋:{
                              isEnd:true
                       }
                 }
       }
}
无意义符号数据结构:
{
  "@":Null (空结构体)
}
package main

import (
    "fmt"
    "strings"
)

type Null struct {}
var sensitiveWord = make(map[string]interface{})
var Set = make(map[string]Null)
const InvalidWords = " ,~,!,@,#,$,%,^,&,*,(,),_,-,+,=,?,<,>,.,—,,,。,/,\\,|,《,》,?,;,:,:,',‘,;,“,"
var InvalidWord = make(map[string]Null) //无效词汇,不参与敏感词汇判断直接忽略

//生成违禁词集合
func AddSensitiveToMap(set map[string]Null){
    for key := range set {
        str := []rune(key)
        nowMap := sensitiveWord
        for i := 0; i < len(str); i++ {
            if _,ok := nowMap[string(str[i])]; !ok {//如果该key不存在,
                thisMap := make(map[string]interface{})
                thisMap["isEnd"] = false
                nowMap[string(str[i])] = thisMap
                nowMap = thisMap
            }else {
                nowMap = nowMap[string(str[i])].(map[string]interface{})
            }
            if i == len(str)-1 {
                nowMap["isEnd"] = true
            }
        }

    }
}
//敏感词汇转换为*
func ChangeSensitiveWords(txt string,sensitive map[string]interface{}) (word string){
    str := []rune(txt)
    nowMap := sensitive
    start := -1
    tag := -1
    for i := 0; i < len(str); i++ {
        if _, ok:= InvalidWord[(string(str[i]))]; ok || string(str[i]) == "," {
            continue
        }
        if thisMap, ok :=nowMap[string(str[i])].(map[string]interface{}); ok {
            tag++
            if  tag == 0 {
                start = i

            }
            isEnd, _ := thisMap["isEnd"].(bool)
            if isEnd {
                for y := start; y < i+1; y++ {
                    str[y] = 42
                }
                nowMap = sensitive
                start = -1
                tag = -1

            }else{
                nowMap = nowMap[string(str[i])].(map[string]interface{})
            }

        }else{
            if start != -1 {
                i = start + 1
            }
            nowMap = sensitive
            start = -1
            tag = -1
        }
    }

    return string(str)
}
func main() {
    words := strings.Split(InvalidWords,",")
    for _, v := range words {
        InvalidWord[v] = Null{}
    }
    Set["你妈逼的"] = Null{}
    Set["你妈"] = Null{}
    Set["日"] = Null{}
    AddSensitiveToMap(Set)
    text := "文明用语你&* 妈,逼的你这个狗日的,怎么这么傻啊。我也是服了,我日,这些话我都说不出口"
    fmt.Println(ChangeSensitiveWords(text,sensitiveWord))

}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

探索需求

探索需求

章柏幸、王媛媛、谢攀、杰拉尔德・温伯格、唐纳德・高斯 / 章柏幸、王媛媛、谢攀 / 清华大学出版社 / 2004-7-1 / 39.00元

本书将与您一起寻找"什么是客户真正想要的"这一问题的答案。 本书着眼于系统设计之前的需求过程,它是整个开发过程(如何设计人们想要的产品和系统)中最有挑战性的那部分。通过对一些需求分析中的常见误区和问题的分析和讨论,从和客户沟通开始,深入研究一些可能的需求,澄清用户和开发者期望值,最终给出了能够大幅度提高项目成功几率的一些建议方法。 本书由该领域内公认的两位作者合著,搜集了他们在大大小小......一起来看看 《探索需求》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

随机密码生成器
随机密码生成器

多种字符组合密码

URL 编码/解码
URL 编码/解码

URL 编码/解码