Java使用DFA算法实现过滤多家公司自定义敏感字功能详解

本文实例讲述了Java使用DFA算法实现过滤多家公司自定义敏感字功能。分享给大家供大家参考，具体如下：

背景

因为最近有通讯有个需求，说需要让多家客户公司可以自定义敏感词过滤掉他们自定义的规则，选择了DFA算法来做，不过和以前传统了DFA写法不太一样了

模式图

直接上代码

public class KeywordFilter {
//  private static ReentrantReadWriteLock lock = new ReentrantReadWriteLock();
  public static Map<String, HashMap> currentMap = new ConcurrentHashMap<String, HashMap>();
  public static Map nowhash = null;
  public static Object wordMap;// map子节点
  // 不建立对象
  private KeywordFilter() {
  }
  private static String getKey(int companyId) {
    return "companyId" + companyId;
  }
  /*
   * <p>说明:清扫内容</p>
   *
   * @author:姚旭民
   *
   * @data:2017-8-22 上午10:13:11
   */
  public static void clear() {
    try {
      currentMap.clear();
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
    }
  }
  /*
   * <p>说明:各个渠道的过滤字符</p>
   *
   * @author:姚旭民
   *
   * @data:2017-8-20 下午2:55:06
   */
  public static void saveKeywords(int companyId, List<String> keywords) {
    try {
      Map tempAllMap = currentMap;
      String key = getKey(companyId);
      int l = keywords.size();
      int il;
      Map tempMap;
      for (int i = 0; i < l; i++) {
        String key2 = keywords.get(i).trim();// 去掉空白
        nowhash = currentMap;
        il = key2.length();
        for (int j = 0; j < il; j++) {
          char word = key2.charAt(j);
          tempMap = (Map) nowhash.get(word);
          wordMap = nowhash.get(word);
          if (wordMap != null) {// 检查数据
            if (!tempMap.containsKey(key)) {
              nowhash.put(key, 0);
            }
            nowhash = (HashMap) wordMap;
          } else {
            HashMap<String, String> newWordHash = new HashMap<String, String>();
            newWordHash.put(key, "0");
            nowhash.put(word, newWordHash);
            nowhash = newWordHash;
          }
          if (j == il - 1) {
            nowhash.put(key, "1");
          }
        }
      }
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      nowhash = null;
      wordMap = null;
    }
  }
  /*
   * <p>说明:替换掉对应的渠道规定掉敏感字</p>
   *
   * @author:姚旭民
   *
   * @data:2017-8-20 上午11:41:47
   */
  public static List<String> repword(int companyId, String txt) {
    Map tempMap = currentMap;
    List<String> result = new ArrayList<String>();
    String key = getKey(companyId);
    nowhash = currentMap;
    int l = txt.length();
    char word;
    String keywordStr = "";
    String keyStatu;
    StringBuilder keyword = new StringBuilder();// 敏感字
    for (int i = 0; i < l; i++) {
      word = txt.charAt(i);
      wordMap = nowhash.get(word);
      if (wordMap != null) {// 找到类似敏感字的字体，开始查询
        keyword.append(word);
        Object te = nowhash = (HashMap) wordMap;
        // 遍历到这一步，就符合完整的关键字模板
        if (nowhash.get(key) != null
            && nowhash.get(key).toString().equals("1")) {// 确定是敏感字，开始替换
          if (i < l - 1 && nowhash.get(txt.charAt(i + 1)) != null) {// 优先过滤长敏感词，去掉就槟城了优先过滤段敏感词
            continue;
          }
          txt = txt.replaceAll(keyword.toString(), "*");
          nowhash = currentMap;
          keywordStr += keyword.toString() + ",";
          i = i - keyword.length() + 1;
          l = txt.length();// 重新获取字符长度
          keyword.delete(0, keyword.length());// 清空数据
        }
      } else {// 这个字不是敏感字，直接排除
        nowhash = currentMap;
        keyword.delete(0, keyword.length());// 清空数据
        continue;
      }
    }
    // 清除内存指向
    nowhash = null;
    wordMap = null;
    result.add(txt);
    result.add(keywordStr.length() - 1 > 0 ? keywordStr.substring(0,
        keywordStr.length() - 1) : keywordStr);
    return result;
  }
  /*
   * <p>说明:检查是否存在敏感字</p>
   *
   * @author:姚旭民
   *
   * @data:2017-8-20 下午3:00:06 专门设计成私有的，如果没有理由，别改动他
   */
  private static int checkKeyWords(String txt, int companyId, int begin) {
    int result = 0;
    String key = getKey(companyId);
    try {
      nowhash = currentMap;
      int l = txt.length();
      char word = 0;
      for (int i = begin; i < l; i++) {
        word = txt.charAt(i);
        wordMap = nowhash.get(word);
        if (wordMap != null) {
          result++;
          nowhash = (HashMap) wordMap;
          if (((String) nowhash.get(key)).equals("1")) {
            nowhash = null;
            wordMap = null;
            return result;
          }
        } else {
          result = 0;
          break;
        }
      }
    } catch (Exception e) {
      e.printStackTrace();
    } finally {
      nowhash = null;
      wordMap = null;
      return result;
    }
  }
  /*
   * <p>说明:返回检查的文本中包含的敏感字</p>
   *
   * @author:姚旭民
   *
   * @data:2017-8-20 下午3:32:53
   */
  public static String getTxtKeyWords(String txt, int companyId) {
    String result = null;
    StringBuilder temp = new StringBuilder();
    String key;
    int l = txt.length();
    for (int i = 0; i < l;) {
      int len = checkKeyWords(txt, companyId, i);
      if (len > 0) {
        key = (txt.substring(i, i + len));// 挑选出来的关键字
        temp.append(key + ",");
        txt = txt.replaceAll(key, "");// 挑选出来的关键字替换成空白，加快挑选速度
        l = txt.length();
      } else {
        i++;
      }
    }
    if (temp.length() > 0) {
      result = temp.substring(0, temp.length() - 1);
    }
    return result;
  }
  /*
   * <p>说明:判断文中是否包含渠道规定的敏感字</p>
   *
   * @author:姚旭民
   *
   * @data:2017-8-20 下午3:33:19
   */
  public boolean isKeyWords(String txt, int companyId) {
    for (int i = 0; i < txt.length(); i++) {
      int len = checkKeyWords(txt, companyId, i);
      if (len > 0) {
        return true;
      }
    }
    return false;
  }
  public static void main(String[] arg) {
    List<String> keywords = new ArrayList<String>();
    keywords.add("傻×");
    keywords.add("汉奸");
    keywords.add("草");
    keywords.add("草泥马");
    KeywordFilter.saveKeywords(1, keywords);
    String txt = "是傻×汉奸傻A傻B傻C傻D汉奸傻×草泥马";
    List<String> list = repword(1, txt);
    System.out.println("文中包含的敏感字为:" + list.get(1));
    System.out.println("原文:" + txt);
    System.out.println("敏感字过滤后:" + list.get(0));
  }
}

更多关于java算法相关内容感兴趣的读者可查看本站专题：《Java数据结构与算法教程》、《Java字符与字符串操作技巧总结》、《Java操作DOM节点技巧总结》、《Java文件与目录操作技巧汇总》和《Java缓存操作技巧汇总》

希望本文所述对大家java程序设计有所帮助。

# Java  # DFA算法  # 过滤  # 自定义  # 敏感字  # java利用DFA算法实现敏感词过滤功能  # Java DFA算法案例详解  # 基于java实现DFA算法代码实例  # Java实现DFA算法对敏感词、广告词过滤功能示例  # javax.mail.SendFailedException: Sending failed问题原因  # Java使用DFA算法实现敏感词过滤的示例代码  # 下午  # 多家  # 操作技巧  # 清空  # 上午  # 有个  # 相关内容  # 不太  # 遍历  # 感兴趣  # 数据结构  # 给大家  # 如果没有  # 来做  # 更多关于  # 所述  # 程序设计  # 是否存在  # 这个字 

相关文章： 小捣蛋自助建站系统：数据分析与安全设置双核驱动网站优化  ,sp开头的版面叫什么？  开心动漫网站制作软件下载,十分开心动画为何停播？  如何快速使用云服务器搭建个人网站？  ui设计制作网站有哪些,手机UI设计网址吗？  建站之星如何实现网站加密操作？  c++怎么用jemalloc c++替换默认内存分配器【性能】  魔毅自助建站系统：模板定制与SEO优化一键生成指南  如何快速查询网址的建站时间与历史轨迹？  如何选择服务器才能高效搭建专属网站？  ,网页ppt怎么弄成自己的ppt？  如何在Golang中实现微服务服务拆分_Golang微服务拆分与接口管理方法  建设网站制作价格,怎样建立自己的公司网站？  网站制作和推广的区别,想自己建立一个网站做推广，有什么快捷方法马上做好一个网站？  如何在建站之星绑定自定义域名？  制作ppt免费网站有哪些,有哪些比较好的ppt模板下载网站？  电影网站制作价格表,那些提供免费电影的网站，他们是怎么盈利的？  高防服务器：AI智能防御DDoS攻击与数据安全保障  如何用花生壳三步快速搭建专属网站？  如何配置支付宝与微信支付功能？  建站主机如何选？高性价比方案全解析  潮流网站制作头像软件下载,适合母子的网名有哪些？  建站之星后台搭建步骤解析：模板选择与产品管理实操指南  相亲简历制作网站推荐大全,新相亲大会主持人小萍萍资料？  C++用Dijkstra(迪杰斯特拉)算法求最短路径  岳西云建站教程与模板下载_一站式快速建站系统操作指南  如何在香港免费服务器上快速搭建网站？  公司网站制作价格怎么算,公司办个官网需要多少钱？  制作网站的网址是什么,请问后缀为.com和.com.cn还有.cn的这三种网站是分别是什么类型的网站？  已有域名如何免费搭建网站？  建站之星如何配置系统实现高效建站？  完全自定义免费建站平台：主题模板在线生成一站式服务  清单制作人网站有哪些,近日“兴风作浪的姑奶奶”引起很多人的关注这是什么事情？  网站设计制作企业有哪些,抖音官网主页怎么设置？  如何通过万网虚拟主机快速搭建网站？  智能起名网站制作软件有哪些,制作logo的软件？  孙琪峥织梦建站教程如何优化数据库安全？  如何选择美橙互联多站合一建站方案？  高性价比服务器租赁——企业级配置与24小时运维服务  活动邀请函制作网站有哪些,活动邀请函文案？  家庭建站与云服务器建站，如何选择更优？  昆明网站制作哪家好,昆明公租房申请网上登录入口？  b2c电商网站制作流程,b2c水平综合的电商平台？  如何零成本快速生成个人自助网站？  网站制作与设计教程,如何制作一个企业网站，建设网站的基本步骤有哪些？  教育培训网站制作流程,请问edu教育网站的域名怎么申请？  如何在阿里云高效完成企业建站全流程？  已有域名和空间如何快速搭建网站？  建站之星安装路径如何正确选择及配置？  c# 服务器GC和工作站GC的区别和设置