stopwords.go

package html2article

import (
	"bufio"
	"encoding/json"
	"io/ioutil"
	"os"
)

func load(file string) {
	fd, err := os.Open(file)
	if err != nil {
		panic(err)
	}
	sc := bufio.NewScanner(fd)
	for sc.Scan() {
		stopwords[sc.Text()] = true
	}

	bs, _ := json.Marshal(stopwords)
	ioutil.WriteFile("stopwords.go", bs, 0660)
}

//GENERATE by go
var stopwords = map[string]bool{"、": true, "。": true, "〈": true, "〉": true, "《": true, "》": true, "一": true, "一些": true, "一何": true, "一切": true, "一则": true, "一方面": true, "一旦": true, "一来": true, "一样": true, "一般": true, "一转眼": true, "七": true, "万一": true, "三": true, "上": true, "上下": true, "下": true, "不": true, "不仅": true, "不但": true, "不光": true, "不单": true, "不只": true, "不外乎": true, "不如": true, "不妨": true, "不尽": true, "不尽然": true, "不得": true, "不怕": true, "不惟": true, "不成": true, "不拘": true, "不料": true, "不是": true, "不比": true, "不然": true, "不特": true, "不独": true, "不管": true, "不至于": true, "不若": true, "不论": true, "不过": true, "不问": true, "与": true, "与其": true, "与其说": true, "与否": true, "与此同时": true, "且": true, "且不说": true, "且说": true, "两者": true, "个": true, "个别": true, "中": true, "临": true, "为": true, "为了": true, "为什么": true, "为何": true, "为止": true, "为此": true, "为着": true, "乃": true, "乃至": true, "乃至于": true, "么": true, "之": true, "之一": true, "之所以": true, "之类": true, "乌乎": true, "乎": true, "乘": true, "九": true, "也": true, "也好": true, "也罢": true, "了": true, "二": true, "二来": true, "于": true, "于是": true, "于是乎": true, "云云": true, "云尔": true, "五": true, "些": true, "亦": true, "人": true, "人们": true, "人家": true, "什": true, "什么": true, "什么样": true, "今": true, "介于": true, "仍": true, "仍旧": true, "从": true, "从此": true, "从而": true, "他": true, "他人": true, "他们": true, "他们们": true, "以": true, "以上": true, "以为": true, "以便": true, "以免": true, "以及": true, "以故": true, "以期": true, "以来": true, "以至": true, "以至于": true, "以致": true, "们": true, "任": true, "任何": true, "任凭": true, "会": true, "似的": true, "但": true, "但凡": true, "但是": true, "何": true, "何以": true, "何况": true, "何处": true, "何时": true, "余外": true, "作为": true, "你": true, "你们": true, "使": true, "使得": true, "例如": true, "依": true, "依据": true, "依照": true, "便于": true, "俺": true, "俺们": true, "倘": true, "倘使": true, "倘或": true, "倘然": true, "倘若": true, "借": true, "借傥然": true, "假使": true, "假如": true, "假若": true, "做": true, "像": true, "儿": true, "先不先": true, "光是": true, "全体": true, "全部": true, "八": true, "六": true, "兮": true, "共": true, "关于": true, "关于具体地说": true, "其": true, "其一": true, "其中": true, "其二": true, "其他": true, "其余": true, "其它": true, "其次": true, "具体地说": true, "具体说来": true, "兼之": true, "内": true, "再": true, "再其次": true, "再则": true, "再有": true, "再者": true, "再者说": true, "再说": true, "冒": true, "冲": true, "况且": true, "几": true, "几时": true, "凡": true, "凡是": true, "凭": true, "凭借": true, "出于": true, "出来": true, "分": true, "分别": true, "则": true, "则甚": true, "别": true, "别人": true, "别处": true, "别是": true, "别的": true, "别管": true, "别说": true, "到": true, "前后": true, "前此": true, "前者": true, "加之": true, "加以": true, "即": true, "即令": true, "即使": true, "即便": true, "即如": true, "即或": true, "即若": true, "却": true, "去": true, "又": true, "又及": true, "及": true, "及其": true, "及至": true, "反之": true, "反而": true, "反过来": true, "反过来说": true, "受到": true, "另": true, "另一方面": true, "另外": true, "另悉": true, "只": true, "只当": true, "只怕": true, "只是": true, "只有": true, "只消": true, "只要": true, "只限": true, "叫": true, "叮咚": true, "可": true, "可以": true, "可是": true, "可见": true, "各": true, "各个": true, "各位": true, "各种": true, "各自": true, "同": true, "同时": true, "后": true, "后者": true, "向": true, "向使": true, "向着": true, "吓": true, "吗": true, "否则": true, "吧": true, "吧哒": true, "含": true, "吱": true, "呀": true, "呃": true, "呕": true, "呗": true, "呜": true, "呜呼": true, "呢": true, "呵": true, "呵呵": true, "呸": true, "呼哧": true, "咋": true, "和": true, "咚": true, "咦": true, "咧": true, "咱": true, "咱们": true, "咳": true, "哇": true, "哈": true, "哈哈": true, "哉": true, "哎": true, "哎呀": true, "哎哟": true, "哗": true, "哟": true, "哦": true, "哩": true, "哪": true, "哪个": true, "哪些": true, "哪儿": true, "哪天": true, "哪年": true, "哪怕": true, "哪样": true, "哪边": true, "哪里": true, "哼": true, "哼唷": true, "唉": true, "唯有": true, "啊": true, "啐": true, "啥": true, "啦": true, "啪达": true, "啷当": true, "喂": true, "喏": true, "喔唷": true, "喽": true, "嗡": true, "嗡嗡": true, "嗬": true, "嗯": true, "嗳": true, "嘎": true, "嘎登": true, "嘘": true, "嘛": true, "嘻": true, "嘿": true, "嘿嘿": true, "四": true, "因": true, "因为": true, "因了": true, "因此": true, "因着": true, "因而": true, "固然": true, "在": true, "在下": true, "在于": true, "地": true, "基于": true, "处在": true, "多": true, "多么": true, "多少": true, "大": true, "大家": true, "她": true, "她们": true, "好": true, "如": true, "如上": true, "如上所述": true, "如下": true, "如何": true, "如其": true, "如同": true, "如是": true, "如果": true, "如此": true, "如若": true, "始而": true, "孰料": true, "孰知": true, "宁": true, "宁可": true, "宁愿": true, "宁肯": true, "它": true, "它们": true, "对": true, "对于": true, "对待": true, "对方": true, "对比": true, "将": true, "小": true, "尔": true, "尔后": true, "尔尔": true, "尚且": true, "就": true, "就是": true, "就是了": true, "就是说": true, "就算": true, "就要": true, "尽": true, "尽管": true, "尽管如此": true, "岂但": true, "己": true, "已": true, "已矣": true, "巴": true, "巴巴": true, "年": true, "并": true, "并且": true, "庶乎": true, "庶几": true, "开外": true, "开始": true, "归": true, "归齐": true, "当": true, "当地": true, "当然": true, "当着": true, "彼": true, "彼时": true, "彼此": true, "往": true, "待": true, "很": true, "得": true, "得了": true, "怎": true, "怎么": true, "怎么办": true, "怎么样": true, "怎奈": true, "怎样": true, "总之": true, "总的来看": true, "总的来说": true, "总的说来": true, "总而言之": true, "恰恰相反": true, "您": true, "惟其": true, "慢说": true, "我": true, "我们": true, "或": true, "或则": true, "或是": true, "或曰": true, "或者": true, "截至": true, "所": true, "所以": true, "所在": true, "所幸": true, "所有": true, "才": true, "才能": true, "打": true, "打从": true, "把": true, "抑或": true, "拿": true, "按": true, "按照": true, "换句话说": true, "换言之": true, "据": true, "据此": true, "接着": true, "故": true, "故此": true, "故而": true, "旁人": true, "无": true, "无宁": true, "无论": true, "既": true, "既往": true, "既是": true, "既然": true, "日": true, "时": true, "时候": true, "是": true, "是以": true, "是的": true, "更": true, "曾": true, "替": true, "替代": true, "最": true, "月": true, "有": true, "有些": true, "有关": true, "有及": true, "有时": true, "有的": true, "望": true, "朝": true, "朝着": true, "本": true, "本人": true, "本地": true, "本着": true, "本身": true, "来": true, "来着": true, "来自": true, "来说": true, "极了": true, "果然": true, "果真": true, "某": true, "某个": true, "某些": true, "某某": true, "根据": true, "欤": true, "正值": true, "正如": true, "正巧": true, "正是": true, "此": true, "此地": true, "此处": true, "此外": true, "此时": true, "此次": true, "此间": true, "毋宁": true, "每": true, "每当": true, "比": true, "比及": true, "比如": true, "比方": true, "没奈何": true, "沿": true, "沿着": true, "漫说": true, "焉": true, "然则": true, "然后": true, "然而": true, "照": true, "照着": true, "犹且": true, "犹自": true, "甚且": true, "甚么": true, "甚或": true, "甚而": true, "甚至": true, "甚至于": true, "用": true, "用来": true, "由": true, "由于": true, "由是": true, "由此": true, "由此可见": true, "的": true, "的确": true, "的话": true, "直到": true, "相对而言": true, "省得": true, "看": true, "眨眼": true, "着": true, "着呢": true, "矣": true, "矣乎": true, "矣哉": true, "离": true, "秒": true, "竟而": true, "第": true, "等": true, "等到": true, "等等": true, "简言之": true, "管": true, "类如": true, "紧接着": true, "纵": true, "纵令": true, "纵使": true, "纵然": true, "经": true, "经过": true, "结果": true, "给": true, "继之": true, "继后": true, "继而": true, "综上所述": true, "罢了": true, "者": true, "而": true, "而且": true, "而况": true, "而后": true, "而外": true, "而已": true, "而是": true, "而言": true, "能": true, "能否": true, "腾": true, "自": true, "自个儿": true, "自从": true, "自各儿": true, "自后": true, "自家": true, "自己": true, "自打": true, "自身": true, "至": true, "至于": true, "至今": true, "至若": true, "致": true, "般的": true, "若": true, "若夫": true, "若是": true, "若果": true, "若非": true, "莫不然": true, "莫如": true, "莫若": true, "虽": true, "虽则": true, "虽然": true, "虽说": true, "被": true, "要": true, "要不": true, "要不是": true, "要不然": true, "要么": true, "要是": true, "譬喻": true, "譬如": true, "让": true, "许多": true, "论": true, "设使": true, "设或": true, "设若": true, "诚如": true, "诚然": true, "该": true, "说": true, "说来": true, "请": true, "诸": true, "诸位": true, "诸如": true, "谁": true, "谁人": true, "谁料": true, "谁知": true, "贼死": true, "赖以": true, "赶": true, "起": true, "起见": true, "趁": true, "趁着": true, "越是": true, "距": true, "跟": true, "较": true, "较之": true, "边": true, "过": true, "还": true, "还是": true, "还有": true, "还要": true, "这": true, "这一来": true, "这个": true, "这么": true, "这么些": true, "这么样": true, "这么点儿": true, "这些": true, "这会儿": true, "这儿": true, "这就是说": true, "这时": true, "这样": true, "这次": true, "这般": true, "这边": true, "这里": true, "进而": true, "连": true, "连同": true, "逐步": true, "通过": true, "遵循": true, "遵照": true, "那": true, "那个": true, "那么": true, "那么些": true, "那么样": true, "那些": true, "那会儿": true, "那儿": true, "那时": true, "那样": true, "那般": true, "那边": true, "那里": true, "都": true, "鄙人": true, "鉴于": true, "针对": true, "阿": true, "除": true, "除了": true, "除外": true, "除开": true, "除此之外": true, "除非": true, "随": true, "随后": true, "随时": true, "随着": true, "难道说": true, "零": true, "非": true, "非但": true, "非徒": true, "非特": true, "非独": true, "靠": true, "顺": true, "顺着": true, "首先": true, "︿": true, "！": true, "＃": true, "＄": true, "％": true, "＆": true, "（": true, "）": true, "＊": true, "＋": true, "，": true, "０": true, "１": true, "２": true, "３": true, "４": true, "５": true, "６": true, "７": true, "８": true, "９": true, "：": true, "；": true, "＜": true, "＞": true, "？": true, "＠": true, "［": true, "］": true, "｛": true, "｜": true, "｝": true, "～": true, "￥": true}