crunchy-rocks/clessy
Archived
2
0
Fork 0
Code Issues 1 Pull requests Releases Wiki Activity

stats: Filters filters filters

Browse source
This commit is contained in:
Hamcha 2016-02-14 19:50:37 +01:00
parent 8979af263e
commit f4b18cd59e
1 changed files with 48 additions and 32 deletions
Show stats Download patch file Download diff file Expand all files Collapse all files

60
stats/stats.go
View file

@ -354,29 +354,40 @@ func processWords(message tg.APIMessage) {
} }
var FILTER = []string{ var FILTER = []string{
"che", "non", "per", "una", "sono", "come", "con", "anche", "piu", "tipo", "100", "abbastanza", "abbia", "abbiamo", "adesso", "again", "agli", "ah", "alcune",
"perché", "era", "del", "poi", "fare", "gli", "cosa", "solo", "fatto", "alcuni", "all", "all'inizio", "alla", "alle", "allo", "allora", "almeno", "also",
"hai", "quello", "quando", "quindi", "ora", "sia", "roba", "mio", "son", "tutto", "alto", "altra", "altre", "altri", "altrimenti", "altro", "amici", "amico", "amo",
"tutti", "uno", "the", "prima", "dire", "cosi", "cazzo", "visto", "sei", "anche", "ancora", "and", "andare", "andato", "anime", "anni", "anzi", "appena", "apposta",
"quanto", "dei", "sta", "credo", "mai", "tanto", "ancora", "nel", "sto", "pure", "are", "assieme", "avanti", "aver", "avere", "avete", "aveva", "avevano", "avevi", "avevo",
"della", "c'è", "fai", "alla", "dai", "due", "gia", "dove", "puoi", "oddio", "avrebbe", "avrei", "avuto", "base", "bel", "bella", "belle", "belli", "bellissimo",
"hanno", "no", "altro", "comunque", "magari", "gioco", "essere", "sì", "l'ho", "bello", "ben", "bene", "benissimo", "bisogno", "bravo", "brutta", "brutto", "cambia",
"gente", "chi", "meno", "sempre", "pare", "bene", "devo", "vuoi", "lui", "sul", "che", "chi", "cioe", "cioè", "ciò", "coi", "col", "com'è", "come", "con", "cos'è", "cosa",
"quella", "po", "vero", "quel", "anni", "tra", "euro", "senza", "cose", "così", "cui", "dai", "dal", "dalla", "dalle", "danno", "dare", "degli", "dei", "del",
"avere", "also", "han", "parte", "tempo", "perche", "ogni", "mia", "detto", "della", "delle", "dello", "deve", "devi", "devo", "dove", "e", "era", "erano", "eri",
"più", "questo", "così", "si", "molto", "casa", "delle", "male", "devi", "dal", "ero", "fa", "fai", "fanno", "finché", "gia", "già", "giù", "gli", "hai", "han", "hanno",
"già", "può", "tuo", "qua", "ok", "c'é", "tua", "cui", "sai", "usa", "noi", "lei", "have", "il", "in", "io", "l'altro", "l'avevo", "l'ha", "l'hai", "l'hanno", "l'ho",
"you", "troppo", "forse", "fanno", "dopo", "ciao", "not", "avevo", "anzi", "caso", "la", "lei", "lui", "lì", "ma", "me", "meno", "mentre", "mia", "mie", "miei", "mio", "molti",
"fosse", "stato", "siamo", "sulla", "lì", "sarà", "dalla", "molto", "negli", "nei", "nel", "nella", "nelle", "nello", "no", "noi", "non", "not", "nuovi",
"nuovo", "ok", "oltre", "oppure", "ora", "per", "perche", "perchè", "perché", "però",
"piu", "più", "po", "poi", "puoi", "pure", "può", "qua", "qualche", "quale", "quando",
"quanti", "quanto", "quasi", "quei", "quel", "quella", "quelle", "quelli", "quello",
"questa", "queste", "questi", "questo", "qui", "quindi", "sai", "sarei", "sarà", "se",
"sei", "sempre", "sennò", "senza", "si", "sia", "siamo", "siano", "siete", "son", "sono",
"sopra", "sta", "stai", "ste", "sti", "stiamo", "sto", "sua", "sue", "sui", "sul", "sulla",
"sulle", "suo", "suoi", "sì", "tanta", "tante", "tanti", "tanto", "te", "that", "the",
"then", "too", "tra", "troppi", "troppo", "tua", "tuo", "tuoi", "tutta", "tutte",
"tutti", "tutto", "un'altra", "una", "uno", "usa", "usi", "uso", "vai", "verso", "via",
"voglia", "voglio", "vogliono", "voi", "volete", "voleva", "volevo", "volta", "volte",
"vorrei", "vuoi", "vuol", "vuole", "was",
} }
const USAGE_THRESHOLD = 3 const USAGE_THRESHOLD = 10
func filteredWords() map[string]UserCount { func filteredWords() map[string]UserCount {
filtered := make(map[string]UserCount) filtered := make(map[string]UserCount)
for word, usage := range words { for word, usage := range words {
// Check for too common // Check for too common
/*
isfilter := false isfilter := false
for _, filter := range FILTER { for _, filter := range FILTER {
if word == filter { if word == filter {
@ -386,16 +397,21 @@ func filteredWords() map[string]UserCount {
} }
if isfilter { if isfilter {
continue continue
}*/ }
// Check for not common enough // Check for not common enough
max := uint64(0) good := false
for _, count := range usage { ucount := make(UserCount)
if count > max { for user, count := range usage {
max = count if count < USAGE_THRESHOLD {
continue
} }
if !good {
good = true
} }
if max < USAGE_THRESHOLD { ucount[user] = count
}
if !good {
continue continue
} }