Flerspråklig spamfilter
Mange spamfiltre ble laget for engelsk. Spam på andre språk slipper forbi dem, og vanlig e-post på andre språk blir flagget på grunn av skriftsystemet. Spam Scanner er laget for å unngå begge deler.
Å lese ordene#
Ord finnes med Intl.Segmenter, Unicode-reglene for ordgrenser med ordbøker for kinesisk, japansk, thai, lao, khmer og burmesisk. En kinesisk setning blir til ord som 恭喜, 获得 og 大奖, ikke én lang streng som aldri gjentas.
Forkledninger gjøres om før opptellingen: usynlige tegn inne i ord, kyrilliske eller greske bokstaver inne i latinske ord (pаypal), sifre i stedet for bokstaver (v1agra) og matematiske eller innrammede bokstaver (𝐅𝐑𝐄𝐄). Hver forkledning er også et eget indisium.
Ikke flagge det den ikke kjenner#
Offentlige spamdatasett inneholder langt mer spam enn hamØnsket e-post: det motsatte av spam. på andre språk enn engelsk, så en naiv klassifiserer lærer at arabisk eller koreansk tekst i seg selv er spam. Spam Scanner bruker aldri språket som indisium, vekter hvert ord mot spam- og ham-tellingene for dets eget språk, og forblir «usikker» i forhold til hvor lite ham den har sett på et språk.
I en test på SMS-meldinger på 21 språk som den medfølgende modellen aldri hadde sett, brakte dette de falske positivene på kinesisk, arabisk, koreansk, japansk, hindi, bengali, urdu, tyrkisk, ukrainsk og svensk ned til null.
Å fange spam på alle språk#
- Sjekker som ikke leser ord: forvekslingsdomener, villedende lenker, kjørbare filer, makroer, SPFSender Policy Framework: en DNS-post som lister opp serverne som har lov til å sende e-post for et domene., DKIMDomainKeys Identified Mail: en signatur over en melding, kontrollert med en offentlig nøkkel publisert i avsenderens DNS., DMARCEn DNS-policy som forteller mottakere hva de skal gjøre når e-post som utgir seg for å komme fra et domene, ikke består SPF- og DKIM-justering. og blokkeringslister.
- En språkmodell for usikre meldinger. Åpne modeller som Qwen 3.5 og Gemma 4 leser 140 til 200 språk; ende-til-ende-testene sjekker spam og ham på kinesisk, arabisk, koreansk, hindi og thai med en ekte modell.
- Din egen e-post. Noen hundre meldinger av hver type på et språk gir en modell trent på e-posten din full tillit der.
spamscanner scan message.eml --llm ollama --llm-model qwen3.5:4b
spamscanner train --spam ~/Maildir/.Junk --ham ~/Maildir/cur --out my-model.jsonFor å godta bare enkelte språk gir --allow-language en,de poeng til e-post som med sikkerhet er gjenkjent som et hvilket som helst annet språk.