Többnyelvű spamszűrő

Sok spamszűrőt angol nyelvre építettek. A más nyelvű spam átjut rajtuk, a más nyelvű hétköznapi leveleket pedig az írásrendszerük miatt jelölik meg. A Spam Scanner úgy készült, hogy mindkettőt elkerülje.

A szavak olvasása#

A szavakat az Intl.Segmenter határozza meg, vagyis a Unicode szóhatár-szabályai, a kínaihoz, japánhoz, thaihoz, laóhoz, khmerhez és burmaihoz szótárakkal. Egy kínai mondatból olyan szavak lesznek, mint 恭喜, 获得 és 大奖, nem pedig egyetlen hosszú, soha nem ismétlődő karakterlánc.

Az álcázásokat a számlálás előtt feloldja: a szavakon belüli láthatatlan karaktereket, a latin szavakon belüli cirill vagy görög betűket (pаypal), a betűk helyetti számjegyeket (v1agra) és a matematikai vagy bekarikázott betűket (𝐅𝐑𝐄𝐄). Minden álcázás önmagában is jelzés.

Nem jelöli meg, amit nem ismer#

A nyilvános spam-adatkészletek sokkal több idegen nyelvű spamet tartalmaznak, mint idegen nyelvű hamet (kért levelet), így egy naiv osztályozó azt tanulja meg, hogy már maga az arab vagy koreai szöveg is spam. A Spam Scanner soha nem használja jelként a nyelvet, minden szót a saját nyelvének spam- és hamszámlálóihoz mér, és annál inkább „bizonytalan” marad, minél kevesebb hamet látott egy nyelven.

Egy 21 nyelvű, a beépített modell által soha nem látott SMS-üzeneteken végzett tesztben ez nullára csökkentette a téves pozitívokat kínaiul, arabul, koreaiul, japánul, hindiül, bengáliul, urduul, törökül, ukránul és svédül.

Spam kiszűrése minden nyelven#

• Szavakat nem olvasó ellenőrzések: hasonmás domainek, megtévesztő hivatkozások, futtatható fájlok, makrók, SPFSender Policy Framework: DNS-rekord, amely felsorolja azokat a szervereket, amelyek egy domain nevében levelet küldhetnek., DKIMDomainKeys Identified Mail: a levélre tett aláírás, amelyet a feladó DNS-ében közzétett nyilvános kulccsal lehet ellenőrizni., DMARCDNS-házirend, amely megmondja a fogadó szervereknek, mit tegyenek, ha egy domain nevében érkező levél nem felel meg az SPF- és DKIM-egyezésnek. és tiltólisták.
• Egy nyelvi modell a bizonytalan levelekhez. Az olyan nyílt modellek, mint a Qwen 3.5 és a Gemma 4, 140–200 nyelven olvasnak; a végpontok közötti tesztek valódi modellel ellenőrzik a spamet és a hamet kínaiul, arabul, koreaiul, hindiül és thaiul.
• A saját levelek. Egy nyelven mindkét fajtából néhány száz levél teljes magabiztosságot ad a saját leveleken tanított modellnek az adott nyelven.

spamscanner scan message.eml --llm ollama --llm-model qwen3.5:4b
spamscanner train --spam ~/Maildir/.Junk --ham ~/Maildir/cur --out my-model.json

Ha csak bizonyos nyelvek fogadhatók el, a --allow-language en,de pontokat ad minden olyan levélhez, amelyet nagy biztonsággal más nyelvűnek ismer fel.

A nyelvek részletesen