ตัวกรองสแปมหลายภาษา

ตัวกรองสแปมจำนวนมากสร้างมาสำหรับภาษาอังกฤษ สแปมภาษาอื่นจึงหลุดรอดไปได้ และอีเมลทั่วไปภาษาอื่นถูกตีว่าเป็นสแปมเพราะระบบอักษร Spam Scanner สร้างมาเพื่อหลีกเลี่ยงทั้งสองปัญหา

อ่านคำ#

คำถูกแยกด้วย Intl.Segmenter ซึ่งใช้กฎขอบเขตคำของ Unicode พร้อมพจนานุกรมสำหรับภาษาจีน ญี่ปุ่น ไทย ลาว เขมร และพม่า ประโยคภาษาจีนจะกลายเป็นคำอย่าง 恭喜, 获得 และ 大奖 ไม่ใช่สตริงยาวสตริงเดียวที่ไม่เคยซ้ำ

การอำพรางถูกแปลงกลับก่อนนับ: อักขระที่มองไม่เห็นภายในคำ ตัวอักษรซีริลลิกหรือกรีกภายในคำภาษาละติน (pаypal) ตัวเลขแทนตัวอักษร (v1agra) และตัวอักษรทางคณิตศาสตร์หรือตัวอักษรในกรอบ (𝐅𝐑𝐄𝐄) การอำพรางแต่ละแบบเป็นเบาะแสในตัวเองด้วย

ไม่ตีสิ่งที่ไม่รู้จักว่าเป็นสแปม#

ชุดข้อมูลสแปมสาธารณะมีสแปมภาษาต่างประเทศมากกว่า hamอีเมลที่ต้องการ: ตรงข้ามกับสแปม ภาษาต่างประเทศมาก ตัวจำแนกแบบง่าย ๆ จึงเรียนรู้ว่าข้อความภาษาอาหรับหรือเกาหลีเองคือสแปม Spam Scanner ไม่ใช้ภาษาเป็นเบาะแสเลย ชั่งน้ำหนักแต่ละคำเทียบกับจำนวนสแปมและ ham ในภาษาของคำนั้นเอง และคงสถานะ "ไม่แน่ใจ" ตามสัดส่วนของ ham ที่เคยเห็นน้อยในภาษานั้น

ในการทดสอบกับข้อความ SMS ใน 21 ภาษาที่โมเดลที่มาพร้อมแพ็กเกจไม่เคยเห็น วิธีนี้ทำให้ผลบวกลวงในภาษาจีน อาหรับ เกาหลี ญี่ปุ่น ฮินดี เบงกาลี อูรดู ตุรกี ยูเครน และสวีเดนลดลงเหลือศูนย์

จับสแปมได้ทุกภาษา#

• การตรวจที่ไม่ต้องอ่านคำ: โดเมนเลียนแบบ ลิงก์หลอกลวง ไฟล์โปรแกรม มาโคร SPFSender Policy Framework: เรคคอร์ด DNS ที่ระบุเซิร์ฟเวอร์ที่ได้รับอนุญาตให้ส่งอีเมลในนามของโดเมน, DKIMDomainKeys Identified Mail: ลายเซ็นของข้อความ ตรวจสอบด้วยกุญแจสาธารณะที่เผยแพร่ใน DNS ของผู้ส่ง, DMARCนโยบายใน DNS ที่บอกผู้รับว่าต้องทำอย่างไรเมื่ออีเมลที่อ้างว่ามาจากโดเมนหนึ่งไม่ผ่านการตรวจความสอดคล้องของ SPF และ DKIM และ blocklist
• โมเดลภาษา สำหรับข้อความที่ไม่แน่ใจ โมเดลแบบเปิดอย่าง Qwen 3.5 และ Gemma 4 อ่านได้ 140 ถึง 200 ภาษา การทดสอบแบบ end-to-end ตรวจสแปมและ ham ในภาษาจีน อาหรับ เกาหลี ฮินดี และไทยกับโมเดลจริง
• อีเมลของคุณเอง ข้อความแต่ละประเภทไม่กี่ร้อยข้อความในภาษาหนึ่งทำให้โมเดลที่ฝึกจากอีเมลของคุณมั่นใจเต็มที่ในภาษานั้น

spamscanner scan message.eml --llm ollama --llm-model qwen3.5:4b
spamscanner train --spam ~/Maildir/.Junk --ham ~/Maildir/cur --out my-model.json

หากต้องการรับเฉพาะบางภาษา --allow-language en,de จะเพิ่มคะแนนให้อีเมลที่ตรวจพบอย่างมั่นใจว่าเป็นภาษาอื่น

รายละเอียดเรื่องภาษา