مرشِّح بريد مزعج متعدد اللغات

بُنيت مرشِّحات كثيرة للبريد المزعج من أجل الإنجليزية. يتسلل البريد المزعج بلغات أخرى من خلالها، ويُوسم البريد العادي بلغات أخرى بسبب نظام كتابته. بُني Spam Scanner لتجنّب الأمرين.

قراءة الكلمات#

تُستخرج الكلمات باستخدام Intl.Segmenter، أي قواعد حدود الكلمات في Unicode مع قواميس للصينية واليابانية والتايلاندية واللاوية والخميرية والبورمية. تصبح الجملة الصينية كلمات مثل 恭喜 و获得 و大奖، لا سلسلة طويلة واحدة لا تتكرر أبدًا.

يُلغى التنكّر قبل العدّ: المحارف غير المرئية داخل الكلمات، والحروف السيريلية أو اليونانية داخل الكلمات اللاتينية (pаypal)، والأرقام مكان الحروف (v1agra)، والحروف الرياضية أو المحاطة (𝐅𝐑𝐄𝐄). وكل نوع من التنكّر قرينة مستقلة أيضًا.

عدم وسم ما لا يعرفه#

تحتوي مجموعات بيانات البريد المزعج العامة على بريد مزعج بلغات أجنبية أكثر بكثير من البريد المرغوب بلغات أجنبية، فيتعلّم المصنِّف الساذج أن النص العربي أو الكوري بحد ذاته بريد مزعج. لا يستخدم Spam Scanner اللغة قرينةً أبدًا، ويزن كل كلمة مقابل أعداد البريد المزعج والمرغوب في لغتها، ويبقى «غير متأكد» بقدر قلة البريد المرغوب الذي رآه بلغة ما.

في اختبار على رسائل SMS بـ 21 لغة لم يرها النموذج المرفق قط، خفّض ذلك إيجابياته الكاذبة في الصينية والعربية والكورية واليابانية والهندية والبنغالية والأردية والتركية والأوكرانية والسويدية إلى الصفر.

التقاط البريد المزعج بكل لغة#

• فحوص لا تقرأ الكلمات: النطاقات المشابهة، والروابط المخادعة، والملفات التنفيذية، ووحدات الماكرو، وSPF وDKIM وDMARC، وقوائم الحظر.
• نموذج لغوي للرسائل غير المؤكدة. تقرأ النماذج المفتوحة مثل Qwen 3.5 وGemma 4 من 140 إلى 200 لغة؛ وتتحقق الاختبارات الشاملة من البريد المزعج والمرغوب بالصينية والعربية والكورية والهندية والتايلاندية مع نموذج حقيقي.
• بريدك. بضع مئات من الرسائل من كل نوع بلغة ما تعطي النموذج المدرَّب على بريدك ثقة كاملة فيها.

spamscanner scan message.eml --llm ollama --llm-model qwen3.5:4b
spamscanner train --spam ~/Maildir/.Junk --ham ~/Maildir/cur --out my-model.json

لقبول بعض اللغات فقط، يضيف --allow-language en,de نقاطًا إلى البريد الذي اكتُشف بثقة أنه بأي لغة أخرى.

اللغات بالتفصيل