التدريب

يعمل النموذج المرفق مباشرة دون إعداد. والنموذج المدرَّب على بريدك يعمل أفضل، لأنه يتعلّم شكل البريد المرغوب لديك: نشراتك الإخبارية، وأسلوب كتابة زملائك، واللغات التي تستقبلها.

درّب نموذجًا#

وجّه train إلى مجلدات البريد المزعج والمرغوب:

spamscanner train --spam ~/Maildir/.Junk --ham ~/Maildir/cur --ham ~/Maildir/.Archive --out my-model.json

يمكن أن تكون المصادر:

• ملفات mbox، حتى المضغوطة بـ gzip (.mbox.gz)،
• Maildir (يُقرأ مجلدا cur وnew، ويُتخطى tmp)،
• مجلد ملفات .eml، يُقرأ تعاوديًا،
• مجموعة بيانات: ملف CSV أو JSON Lines بعمود نص وعمود تصنيف (--dataset). تُكتشف تلقائيًا الأعمدة المسماة text أو message أو body أو email أو content، وlabel أو category أو class أو spam أو is_spam؛ وإلا فاستخدم --text-column و--label-column. تُفهم تصنيفات مثل spam و1 وphishing، وham و0 وnot_spam وlegitimate.

تُعدّ الرسائل المكررة مرة واحدة. للبناء على النموذج المرفق بدل البدء من نموذج فارغ، أضف --merge.

استخدم النموذج:

spamscanner scan message.eml --model my-model.json
SPAMSCANNER_MODEL=/var/lib/spamscanner/model.json spamscanner milter

const scanner = new SpamScanner({classifier: '/var/lib/spamscanner/model.json'});

كم من البريد يكفي: بضع مئات من الرسائل من كل نوع تعطي نموذجًا مفيدًا، وبضعة آلاف تعطي نموذجًا جيدًا. حافظ على توازن تقريبي بين النوعين، واحتفظ بالبريد الذي لا تريد ترشيحه (إعادة تعيين كلمات المرور، وفواتير مورّديك) ضمن البريد المرغوب.

قِس أداءه#

أبقِ بعض البريد خارج التدريب وقِس الأداء عليه:

spamscanner eval --model my-model.json --spam held-out/spam --ham held-out/ham

النموذج المرفق على رسائل SMS بـ 21 لغة لم يرها قط، معظمها بلغات لا يكاد يعرفها:

Messages: 13028 spam, 92406 ham
Precision: 89.72%   Recall: 11.18%   F1: 19.89%
False positives: 167 (0.18% of ham)   False negatives: 132
Unsure: 91247 (86.54%)

الدقة هي نسبة ما يسمّيه بريدًا مزعجًا وهو مزعج فعلًا؛ والاستدعاء هو نسبة البريد المزعج الذي يلتقطه. تُحسب الرسائل غير المؤكدة هنا بريدًا مزعجًا فائتًا، مع أن الفحوص الأخرى والنموذج اللغوي ما زال بإمكانها التقاطها أثناء الفحص. الرقم الذي يجب مراقبته هو الإيجابيات الكاذبة: بريد مرغوب وُسم بأنه مزعج. في التشغيل أعلاه، النموذج غير متأكد من معظم هذه الرسائل بدل أن يخطئ فيها، وهذا هو السلوك المقصود للغات التي لا يملك فيها إلا القليل من البريد.

يعطي --json الأرقام نفسها للسكربتات.

التعلّم من التقارير#

عندما ينقل المستخدمون البريد إلى مجلد Junk أو منه، علّم النموذج رسالة واحدة في كل مرة:

spamscanner learn spam message.eml --model /var/lib/spamscanner/model.json
spamscanner learn ham message.eml --model /var/lib/spamscanner/model.json

ينشئ أول learn الملف من النموذج المرفق. عبر HTTP، يفعل POST /learn/spam و/learn/ham في HTTP API الشيء نفسه، ويعمل spamc -L spam مع خادم spamd عند استخدام --allow-tell. يستطيع IMAPSieve في Dovecot استدعاء أي منهما عند نقل رسالة.

من Node.js:

await scanner.learn(raw, 'spam');
await scanner.unlearn(raw, 'spam'); // undo, before learning it as ham
scanner.saveModel('/var/lib/spamscanner/model.json');

الرسالة المبلَّغ عن تصنيفها خطأً ينبغي إلغاء تعلّمها من الفئة الخاطئة قبل تعلّمها في الفئة الصحيحة، إذا كانت قد تُعلِّمت من قبل.

النموذج المرفق#

يُبنى model/classifier.json بالأمر npm run model:train من مجموعات البيانات العامة هذه على Hugging Face، وكلها بتراخيص مفتوحة:

تعلّم من 62,480 رسالة مزعجة و76,489 رسالة مرغوبة. يحجز السكربت كل رسالة عاشرة، ويتدرّب على البقية، ويقيس أداء المصنِّف وحده، دون الفحوص الأخرى:

البريد المزعج هنا يعني احتمالًا بحسب المصنِّف قدره 99% أو أكثر، وهي النقطة التي يبلغ عندها المصنِّف وحده عتبة البريد المزعج. أثناء الفحص، يحصل البريد المزعج الذي يكون المصنِّف أقل تأكدًا منه على نقاط مع ذلك، وتضيف الفحوص الأخرى نقاطها.

تأتي نتائج الألمانية والإسبانية والإيطالية من مجموعات بيانات اصطناعية، تحتوي رسائل شبه متطابقة مصنّفة مزعجة ومرغوبة معًا: جزء من ذلك الخطأ في التصنيفات، لا في النموذج. البريد بلغاتك هو أفضل حل. الأرقام، بكل لغة ومجموعة بيانات، موجودة في metadata.metrics الخاص بالنموذج.

لغات أخرى#

يضيف npm run model:train -- --with multilingual-sms مجموعة SMS Spam Multilingual Collection: مجموعة SMS Spam Collection مترجمة آليًا إلى 21 لغة. استُبعدت من النموذج المرفق لأن بطاقتها تذكر ترخيص GPL؛ تحقق من أنها تناسب طريقة مشاركتك للنموذج. عند التدريب بها، كانت نتائج الرسائل المحجوزة للغات التي لا يكاد النموذج المرفق يعرفها:

أعد تدريبه#

npm run model:train                       # downloads the datasets into data/ the first time
npm run model:train -- --no-download      # reuse data/
npm run model:train -- --out /tmp/model.json --max-features 200000

ملف النموذج#

النموذج ملف JSON: عدد الرسائل المزعجة والمرغوبة التي تعلّمها، ولكل سمة مجزّأة عدد الرسائل المزعجة والمرغوبة التي احتوتها، مرتّبة ومرمّزة بـ base64. لا يحتوي أي كلمات ولا أي نص رسائل. يحتفظ --max-features بأكثر السمات تكرارًا فقط، ويُسقط --min-count السمات النادرة، مقايضةً بين الدقة والحجم؛ ويحتفظ النموذج المرفق بـ 400,000 سمة في نحو 6 ميغابايت.

لا يمكن تحميل النماذج من Spam Scanner 6 وما قبله: فقد كانت تجزّئ سمات مختلفة. درّب نموذجًا جديدًا من البريد نفسه.