4 j6 - 1197326841 VIEW 4 j6 spam 1197326914 INITIAL 4 j37 - 1197340588 VIEW 4 j37…
- User
4 j6 - 1197326841 VIEW 4 j6 spam 1197326914 INITIAL 4 j37 - 1197340588 VIEW 4 j37 unknown 1197340650 INITIAL 4 j37 - 1197394783 VIEW 4 j37 nonspam 1197394788 UPDATED 4 j20 - 1197719674 VIEW 4 j20 nonspam 1197719698 INITIAL 4 j9 - 1197783822 VIEW 4 j9 nonspam 1197783835 INITIAL 4 j6 - 1198159556 VIEW 4 j6 nonspam 1198159624 REVISED 5 j24 - 1197486180 VIEW 5 j24 nonspam 1197486187 INITIAL 5 j32 - 1197493146 VIEW 5 j32 nonspam 1197493337 INITIAL 8 j36 - 1197401922 VIEW 8 j36 nonspam 1197401946 INITIAL 8 j10 - 1197402193 VIEW 8 j10 nonspam 1197402215 INITIAL 61 j59 - 1197893917 VIEW 61 j58 - 1197924104 VIEW 61 j58 nonspam 1197924325 INITIAL 61 j58 - 1198625480 VIEW 62 j26 - 1197412969 VIEW 62 j26 nonspam 1197413014 INITIAL 62 j6 - 1197496079 VIEW 62 j6 borderline 1197496182 INITIAL 62 j6 - 1197501712 VIEW 62 j6 - 1198246512 VIEW 62 j6 nonspam 1198246545 REVISED 77 j38 - 1197312895 VIEW 77 j38 nonspam 1197312946 INITIAL 77 j34 - 1197313043 VIEW 77 j34 nonspam 1197313072 INITIAL 112 j31 - 1197920112 VIEW 112 j31 spam 1197920156 INITIAL 132 j58 - 1197576511 VIEW 132 j52 - 1197576625 VIEW 132 j52 nonspam 1197576647 INITIAL 132 j58 nonspam 1197576741 INITIAL 165 j22 - 1197137910 VIEW 165 j22 nonspam 1197137981 INITIAL 165 j10 - 1197139728 VIEW 165 j10 nonspam 1197139784 INITIAL 165 j22 - 1197920824 VIEW 165 j22 - 1197924073 VIEW 165 j22 - 1197926321 VIEW 165 j22 - 1197932885 VIEW 165 j22 - 1197966045 VIEW 165 j22 - 1197994607 VIEW 165 j22 - 1197996717 VIEW 165 j22 nonspam 1197996722 UPDATED 165 j22 - 1198007491 VIEW 165 j22 - 1198017979 VIEW 165 j22 - 1198050326 VIEW لیست بالا نمونه داده های است که در فایل WEBSPAM-UK2007-SET1-labels.tx قرار دارد است در این پروژه در نظر است عملکرد روش استدلال شهودی نظریه Shafer–Dempster و نیز عملگرهای فازی Sugeno
در فرآیند تعیین صفحات هرز Spam در محیط وب، مورد بررسی قرار گیرد. از روش های مواج هه با نایقینی یعنی روش استدلال شهودی نظریه Shafer–Dempster و نیز عملگرهای فازی Sugeno به منظور ترکیب آراء داوران اسپم بودن Spamicity صفحات، استفاده میشود. محاسبه برچسب اسناد بصورت احتمالی بر اساس آراء داوران: برای این کار به ازای هر داور، احتمال مشروط هر برچسب Spam و spam-Non، مطابق برچسب نهایی موجود در دادگان، تعیین گردد و از ترکیب آنها، برچسب نهایی صفحات، بر اساس ترکیب آرای داوران، محاسبه شود. محاسبه تابع جرم Mass برای هر یک از داوران بر اساس نتایج روش قبلی و بکارگیری قاعده ترکیب Rule Combination در روش استدلال شهودی برای محاسبه برچسب نهایی صفحات بر اساس ترکیب آرای داوران محاسبه شاخص فازی Measure Fuzzy و استفاده از عملگرهای فازی Sugeno به منظور ترکیب آراء داوران سپس در بخش دوم پروژه، با ترکیب ویژگی های موجود Spam و spam-Non بودن مشخص شود در آخر خروجی در یک فایل نوت پت ذخیرده شود. این را با زبان پایتون کد کن - Assistant
مبانی کد پردازش دادگان وجود دارد در زیر:
import numpy as np import pandas as pd # خواندن فایل داده with open("WEBSPAM-UK2007-SET1-labels.txt", "r") as file: data = file.readlines() # پردازش داده و تبدیل آن به یک Dataframe records = [] for line in data: if len(line.strip()) > 0: items = line.split() record = { "doc_id": int(items[0]), "judge": items[1], "timestamp": int(items[2]), "label": items[3], } records.append(record) df = pd.DataFrame(records) # محاسبه احتمال مشروط برای هر داور judges = df["judge"].unique() final_probs = [] for judge in judges: judge_df = df[df["judge"] == judge] num_spam = judge_df[judge_df["label"] == "spam"].shape[0] num_nonspam = judge_df[judge_df["label"] == "nonspam"].shape[0] total = num_spam + num_nonspam judge_probs = { "judge": judge, "prob_spam": num_spam / total, "prob_nonspam": num_nonspam / total, } final_probs.append(judge_probs) df_probs = pd.DataFrame(final_probs) # محاسبه تابع جرم (Mass) و کار با روش استدلال شهودی # به جای این توضیح می توانید روش خاص خود را به کار ببرید # محاسبه شاخص فازی و استفاده از عملگرهای فازی Sugeno # به جای این توضیح می توانید روش خاص خود را به کار ببرید # محاسبه برچسب نهایی برای هر سند def calculate_final_label(doc_id): # به جای این توضیح می توانید روش خاص خود را به کار ببرید # بر اساس ترکیب آراء داوران و روش هایی که در بالا پیاده سازی کردید # یک برچسب نهایی برای هر doc_id بدهید return final_label doc_ids = df["doc_id"].unique() final_labels = [{"doc_id": doc_id, "final_label": calculate_final_label(doc_id)} for doc_id in doc_ids] df_final_labels = pd.DataFrame(final_labels) # ذخیره نتایج در یک فایل متنی df_final_labels.to_csv("final_labels.txt", index=False, sep="\t")این کد نمونه ای است که انتظار می رود شما از یک پایه، توضیحات روش های خاص مرتبط با پروژه خود را داخل کد بگنجانید و از داده های کاربردی برای محاسبه برچسب های نهایی استفاده کنید. شما باید روش های استدلال استنباطی Shafer–Dempster و Sugeno Fuzzy Operators را پیاده سازی کنید و به فرآیند تعیین برچسب نهایی اضافه کنید.
این کار به عهده کاربر است که به جای توضیح درون کد، پیاده سازی و به کارگیری روش های متناسب با پروژه خود را انجام دهد. کد فوق به عنوان یک نمونه که نشان می دهد چگونه داده ها را پردازش کرده و به یک dataframe تبدیل کنید، در اختیار شما قرار می گیرد و امیدوار است که در شروع پروژه خود به شما کمک کند.