import pandas as pd import numpy as np from pyvi import ViTokenizer from…
- User
import pandas as pd import numpy as np from pyvi import ViTokenizer from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, confusion_matrix
Đọc dữ liệu
data = pd.read_excel(folder +'/Book1.xlsx') data['label'] = data['Content'].apply(lambda x: 1 if 'tích cực' in x else 0)
data.head() from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import CountVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import classification_report
Tiền xử lý dữ liệu
stop_words = pd.read_csv('https://raw.githubusercontent.com/stopwords/vietnamese-stopwords/master/vietnamese-stopwords-dash.txt', header=None).iloc[:,0].tolist() data['Content'] = data['Content'].apply(lambda x: ViTokenizer.tokenize(x)) data['Content'] = data['Content'].apply(lambda x: " ".join([word for word in x.split() if word not in stop_words]))
Tạo ma trận đặc trưng (feature matrix)
vectorizer = CountVectorizer() X = vectorizer.fit_transform(data['Content'])
Chia dữ liệu thành tập huấn luyện và tập kiểm tra
X_train, X_test, y_train, y_test = train_test_split(X, data['label'], random_state=42)
Xây dựng mô hình và dự đoán
clf = MultinomialNB() clf.fit(X_train, y_train) y_pred = clf.predict(X_test)
Đánh giá mô hình
print(confusion_matrix(y_test, y_pred)) print(classification_report(y_test, y_pred))
Phân loại tất cả các đánh giá
all_reviews = vectorizer.transform(data['Content']) all_preds = clf.predict(all_reviews) data['Predicted Label'] = all_preds
Hiển thị kết quả
print('Phân loại của tất cả các đánh giá:') print(data[['Content', 'Predicted Label']]) tôi làm theo code của bạn và kết quả label nào cũng bằng 0, sửa lại code đi
- Assistant
Xin lỗi, có vẻ như đã xảy ra lỗi do code của mình. Hãy thêm đoạn code sau vào để hiển thị accuracy của mô hình.
from sklearn.metrics import accuracy_score accuracy = accuracy_score(y_test, y_pred) print('Accuracy:', accuracy)Để đảm bảo độ chính xác của mô hình, bạn có thể thử tăng kích thước tập huấn luyện hoặc thay đổi các tham số của CountVectorizer và MultinomialNB.