Анализатор тональности отзывов онлайн магазинов

import pandas as pd
import numpy as np
import re
from nltk.corpus import stopwords
from nltk.stem import SnowballStemmer
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report, accuracy_score

# Загрузка датасета с отзывами
data = pd.read_csv('reviews_dataset.csv')

# Просмотр структуры данных
print("Размер датасета:", data.shape)
print("\nПервые 5 записей:")
print(data.head())
print("\nРаспределение тональности:")
print(data['sentiment'].value_counts())

def preprocess_text(text):
    # Удаление специальных символов и цифр
    text = re.sub(r'[^a-zA-Zа-яА-Я\s]', '', text)
    
    # Приведение к нижнему регистру
    text = text.lower()
    
    # Токенизация
    tokens = text.split()
    
    # Удаление стоп-слов
    stop_words = set(stopwords.words('russian'))
    tokens = [token for token in tokens if token not in stop_words]
    
    # Стемминг
    stemmer = SnowballStemmer('russian')
    tokens = [stemmer.stem(token) for token in tokens]
    
    return ' '.join(tokens)

# Применение предобработки к данным
print("Выполняется предобработка текста...")
data['processed_text'] = data['text'].apply(preprocess_text)

# Векторизация текста с помощью TF-IDF
vectorizer = TfidfVectorizer(
    max_features=5000,
    ngram_range=(1, 2),  # Учитываем униграммы и биграммы
    min_df=5,            # Игнорируем термины, встречающиеся реже 5 раз
    max_df=0.7           # Игнорируем термины, встречающиеся в более чем 70% документов
)

X = vectorizer.fit_transform(data['processed_text'])
y = data['sentiment']

# Разделение на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(
    X, y, 
    test_size=0.2, 
    random_state=42, 
    stratify=y  # Сохраняем распределение классов
)

print(f"Обучающая выборка: {X_train.shape[0]} примеров")
print(f"Тестовая выборка: {X_test.shape[0]} примеров")

# Создание и обучение модели логистической регрессии
model = LogisticRegression(
    C=1.0,           # Параметр регуляризации
    max_iter=1000,   # Максимальное количество итераций
    random_state=42  # Для воспроизводимости результатов
)

print("Обучение модели...")
model.fit(X_train, y_train)

# Предсказание на тестовой выборке
y_pred = model.predict(X_test)

# Оценка производительности модели
accuracy = accuracy_score(y_test, y_pred)
print(f"Точность модели: {accuracy:.4f}")

print("\nПодробный отчет по классификации:")
print(classification_report(y_test, y_pred))

def analyze_sentiment(text):
    """
    Анализирует тональность текста отзыва
    
    Args:
        text (str): Текст отзыва для анализа
    
    Returns:
        tuple: (sentiment, confidence) - тональность и уверенность предсказания
    """
    # Предобработка текста
    processed_text = preprocess_text(text)
    
    # Векторизация
    vectorized_text = vectorizer.transform([processed_text])
    
    # Предсказание
    prediction = model.predict(vectorized_text)[0]
    probability = model.predict_proba(vectorized_text)[0]
    
    # Сопоставление с текстовыми метками
    sentiment_map = {0: 'Негативный', 1: 'Позитивный', 2: 'Нейтральный'}
    
    return sentiment_map[prediction], max(probability)

# Пример использования
test_reviews = [
    "Товар отличного качества, быстрая доставка, рекомендую!",
    "Ужасное качество, не соответствует описанию, деньги на ветер.",
    "Нормальный товар за свои деньги, доставка вовремя."
]

print("\nПримеры анализа отзывов:")
for review in test_reviews:
    sentiment, confidence = analyze_sentiment(review)
    print(f"Отзыв: '{review}'")
    print(f"Результат: {sentiment} (уверенность: {confidence:.2f})\n")