При помощи Python проведи кластеризацию данных Признаки для кластеризации 1. Номер…
- User
При помощи Python проведи кластеризацию данных Признаки для кластеризации
- Номер вагона
- Пробег вагон
- Грузо владелец
- Время после ремонта (дней)
- Тоннаж (т)
- Видвагона 2210511 32100 ООО«АЗОТ» 1620 50 Пассажирский 8005924 5200О АО«РЖД» 206 34 Рефрижератор 8011456 16958 ОАО«РЖД» 6589 34 рефрижератор 794006120695ИвановАА10264 50 цистерна 6980469 36599 ОАО«РЖД» 11336 46 полувагон
- Assistant
Для выполнения задания кластеризации, необходимо сначала подготовить данные для анализа. Я вижу, что данные содержат неоднородные форматы и текстовые значения. Необходимо преобразовать их в числовой вид и привести к чистому формату. Затем мы можем использовать методы кластеризации, такие как K-Means. Ниже приведен пример кода для подготовки данных и их кластеризации.
Шаг 1: Подготовка данных
import pandas as pd from sklearn.preprocessing import LabelEncoder from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler # Создаем DataFrame на основе предоставленных данных data = { 'Номер вагона': [2210511, 8005924, 8011456, 7940061, 6980469], 'Пробег вагон': [32100, 52000, 16958, 20695, 36599], 'Грузо владелец': ['ООО«АЗОТ»', 'АО«РЖД»', 'ОАО«РЖД»', 'ИвановАА', 'ОАО«РЖД»'], 'Время после ремонта (дней)': [1620, 206, 6589, 10264, 11336], 'Тоннаж (т)': [50, 34, 34, 50, 46], 'Вид вагона': ['Пассажирский', 'Рефрижератор', 'рефрижератор', 'цистерна', 'полувагон'] } df = pd.DataFrame(data) # Преобразуем текстовые данные в числовые с помощью LabelEncoder label_encoder = LabelEncoder() df['Грузо владелец'] = label_encoder.fit_transform(df['Грузо владелец']) df['Вид вагона'] = label_encoder.fit_transform(df['Вид вагона']) # Проверяем DataFrame print(df)Шаг 2: Масштабирование данных и применение K-Means
# Масштабируем данные с помощью StandardScaler scaler = StandardScaler() scaled_data = scaler.fit_transform(df) # Применяем K-Means для кластеризации данных kmeans = KMeans(n_clusters=3, random_state=42) # Выберите количество кластеров k (например, 3) kmeans.fit(scaled_data) # Добавляем столбец с меткой кластера df['Cluster'] = kmeans.labels_ # Выводим результаты print(df) # Опционально: визуализация кластеров (для 2D или 3D случаев) import matplotlib.pyplot as plt plt.scatter(scaled_data[:, 0], scaled_data[:, 1], c=kmeans.labels_, cmap='viridis') plt.title("Кластеры данных") plt.xlabel("Признак 1") plt.ylabel("Признак 2") plt.show()Объяснение кода:
- Преобразование текстовых признаков: Используется
LabelEncoderдля преобразования текстов в числовые значения. - Масштабирование данных:
StandardScalerнормирует все числовые значения так, чтобы они имели нулевое среднее и единичное стандартное отклонение. - Кластеризация: Применяем метод K-Means для кластеризации данных.
- Визуализация: Для упрощенной интерпретации можем построить график кластеров.
Результаты:
В результате выполнения кода вы получите кластеризацию данных на основе указанных признаков с группировкой вагонов в схожие группы.
- Преобразование текстовых признаков: Используется
- User
Без других библеотек
- Assistant
Если вы хотите выполнить кластеризацию исключительно с помощью Python (без использования внешних библиотек), можно реализовать алгоритм K-Means вручную. Хотя такая реализация будет проще и без оптимизаций, она позволит вам достичь поставленной задачи.
Ниже представлен пример:
1. Подготовка данных
Ваши данные должны быть загружены в виде списка списков.
# Данные data = [ [2210511, 32100, 1, 1620, 50, 1], # Пассажирский (1) [8005924, 52000, 2, 206, 34, 2], # Рефрижератор (2) [8011456, 16958, 3, 6589, 34, 2], # Рефрижератор (2) [7940061, 20695, 4, 10264, 50, 3], # Цистерна (3) [6980469, 36599, 3, 11336, 46, 4] # Полувагон (4) ] # Метка для интерпретации текстовых данных: # Грузовладелец: ООО«АЗОТ»=1, АО«РЖД»=2, ОАО«РЖД»=3, ИвановАА=4 # Вид вагона: Пассажирский=1, Рефрижератор=2, Цистерна=3, Полувагон=4
2. Реализация алгоритма K-Means вручную
import random # K-Means без библиотек def kmeans(data, k=2, max_iterations=10): # Инициализация центроидов случайным образом из данных centroids = random.sample(data, k) for iteration in range(max_iterations): # Шаг 1: Назначить каждую точку к кластеру ближайшего центроида clusters = {i: [] for i in range(k)} # Словарь для хранения точек в каждом кластере for point in data: # Вычисляем расстояние до каждого центроида distances = [euclidean_distance(point, centroid) for centroid in centroids] # Находим ближайший центроид nearest_centroid_index = distances.index(min(distances)) clusters[nearest_centroid_index].append(point) # Шаг 2: Обновить центроиды (среднее значение точек в каждом кластере) new_centroids = [] for cluster_points in clusters.values(): if cluster_points: # Если кластер не пустой new_centroid = [ sum(dimension) / len(cluster_points) for dimension in zip(*cluster_points) ] new_centroids.append(new_centroid) else: # Если кластер пустой, оставляем старый центроид new_centroids.append(random.choice(data)) # Если центроиды больше не меняются, то алгоритм завершен if new_centroids == centroids: break centroids = new_centroids return clusters, centroids # Функция для вычисления евклидова расстояния def euclidean_distance(point1, point2): return sum((x - y) ** 2 for x, y in zip(point1, point2)) ** 0.5 # Запуск алгоритма K-Means clusters, centroids = kmeans(data, k=3) # Вывод результатов print("Кластеры:") for cluster_id, cluster_points in clusters.items(): print(f"Кластер {cluster_id + 1}: {cluster_points}") print("\nЦентроиды:") for centroid in centroids: print(centroid)
Объяснение алгоритма
-
Инициализация центроидов:
- Случайно выбираются точки из данных в качестве начальных центроидов.
-
Назначение точек кластерам:
- Для каждой точки вычисляется евклидово расстояние до всех центроидов, и точка присваивается к кластеру ближайшего центроида.
-
Обновление центроидов:
- Для каждой группы точек в кластере вычисляется новое значение центроида как среднее (по каждой координате) из точек данного кластера.
-
Итерация:
- Процесс повторяется до тех пор, пока центроиды не перестанут изменяться или пока не будет достигнут максимальный предел итераций.
Выходные данные
Код напечатает:
- Список точек, сгруппированных в каждый кластер.
- Центроиды (координаты средней точки для каждого кластера).
Ограничения
Этот алгоритм рассчитан на изучение. Если ваши данные большие или требуют сложных операций (например, предварительной обработки или кастомных расстояний), лучше использовать библиотеки вроде
sklearn. -