Пожалуйста, дай мне детальное, чёткое, точное описание того, как устроена машина Цетлина…
- User
Пожалуйста, дай мне детальное, чёткое, точное описание того, как устроена машина Цетлина (Tsetlin machine). В русском интернете описания её работы нет. Ищи в англоязычном, по английски. Ничего не выдумывай. Описание нужно мне для того, чтобы написать программную реализацию такой машины.
- Assistant
Основные компоненты машины Цетлина
Автомат Цетлина — это конечный автомат с (2n) состояниями, решающий задачу multi-armed bandit. Он выбирает между двумя действиями ((a_1) и (a_2)) на основе текущего состояния. Автомат инициализируется в состоянии (n), а переходы между состояниями регулируются вознаграждениями и штрафами[[1]][[2]].
Клаузы — это логические выражения, формируемые объединением литералов (логических переменных и их отрицаний) через операцию И (AND). Например, клауза (x_1 \land \neg x_2) активируется, если (x_1 = 1) и (x_2 = 0)[[1]][[5]].
Обработка входных данных
Бинарные входные векторы преобразуются в литералы, включая их отрицания. Например, для входа ([1, 0]) создаётся набор ({x_1, x_2, \neg x_1, \neg x_2}). Каждый автомат в клаузе решает, включать ли соответствующий литерал, основываясь на своём текущем состоянии[[2]][[5]].
Механизм обучения
Обучение происходит через два типа обратной связи:
- Type I feedback — укрепляет частые паттерны.
- Type II feedback — увеличивает дискриминационную способность клауз.
Правила обучения (для положительных клауз):
- Если клауза активирована ((C = 1)) и целевой класс (y = 1), автоматы, включившие литералы, получают вознаграждение.
- Если клауза активирована, но (y = 0), автоматы, включившие литералы, получают штраф.
- Для отрицательных клауз правила инвертируются[[5]][[8]].
Параметры модели
Параметр Описание Пример значения number_of_clausesКоличество клауз (половина — положительные, половина — отрицательные) 10 number_of_tsetlin_automataКоличество автоматов на клаузу 15 sensitivityПорог чувствительности (регулирует скорость обучения) 3.9 boost_true_positive_feedbackУсиление обратной связи для истинных положительных 0
Пример реализации (Python)
from pyTsetlinMachine.tm import MultiClassTsetlinMachine import numpy as np # Генерация данных для задачи XOR с шумом number_of_features = 20 noise = 0.1 X_train = np.random.randint(0, 2, size=(5000, number_of_features), dtype=np.uint32) Y_train = np.logical_xor(X_train[:,0], X_train[:,1]).astype(np.uint32) Y_train = np.where(np.random.rand(5000) <= noise, 1-Y_train, Y_train) # Инициализация модели tm = MultiClassTsetlinMachine(10, 15, 3.0, boost_true_positive_feedback=0) # Обучение tm.fit(X_train, Y_train, epochs=200) # Тестирование X_test = np.random.randint(0, 2, size=(5000, number_of_features), dtype=np.uint32) Y_test = np.logical_xor(X_test[:,0], X_test[:,1]).astype(np.uint32) print("Accuracy:", 100*(tm.predict(X_test) == Y_test).mean())Пример из [[4]], демонстрирующий обучение на задаче XOR с шумом.
Особенности многоклассовых задач
Для многоклассовых задач создаётся отдельная машина Цетлина для каждого класса. Каждая машина обучается независимо, что позволяет параллелизировать вычисления[[4]][[6]].
Интерпретируемость
Клаузы формируют логические правила, которые можно выразить в виде условий. Например, клауза (x_1 \land \neg x_2) означает: «классифицируй как 1, если (x_1 = 1) и (x_2 = 0»[[1]][[7]].
Ключевые этапы реализации
- Инициализация автоматов — начальное состояние (n).
- Обработка литералов — преобразование входных данных в литералы.
- Формирование клауз — объединение литералов через И.
- Обучение — применение Type I и Type II feedback.
- Прогнозирование — суммирование выводов клауз и применение пороговой функции.
Для оптимизации производительности можно использовать битовые операции, как в C-реализации[[6]].
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.