Skip to content
The Chat Archive
sonar-reasoning LMArena Search Arena 24K

Пожалуйста, дай мне детальное, чёткое, точное описание того, как устроена машина Цетлина…

  1. User

    Пожалуйста, дай мне детальное, чёткое, точное описание того, как устроена машина Цетлина (Tsetlin machine). В русском интернете описания её работы нет. Ищи в англоязычном, по английски. Ничего не выдумывай. Описание нужно мне для того, чтобы написать программную реализацию такой машины.

  2. Assistant

    Основные компоненты машины Цетлина

    Автомат Цетлина — это конечный автомат с (2n) состояниями, решающий задачу multi-armed bandit. Он выбирает между двумя действиями ((a_1) и (a_2)) на основе текущего состояния. Автомат инициализируется в состоянии (n), а переходы между состояниями регулируются вознаграждениями и штрафами[[1]][[2]].

    Клаузы — это логические выражения, формируемые объединением литералов (логических переменных и их отрицаний) через операцию И (AND). Например, клауза (x_1 \land \neg x_2) активируется, если (x_1 = 1) и (x_2 = 0)[[1]][[5]].

    Обработка входных данных
    Бинарные входные векторы преобразуются в литералы, включая их отрицания. Например, для входа ([1, 0]) создаётся набор ({x_1, x_2, \neg x_1, \neg x_2}). Каждый автомат в клаузе решает, включать ли соответствующий литерал, основываясь на своём текущем состоянии[[2]][[5]].


    Механизм обучения

    Обучение происходит через два типа обратной связи:

    1. Type I feedback — укрепляет частые паттерны.
    2. Type II feedback — увеличивает дискриминационную способность клауз.

    Правила обучения (для положительных клауз):

    • Если клауза активирована ((C = 1)) и целевой класс (y = 1), автоматы, включившие литералы, получают вознаграждение.
    • Если клауза активирована, но (y = 0), автоматы, включившие литералы, получают штраф.
    • Для отрицательных клауз правила инвертируются[[5]][[8]].

    Параметры модели

    ПараметрОписаниеПример значения
    number_of_clausesКоличество клауз (половина — положительные, половина — отрицательные)10
    number_of_tsetlin_automataКоличество автоматов на клаузу15
    sensitivityПорог чувствительности (регулирует скорость обучения)3.9
    boost_true_positive_feedbackУсиление обратной связи для истинных положительных0

    Пример реализации (Python)

    from pyTsetlinMachine.tm import MultiClassTsetlinMachine
    import numpy as np
    
    # Генерация данных для задачи XOR с шумом
    number_of_features = 20
    noise = 0.1
    X_train = np.random.randint(0, 2, size=(5000, number_of_features), dtype=np.uint32)
    Y_train = np.logical_xor(X_train[:,0], X_train[:,1]).astype(np.uint32)
    Y_train = np.where(np.random.rand(5000) <= noise, 1-Y_train, Y_train)
    
    # Инициализация модели
    tm = MultiClassTsetlinMachine(10, 15, 3.0, boost_true_positive_feedback=0)
    
    # Обучение
    tm.fit(X_train, Y_train, epochs=200)
    
    # Тестирование
    X_test = np.random.randint(0, 2, size=(5000, number_of_features), dtype=np.uint32)
    Y_test = np.logical_xor(X_test[:,0], X_test[:,1]).astype(np.uint32)
    print("Accuracy:", 100*(tm.predict(X_test) == Y_test).mean())
    

    Пример из [[4]], демонстрирующий обучение на задаче XOR с шумом.


    Особенности многоклассовых задач

    Для многоклассовых задач создаётся отдельная машина Цетлина для каждого класса. Каждая машина обучается независимо, что позволяет параллелизировать вычисления[[4]][[6]].


    Интерпретируемость

    Клаузы формируют логические правила, которые можно выразить в виде условий. Например, клауза (x_1 \land \neg x_2) означает: «классифицируй как 1, если (x_1 = 1) и (x_2 = 0»[[1]][[7]].


    Ключевые этапы реализации

    1. Инициализация автоматов — начальное состояние (n).
    2. Обработка литералов — преобразование входных данных в литералы.
    3. Формирование клауз — объединение литералов через И.
    4. Обучение — применение Type I и Type II feedback.
    5. Прогнозирование — суммирование выводов клауз и применение пороговой функции.

    Для оптимизации производительности можно использовать битовые операции, как в C-реализации[[6]].

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.