Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0125· OpenAIAi2 WildChat-4.8M (AI2)

Объясни построчно код: def shanoncode(text: str): print("\nШенон: ") splitline =…

  1. User

    Объясни построчно код: def shanon_code(text: str): print("\nШенон: ") split_line = list(text[i: i + 1] for i in range(len(text)))

    probabilities = {k: v / len(split_line) for k, v in Counter(split_line).items()}
    probabilities = dict(
        sorted(probabilities.items(), key=lambda item: item[1], reverse=True)
    )
    
    code_length = [ceil(-log2(i)) for i in probabilities.values()]
    
    cumulative_probs = [float(0) for _ in range(len(probabilities))]
    for i in range(1, len(probabilities)):
        cumulative_probs[i] = (
                cumulative_probs[i - 1] + list(probabilities.values())[i - 1]
        )
    
    codes = list()
    for i in range(len(cumulative_probs)):
        codes.append(float_bin(cumulative_probs[i], code_length[i])[1:])
        print(
            f"{list(probabilities.keys())[i]}: {list(probabilities.values())[i]:.4f} - {codes[i]}"
        )
    
    l_average = sum(
        list(probabilities.values())[i] * code_length[i]
        for i in range(len(probabilities.items()))
    )
    print("Средняя длина кодовых слов (L ср.):", l_average)
    
    print("--")
    print("Текст:  coded_shanon.txt")
    with open("coded_shanon.txt", "w") as f:
        for i in text:
            index = list(probabilities.keys()).index(i)
            f.write(codes[index])
    
    with open("coded_shanon.txt", "r") as f:
        text = f.readline()
    for i in range(1, 4):
        print(f'Энтропия для {i} символа(ов) подряд:', calc_entropy_modified(text, i))
    return l_average
    
  2. Assistant
    1. Функция shanon_code принимает текст в виде строки.
    2. Создается строка split_line, в которой каждый символ из текста отдельно добавляется в список.
    3. Рассчитываются вероятности появления каждого символа в тексте и сортируются в порядке убывания.
    4. Рассчитывается длина кодового слова для каждого символа.
    5. Вычисляются кумулятивные вероятности.
    6. Генерируются коды Шеннона для каждого символа и выводятся на экран.
    7. Рассчитывается средняя длина кодовых слов.
    8. Создается файл "coded_shanon.txt" и записываются закодированные символы.
    9. Открывается файл и считывается текст, затем рассчитывается энтропия для 1, 2 и 3 символов подряд.
    10. Возвращается средняя длина кодовых слов.
  3. User

    Объясни следующий код со строками кода: def shanon_code(text: str): print("\nШенон: ") split_line = list(text[i: i + 1] for i in range(len(text)))

    probabilities = {k: v / len(split_line) for k, v in Counter(split_line).items()}
    probabilities = dict(
        sorted(probabilities.items(), key=lambda item: item[1], reverse=True)
    )
    
    code_length = [ceil(-log2(i)) for i in probabilities.values()]
    
    cumulative_probs = [float(0) for _ in range(len(probabilities))]
    for i in range(1, len(probabilities)):
        cumulative_probs[i] = (
                cumulative_probs[i - 1] + list(probabilities.values())[i - 1]
        )
    
    codes = list()
    for i in range(len(cumulative_probs)):
        codes.append(float_bin(cumulative_probs[i], code_length[i])[1:])
        print(
            f"{list(probabilities.keys())[i]}: {list(probabilities.values())[i]:.4f} - {codes[i]}"
        )
    
    l_average = sum(
        list(probabilities.values())[i] * code_length[i]
        for i in range(len(probabilities.items()))
    )
    print("Средняя длина кодовых слов (L ср.):", l_average)
    
    print("--")
    print("Текст:  coded_shanon.txt")
    with open("coded_shanon.txt", "w") as f:
        for i in text:
            index = list(probabilities.keys()).index(i)
            f.write(codes[index])
    
    with open("coded_shanon.txt", "r") as f:
        text = f.readline()
    for i in range(1, 4):
        print(f'Энтропия для {i} символа(ов) подряд:', calc_entropy_modified(text, i))
    return l_average
    
  4. Assistant
    1. Функция shanon_code принимает текст в виде строки и начинает выполнение.
    2. Выводится сообщение "Шенон: ".
    3. Создается список split_line, в котором каждый символ из текста добавляется отдельным элементом.
    4. Рассчитываются вероятности появления каждого символа в тексте и сортируются в порядке убывания.
    5. Рассчитывается длина кодового слова для каждого символа.
    6. Создается список cumulative_probs из нулей длины, равной количеству символов.
    7. Выполняется цикл для расчета кумулятивных вероятностей.
    8. Генерируются коды Шеннона для каждого символа и выводятся на экран.
    9. Рассчитывается средняя длина кодовых слов.
    10. Выводится сообщение о средней длине кодовых слов.
    11. Открывается файл "coded_shanon.txt" для записи.
    12. Для каждого символа из текста находится его индекс в списке вероятностей и записывается соответствующий код.
    13. Открывается файл "coded_shanon.txt" для чтения.
    14. Считывается текст из файла.
    15. Для последовательностей от 1 до 3 символов выводится сообщение с энтропией, рассчитанной с помощью функции calc_entropy_modified.
    16. Возвращается средняя длина кодовых слов.
  5. User

    Как получаются кумулятивные вероятности

  6. Assistant

    Кумулятивные вероятности вычисляются путем последовательного суммирования вероятностей каждого символа в отсортированном списке вероятностей.

    В вашем коде происходит следующее:

    1. Создается список cumulative_probs из нулей длиной, равной количеству символов.
    2. Затем выполняется цикл for i in range(1, len(probabilities)):, который начинается с 1 (так как первая кумулятивная вероятность равна 0) и проходит по всем элементам списка вероятностей, кроме первого.
    3. На каждой итерации кумулятивная вероятность cumulative_probs[i] вычисляется как сумма предыдущей кумулятивной вероятности и вероятности текущего символа.
    4. Таким образом, кумулятивные вероятности представляют собой сумму вероятностей всех символов до текущего символа, включительно.
  7. User

    Как генерируются коды шеннона

  8. Assistant

    Коды Шеннона генерируются с использованием кумулятивных вероятностей и длин кодовых слов для каждого символа.

    В вашем коде:

    1. Создается пустой список codes.
    2. Затем выполняется цикл for i in range(len(cumulative_probs)), который проходит по всем кумулятивным вероятностям.
    3. Для каждой кумулятивной вероятности cumulative_probs[i], вызывается функция float_bin(cumulative_probs[i], code_length[i])[1:], которая преобразует значение кумулятивной вероятности в двоичное представление с учетом длины кодового слова, и возвращает это значение, начиная со второго символа - это делается для удаления нуля перед двоичным представлением числа.
    4. Полученное двоичное представление добавляется в список codes.
    5. Наконец, выводится информация о каждом символе: символ, вероятность его появления и соответствующий код.
    6. Таким образом, код Шеннона для каждого символа вычисляется на основе его кумулятивной вероятности и длины кодового слова.
  9. User

    Как следующий код работает подробно: class Node(object): def init(self, name=None, value=None): self.name = name self.value = value self.lchild = None self.rchild = None

    def huffman_code(text: str): print("Хаффман: ") split_line = list(text[i: i + 1] for i in range(len(text)))

    probabilities = {k: v / len(split_line) for k, v in Counter(split_line).items()}
    probabilities = dict(
        sorted(probabilities.items(), key=lambda item: item[1], reverse=True)
    )
    # print(probabilities)
    
    leaf = [Node(k, v) for k, v in probabilities.items()]
    while len(leaf) != 1:
        leaf.sort(key=lambda node: node.value, reverse=True)
        n = Node(value=(leaf[-1].value + leaf[-2].value))
        n.lchild = leaf.pop(-1)
        n.rchild = leaf.pop(-1)
        leaf.append(n)
    tree = leaf[0]
    
    # Создавать коды с рекурсивным мышлением
    
    codes = dict()
    
    def generate(tree, code=''):
        node = tree
        if (not node):
            return
        elif node.name:
            codes[node.name] = code
            return
        generate(node.lchild, code + '0')
        generate(node.rchild, code + '1')
    
    generate(tree)
    
    for i in probabilities.keys():
        print(f"{i}: {probabilities[i]:.4f} - {codes[i]}")
    l_average = sum(probabilities[i] * len(codes[i]) for i in probabilities.keys())
    print("Средняя длина кодовых слов (L ср.):", l_average)
    
    print("--")
    print("Текст:  coded_huffman.txt")
    with open("coded_huffman.txt", "w") as f:
        for i in text:
            f.write(codes[i])
    
    with open("coded_huffman.txt", "r") as f:
        text = f.readline()
    for i in range(1, 4):
        print(f'Энтропия для {i} символа(ов) подряд:', calc_entropy_modified(text, i))
    return l_average
    
  10. Assistant
    1. Определяется класс Node, который представляет узел для построения дерева Хаффмана. Узел содержит имя (name), значение (value), левого потомка (lchild) и правого потомка (rchild).
    2. Функция huffman_code принимает текст в виде строки и начинает выполнение.
    3. Выводится сообщение "Хаффман: ".
    4. Текст разбивается на отдельные символы и рассчитываются вероятности появления каждого символа.
    5. Вероятности сортируются в порядке убывания.
    6. Создаются листья дерева Хаффмана, каждый из которых соответствует символу и его вероятности.
    7. Пока количество листьев не станет равно 1, создается внутренний узел, объединяя два листа с наименьшими вероятностями, и добавляется обратно в список листьев.
    8. Формируется дерево Хаффмана путем повторения объединения узлов до тех пор, пока не останется только один корневой узел.
    9. Генерируются коды для каждого символа в дереве Хаффмана с помощью рекурсивной функции generate.
    10. Для каждого символа выводится вероятность, код Хаффмана и средняя длина кодовых слов.
    11. Создается файл "coded_huffman.txt" и записываются закодированные символы.
    12. Открывается файл "coded_huffman.txt" для чтения.
    13. Для последовательностей от 1 до 3 символов выводится сообщение с энтропией, рассчитанной с помощью функции calc_entropy_modified.
    14. Возвращается средняя длина кодовых слов.