Объясни построчно код: def shanoncode(text: str): print("\nШенон: ") splitline =…
- User
Объясни построчно код: def shanon_code(text: str): print("\nШенон: ") split_line = list(text[i: i + 1] for i in range(len(text)))
probabilities = {k: v / len(split_line) for k, v in Counter(split_line).items()} probabilities = dict( sorted(probabilities.items(), key=lambda item: item[1], reverse=True) ) code_length = [ceil(-log2(i)) for i in probabilities.values()] cumulative_probs = [float(0) for _ in range(len(probabilities))] for i in range(1, len(probabilities)): cumulative_probs[i] = ( cumulative_probs[i - 1] + list(probabilities.values())[i - 1] ) codes = list() for i in range(len(cumulative_probs)): codes.append(float_bin(cumulative_probs[i], code_length[i])[1:]) print( f"{list(probabilities.keys())[i]}: {list(probabilities.values())[i]:.4f} - {codes[i]}" ) l_average = sum( list(probabilities.values())[i] * code_length[i] for i in range(len(probabilities.items())) ) print("Средняя длина кодовых слов (L ср.):", l_average) print("--") print("Текст: coded_shanon.txt") with open("coded_shanon.txt", "w") as f: for i in text: index = list(probabilities.keys()).index(i) f.write(codes[index]) with open("coded_shanon.txt", "r") as f: text = f.readline() for i in range(1, 4): print(f'Энтропия для {i} символа(ов) подряд:', calc_entropy_modified(text, i)) return l_average - Assistant
- Функция
shanon_codeпринимает текст в виде строки. - Создается строка
split_line, в которой каждый символ из текста отдельно добавляется в список. - Рассчитываются вероятности появления каждого символа в тексте и сортируются в порядке убывания.
- Рассчитывается длина кодового слова для каждого символа.
- Вычисляются кумулятивные вероятности.
- Генерируются коды Шеннона для каждого символа и выводятся на экран.
- Рассчитывается средняя длина кодовых слов.
- Создается файл "coded_shanon.txt" и записываются закодированные символы.
- Открывается файл и считывается текст, затем рассчитывается энтропия для 1, 2 и 3 символов подряд.
- Возвращается средняя длина кодовых слов.
- Функция
- User
Объясни следующий код со строками кода: def shanon_code(text: str): print("\nШенон: ") split_line = list(text[i: i + 1] for i in range(len(text)))
probabilities = {k: v / len(split_line) for k, v in Counter(split_line).items()} probabilities = dict( sorted(probabilities.items(), key=lambda item: item[1], reverse=True) ) code_length = [ceil(-log2(i)) for i in probabilities.values()] cumulative_probs = [float(0) for _ in range(len(probabilities))] for i in range(1, len(probabilities)): cumulative_probs[i] = ( cumulative_probs[i - 1] + list(probabilities.values())[i - 1] ) codes = list() for i in range(len(cumulative_probs)): codes.append(float_bin(cumulative_probs[i], code_length[i])[1:]) print( f"{list(probabilities.keys())[i]}: {list(probabilities.values())[i]:.4f} - {codes[i]}" ) l_average = sum( list(probabilities.values())[i] * code_length[i] for i in range(len(probabilities.items())) ) print("Средняя длина кодовых слов (L ср.):", l_average) print("--") print("Текст: coded_shanon.txt") with open("coded_shanon.txt", "w") as f: for i in text: index = list(probabilities.keys()).index(i) f.write(codes[index]) with open("coded_shanon.txt", "r") as f: text = f.readline() for i in range(1, 4): print(f'Энтропия для {i} символа(ов) подряд:', calc_entropy_modified(text, i)) return l_average - Assistant
- Функция
shanon_codeпринимает текст в виде строки и начинает выполнение. - Выводится сообщение "Шенон: ".
- Создается список
split_line, в котором каждый символ из текста добавляется отдельным элементом. - Рассчитываются вероятности появления каждого символа в тексте и сортируются в порядке убывания.
- Рассчитывается длина кодового слова для каждого символа.
- Создается список
cumulative_probsиз нулей длины, равной количеству символов. - Выполняется цикл для расчета кумулятивных вероятностей.
- Генерируются коды Шеннона для каждого символа и выводятся на экран.
- Рассчитывается средняя длина кодовых слов.
- Выводится сообщение о средней длине кодовых слов.
- Открывается файл "coded_shanon.txt" для записи.
- Для каждого символа из текста находится его индекс в списке вероятностей и записывается соответствующий код.
- Открывается файл "coded_shanon.txt" для чтения.
- Считывается текст из файла.
- Для последовательностей от 1 до 3 символов выводится сообщение с энтропией, рассчитанной с помощью функции
calc_entropy_modified. - Возвращается средняя длина кодовых слов.
- Функция
- User
Как получаются кумулятивные вероятности
- Assistant
Кумулятивные вероятности вычисляются путем последовательного суммирования вероятностей каждого символа в отсортированном списке вероятностей.
В вашем коде происходит следующее:
- Создается список
cumulative_probsиз нулей длиной, равной количеству символов. - Затем выполняется цикл
for i in range(1, len(probabilities)):, который начинается с 1 (так как первая кумулятивная вероятность равна 0) и проходит по всем элементам списка вероятностей, кроме первого. - На каждой итерации кумулятивная вероятность
cumulative_probs[i]вычисляется как сумма предыдущей кумулятивной вероятности и вероятности текущего символа. - Таким образом, кумулятивные вероятности представляют собой сумму вероятностей всех символов до текущего символа, включительно.
- Создается список
- User
Как генерируются коды шеннона
- Assistant
Коды Шеннона генерируются с использованием кумулятивных вероятностей и длин кодовых слов для каждого символа.
В вашем коде:
- Создается пустой список
codes. - Затем выполняется цикл
for i in range(len(cumulative_probs)), который проходит по всем кумулятивным вероятностям. - Для каждой кумулятивной вероятности
cumulative_probs[i], вызывается функцияfloat_bin(cumulative_probs[i], code_length[i])[1:], которая преобразует значение кумулятивной вероятности в двоичное представление с учетом длины кодового слова, и возвращает это значение, начиная со второго символа - это делается для удаления нуля перед двоичным представлением числа. - Полученное двоичное представление добавляется в список
codes. - Наконец, выводится информация о каждом символе: символ, вероятность его появления и соответствующий код.
- Таким образом, код Шеннона для каждого символа вычисляется на основе его кумулятивной вероятности и длины кодового слова.
- Создается пустой список
- User
Как следующий код работает подробно: class Node(object): def init(self, name=None, value=None): self.name = name self.value = value self.lchild = None self.rchild = None
def huffman_code(text: str): print("Хаффман: ") split_line = list(text[i: i + 1] for i in range(len(text)))
probabilities = {k: v / len(split_line) for k, v in Counter(split_line).items()} probabilities = dict( sorted(probabilities.items(), key=lambda item: item[1], reverse=True) ) # print(probabilities) leaf = [Node(k, v) for k, v in probabilities.items()] while len(leaf) != 1: leaf.sort(key=lambda node: node.value, reverse=True) n = Node(value=(leaf[-1].value + leaf[-2].value)) n.lchild = leaf.pop(-1) n.rchild = leaf.pop(-1) leaf.append(n) tree = leaf[0] # Создавать коды с рекурсивным мышлением codes = dict() def generate(tree, code=''): node = tree if (not node): return elif node.name: codes[node.name] = code return generate(node.lchild, code + '0') generate(node.rchild, code + '1') generate(tree) for i in probabilities.keys(): print(f"{i}: {probabilities[i]:.4f} - {codes[i]}") l_average = sum(probabilities[i] * len(codes[i]) for i in probabilities.keys()) print("Средняя длина кодовых слов (L ср.):", l_average) print("--") print("Текст: coded_huffman.txt") with open("coded_huffman.txt", "w") as f: for i in text: f.write(codes[i]) with open("coded_huffman.txt", "r") as f: text = f.readline() for i in range(1, 4): print(f'Энтропия для {i} символа(ов) подряд:', calc_entropy_modified(text, i)) return l_average - Assistant
- Определяется класс
Node, который представляет узел для построения дерева Хаффмана. Узел содержит имя (name), значение (value), левого потомка (lchild) и правого потомка (rchild). - Функция
huffman_codeпринимает текст в виде строки и начинает выполнение. - Выводится сообщение "Хаффман: ".
- Текст разбивается на отдельные символы и рассчитываются вероятности появления каждого символа.
- Вероятности сортируются в порядке убывания.
- Создаются листья дерева Хаффмана, каждый из которых соответствует символу и его вероятности.
- Пока количество листьев не станет равно 1, создается внутренний узел, объединяя два листа с наименьшими вероятностями, и добавляется обратно в список листьев.
- Формируется дерево Хаффмана путем повторения объединения узлов до тех пор, пока не останется только один корневой узел.
- Генерируются коды для каждого символа в дереве Хаффмана с помощью рекурсивной функции
generate. - Для каждого символа выводится вероятность, код Хаффмана и средняя длина кодовых слов.
- Создается файл "coded_huffman.txt" и записываются закодированные символы.
- Открывается файл "coded_huffman.txt" для чтения.
- Для последовательностей от 1 до 3 символов выводится сообщение с энтропией, рассчитанной с помощью функции
calc_entropy_modified. - Возвращается средняя длина кодовых слов.
- Определяется класс