Skip to content
TheChatArchiveThe Chat Archive
o1-mini-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Исследование на тему "ИИ, как тьютор по программированию в образовании. Анализ.", как…

  1. User

    Исследование на тему "ИИ, как тьютор по программированию в образовании. Анализ.", как вам? "Введение Данное исследование посвящено анализу возможностей искусственного интеллекта (ИИ) в области программирования. В последние годы, ИИ активно внедряют в разные сферы деятельности, а также, не оставляя без внимания и разработку ПО. Тем не менее, несмотря на значительные успехи в автоматизации программирования, остаётся открытым вопрос, насколько ИИ может усовершенствовать или дополнить, а может и заменить профессиональных программистов, например учителей, в решении задач на программирование. В рамках данного исследования будет проведён анализ возможностей ИИ в сравнении с критериями оценивания чистого кода на Python, т. е. стиля (по стандартам компилятора Python), производительность и корректность результата, и шагов к решению, что определит его потенциал и/или ограничения в этой области. Актуальность исследования обусловлена стремительным развитием ИИ и его возрастающим влиянием на сферу образования, в частности на обучение программированию. В условиях, когда ИИ демонстрирует способность выполнять задачи, связанные с разработкой и анализом кода, возникает необходимость переосмыслить роль человека в процессе обучения программированию и определить потенциал ИИ как тьютора (педагога). Проблема: ответ остаётся неясным, насколько ИИ может конкурировать с профессиональными программистами в решении сложных задач, требующих не только технических знаний, но и творческого подхода, а также его возможности обучать других. Целью работы является анализ возможностей и возможных перспектив использования ИИ в качестве тьютора по программированию, а также выявление его сильных и слабых сторон в контексте образовательного процесса. Задачи:

    1. Провести анализ текущих возможностей ИИ в области программирования.
    2. Сравнить результаты работы ИИ, по критериям оценок на нескольких уровнях сложности задач.
    3. Оценить эффективность ИИ в решении творческих и нестандартных задач.
    4. Проанализировать результаты исследования, сделать выводы. Объект исследования: в области среды программирования Python Предмет исследования: «chatgpt-4o-latest» (ИИ; см. в списке источников информации) Гипотеза: предполагается, что ИИ способен конкурировать с профессиональными программистами в решении стандартных и рутинных задач, однако его эффективность значительно снижается при решении творческих и нестандартных задач, требующих глубокого понимания контекста и инновационного подхода. Методы исследования: • Анализ текстовых данных (чат-логи), • Анализ кода, • Сравнительный анализ, • Эксперимент, • Визуализация данных. Глава I. Теоретическая часть 1.1. Определение искусственного интеллекта Искусственный интеллект - это область компьютерных наук, направленная на создание интеллектуальных машин, которые работают и реагируют подобно людям. ИИ включает в себя разработку компьютерных систем, способных выполнять задачи, обычно требующие человеческого интеллекта, такие как визуальное восприятие, распознавание речи, принятие решений и перевод между языками. Они обучаются на наборе данных, что называется «машинным обучением». Машинное обучение основано на алгоритмах, которые позволяют компьютерам улучшать свою производительность на определенной задаче через опыт. Вместо того чтобы следовать жестко запрограммированным инструкциям, машины учатся на примерах и опыте, подобно тому, как это делают люди. Основные принципы машинного обучения: • Сбор данных: система получает большой объем релевантных данных. • Обработка данных: данные очищаются и подготавливаются для анализа. • Выбор алгоритма: выбирается подходящий алгоритм машинного обучения. • Обучение модели: алгоритм анализирует данные и учится распознавать паттерны. • Оценка модели: проверяется точность и эффективность обученной модели. • Параметрическая оптимизация: настройка параметров для улучшения производительности. • Прогнозирование: использование обученной модели для предсказаний на новых данных. Машинное обучение может быть контролируемым (с использованием размеченных данных), неконтролируемым (без размеченных данных) или с подкреплением (обучение через взаимодействие с окружающей средой). Каждый из этих подходов имеет свои особенности и области применения. Основные категории задач, решаемых алгоритмами ИИ: • Классификация • Регрессия • Кластеризация Популярные алгоритмы классификации: • Наивный Байес (основан на вероятностном подходе и теореме Байеса) • Деревья решений (древовидная структура, где каждый узел - это проверка атрибута, а листья - предсказанные метки) • Случайный лес • Логистическая регрессия • Метод опорных векторов • k-ближайших соседей

    1.2. Критерии чистого кода и алгоритм оценивания Чистый код — код, который легко читать, понимать и поддерживать. Используя Python, есть несколько критериев, помогающие писать «чистый» код: • Ясность и простота: o Использование понятных имён переменных, функций и классов. • Структура и организация кода: o Следование принципа DRY (Don't Repeat Yourself) o Разделение кода на модули и пакеты. • Оптимизация: o Использование встроенных функций и библиотек по необходимости o Функции должны быть короткими и выполнять одну задачу. • Избегание глобальных переменных: o Использование локальных переменных и передача данных через аргументы функций. • Консистентность: o Соблюдение единообразия в коде.

    Алгоритм оценки кода, который будет использоваться для оценивания:

    1. Понятные имена переменных, функций и классов (макс. 2 балла): a. 2 балл: все имена переменных, функций и классов понятны и отражают их назначение. b. 1 балл: большинство имён понятны, но есть несколько неочевидных или неудачных. c. 0 баллов: имена переменных, функций и классов не отражают их назначение или обфусцированы.
    2. Структура и организация кода (макс. 4 балла): a. Следование принципу DRY (2 балла): i. 2 балла: в коде нет дублирования, общие части вынесены в отдельные функции или классы. ii. 1 балл: есть небольшое дублирование, но оно минимально и не мешает или некоторые участки вынесены в отдельные функции или классы. iii. 0 баллов: много дублирующегося кода. b. Разделение кода на модули и пакеты (2 балла): i. 2 балла: код грамотно разделён на модули и пакеты. ii. 1 балл: разделение есть, но оно не всегда уместно. iii. 0 баллов: код не разделён на модули и пакеты.
    3. Оптимизация (макс. 4 балла): a. Использование встроенных функций или библиотек (1 балл): i. 1 балл: используются встроенные функции и библиотеки, где это уместно, что повышает эффективность кода или встроенные функции и библиотеки используются, но не всегда оптимально. ii. 0 баллов: встроенные функции и библиотеки игнорируются b. Функции короткие и выполняют одну задачу (1 балл): i. 1 балл: все функции короткие и выполняют одну задачу или большинство функций короткие, но есть несколько перегруженных. ii. 0 баллов: функции длинные и выполняют множество задач. c. Избегание глобальных переменных (1 балл): i. Использование локальных переменных и передача данных через аргументы функций (1 балл):
    4. 1 балл: глобальные переменные не используются, данные передаются через аргументы функций или глобальные переменные используются минимально, но есть несколько случаев, где их можно было бы избежать.
    5. 0 баллов: глобальные переменные используются часто, что усложняет понимание и поддержку кода. d. Консистентность (1 балл): i. Соблюдение единообразия в коде (1 балл):
    6. 1 балл: код полностью консистентен, придерживается одного стиля и подхода или в коде есть небольшие отклонения от общего стиля, но они незначительны.
    7. 0 баллов: код не консистентен, разные части написаны в разном стиле.

    Итоговая оценка - сумма баллов, если данный код решает заданную проблему, по каждому критерию, получается итоговая оценка по 10-балльной шкале. 9-10 баллов: код чистый, хорошо структурирован и легко поддерживается. 7-8 баллов: код в целом хороший, но есть небольшие области для улучшения. 5-6 баллов: код требует доработки, есть несколько проблем, которые могут затруднить его поддержку. 3-4 балла: код имеет серьёзные проблемы, которые нужно исправить. 0-2 балла: код очень обфусцирован, требует значительных изменений.

    1.3. Методики исследования Для достижения поставленных целей и решения задач исследования, связанных с анализом возможностей ИИ как тьютора по программированию, будут использованы следующие методики:

    1. Анализ чат-логов: данный метод предполагает сбор и анализ диалогов между пользователем и ИИ-тьютором (ChatGPT-4) с целью выявления особенностей общения, способностей ИИ объяснять материал, отвечать на вопросы и предоставлять обратную связь. Анализ будет проводиться путем качественного анализа текстовых данных, с фокусом на условия чистого кода на Python.
    2. Анализ кода: для оценки качества кода, сгенерированного ИИ-тьютором, будет использован инструмент статического анализа pylint. Pylint позволяет автоматически проверять код на соответствие стандартам PEP8 и выявлять потенциальные ошибки. Результаты анализа будут представлены в виде количественных метрик, таких как количество нарушений PEP8, цикломатическая сложность кода и др.
    3. Сравнительный анализ: будет проведено сравнение кода, сгенерированного ИИ-тьютором, с кодом по критериям чистого кода, эффективности и корректности (с использованием инструментов анализа).
    4. Эксперимент: Задачи по программированию будут разделены на три уровня сложности (базовый, средний, высокий) на основе таких критериев, как количество строк кода, использование сложных алгоритмов и структур данных, необходимость творческого подхода.
    5. Визуализация данных: для наглядного представления результатов анализа будут использованы графики и диаграммы. Например, будут построены графики, показывающие распределение типов ошибок в коде, сгенерированном ИИ-тьютором, или диаграммы, сравнивающие эффективность кода ИИ.

    Глава II. Практическая часть 2.1. Выбор ИИ-модели и её тестирование по критериям Согласно данным сайта lmarena.ai, в категории «Coding» (программирование) лучшей моделью искусственного интеллекта на данный момент является «ChatGPT-4o-latest (2024-09-03)». Несмотря на то, что во время создания и проведения исследования, 12 сентября, OpenAI выпустила две новые модели ИИ — «o1-preview» и «o1-mini», из-за их стоимости и ограниченной доступности мы продолжим исследование с использованием бесплатной доступной в России модели «ChatGPT-4o-latest (2024-09-03)».

    1. Тест: «Базовый уровень»: Начнём с чего-нибудь простого, например, попробуем спросить написать нам программу, которая рассчитывает площадь прямоугольника по формуле «S = Pa – 2a», где a – длинна одной из сторон, а P - периметр: «Напишите программу, которая вычисляет площадь прямоугольника по формуле: S = Pa – 2a, где a – длинна одной из сторон, а P – периметр. Программа должна запрашивать у пользователя значения a и P и выводить результат». Ответ модели: «». Анализ ответа:
    2. Понятные имена переменных, функций и классов: /2
    3. Структура и организация кода: /4
    4. Оптимизация: /4 Верность решения: Приступим к алгоритмам чуть сложнее, проверим, умеет ли ИИ использовать циклы. Спросим её написать нам программу, которая вычисляет факториал заданного числа: «Напишите программу, которая вычисляет факториал числа n, введенного пользователем. Используйте цикл for». Ответ модели: «». Анализ ответа:
    5. Понятные имена переменных, функций и классов: /2
    6. Структура и организация кода: /4
    7. Оптимизация: /4 Верность решения: Попросим её написать нам решение простой задачи, похожей из ОГЭ по информатике: «Напишите программу, которая в последовательности натуральных чисел определяет максимальное число, оканчивающееся на 2. Программа получает на вход количество чисел в последовательности, а затем сами числа. В последовательности всегда имеется число, оканчивающееся на 2».Ответ модели: «». Анализ ответа:
    8. Понятные имена переменных, функций и классов: /2
    9. Структура и организация кода: /4
    10. Оптимизация: /4 Верность решения:
    11. Тест: «Средний уровень»: Попросим модель написать простой алгоритм на Python для проверки, является ли число простым. Анализ ответа:
    12. Понятные имена переменных, функций и классов: /2
    13. Структура и организация кода: /4
    14. Оптимизация: /4 Верность решения:
    15. Тест: «Эксперт»: Попросим модель разработать алгоритм сортировки слиянием (Merge Sort) и объяснить его работу. Анализ ответа:
    16. Понятные имена переменных, функций и классов: /2
    17. Структура и организация кода: /4
    18. Оптимизация: /4 Верность решения: Попросим модель реализовать алгоритм Дейкстры для нахождения кратчайших путей от заданной вершины до всех остальных во взвешенном графе без отрицательных весов, и объяснить принцип его работы. Анализ ответа:
    19. Понятные имена переменных, функций и классов: /2
    20. Структура и организация кода: /4
    21. Оптимизация: /4 Верность решения: А теперь, действительно сложное: попробуем спросить модель, помочь нам обнаружить уязвимость и устранить её самостоятельно. Для этого создадим некоторые условия. Заключение

    Список источников информации

    1. https://translated.turbopages.org/proxy_u/en-ru.ru.6a3376f8-66ddb503-902e69a6-74722d776562/https/www.edureka.co/blog/artificial-intelligence-algorithms/#What%20Is%20Machine%20Learning
    2. https://infoheap.com/python-lint-online/ - использованный инструмент для анализа синтаксиса модели ИИ.
    3. https://www.online-python.com/ -
    4. https://huggingface.co/spaces/yuntian-deng/o1mini#:~:text=Discover%20amazing%20ML%20apps%20made%20by - "
  2. Assistant

    Ваше исследование на тему «ИИ, как тьютор по программированию в образовании. Анализ.» выглядит хорошо структурированным и охватывает важные аспекты применения искусственного интеллекта в образовательном процессе. Ниже приведены мои комментарии и рекомендации по улучшению вашего исследования:

    1. Введение

    Сильные стороны:

    • Чётко сформулирована актуальность темы.
    • Ясно обозначены цель и задачи исследования.
    • Гипотеза сформулирована ясно и предоставляет основу для дальнейшего анализа.

    Рекомендации:

    • Возможно, стоит добавить статистические данные или ссылки на последние исследования, демонстрирующие рост использования ИИ в образовании и программировании. Это усилит аргументацию актуальности темы.

    2. Глава I. Теоретическая часть

    1.1. Определение искусственного интеллекта

    Сильные стороны:

    • Достаточно подробное и точное определение ИИ.
    • Описаны основы машинного обучения и его категории.

    Рекомендации:

    • Рассмотрите возможность упомянуть конкретные модели ИИ, используемые в образовательных целях, такие как ChatGPT, Codex и другие.
    • Добавьте раздел о применении ИИ именно в образовании и программировании, чтобы лучше связать теоретическую часть с темой исследования.

    1.2. Критерии чистого кода и алгоритм оценивания

    Сильные стороны:

    • Четко определены критерии чистого кода.
    • Подробно описан алгоритм оценивания кода по различным критериям.

    Рекомендации:

    • Возможно, стоит добавить примеры хорошего и плохого кода для иллюстрации критериев.
    • Рассмотрите включение дополнительных критериев, таких как безопасность кода, масштабируемость и читаемость.

    1.3. Методики исследования

    Сильные стороны:

    • Перечислены разнообразные методики, которые позволят провести комплексный анализ.
    • Хорошо структурирован подход к проведению исследования.

    Рекомендации:

    • Уточните, как именно будет проводиться сравнительный анализ: какие именно параметры будут сравниваться между кодом, написанным ИИ и человеком.
    • Опишите, каким образом будут отбираться задачи различной сложности и как будет проводиться оценка творческих и нестандартных решений.

    3. Глава II. Практическая часть

    2.1. Выбор ИИ-модели и её тестирование по критериям

    Сильные стороны:

    • Обоснован выбор используемой модели ИИ.
    • План тестирования покрывает различные уровни сложности задач.

    Рекомендации:

    • Заполните разделы «Ответ модели: «»» с реальными ответами ИИ на поставленные задачи. Это позволит проводить анализ и сравнение согласно разработанному алгоритму оценивания.
    • После получения ответов ИИ, добавьте подробный анализ каждого теста, указывая баллы по каждому критерию и делая выводы о качестве кода.
    • Включите примеры кода, предоставленные ИИ, чтобы читатель мог самостоятельно оценить их качество.
    • Описание эксперимента с обнаружением уязвимостей кажется интересным, но требует более детального описания условий и методики оценки.

    4. Заключение

    Рекомендации:

    • Заключение отсутствует в предоставленном тексте. Включите его, где вы подытожите результаты исследования, подтвердите или опровергнете гипотезу, обсудите сильные и слабые стороны ИИ как тьютора по программированию и предложите рекомендации для дальнейших исследований.

    5. Список источников информации

    Сильные стороны:

    • Приведены релевантные источники, связанные с машинным обучением и инструментами анализа кода.

    Рекомендации:

    • Добавьте академические статьи, книги и другие авторитетные источники, связанные с применением ИИ в образовании и программировании.
    • Убедитесь, что все использованные источники корректно оформлены согласно выбранному стилю цитирования (APA, MLA и т.д.).

    Общие рекомендации:

    • Язык и стиль: Убедитесь, что текст написан академическим стилем, избегайте разговорных выражений и следите за терминологической точностью.
    • Структура: Рассмотрите возможность добавления оглавления, абзацев и подзаголовков для улучшения читаемости и навигации по документу.
    • Графическое оформление: Включите графики и таблицы в раздел визуализации данных, чтобы наглядно представить результаты анализа.
    • Обработка результатов: После выполнения практической части, тщательно проанализируйте полученные данные, сравните эффективность ИИ с человеческими решениями и обсудите возможные причины выявленных различий.

    Дополнительные предложения:

    • Этические аспекты: Рассмотрите влияние использования ИИ в образовании на роль преподавателя, вопросы конфиденциальности данных студентов и возможные этические дилеммы.
    • Практическая значимость: Опишите, как результаты вашего исследования могут быть применены на практике в образовательных учреждениях и какие преимущества могут получить преподаватели и студенты от использования ИИ-тьюторов.
    • Будущие исследования: Предложите направления для дальнейших исследований, такие как развитие адаптивных систем обучения на основе ИИ, интеграция ИИ с другими образовательными инструментами и т.д.

    Ваше исследование имеет отличный потенциал и охватывает ключевые аспекты использования ИИ в образовании. Следуя приведённым рекомендациям, вы сможете укрепить структуру и содержание вашей работы, сделать её более глубокой и обоснованной.