Детальная информация

Дудник, Алексей Валерьевич. Программная реализация гибридной системы дообучения больших языковых
моделей с использованием supervised fine-tuning, distillation и retrieval-augmentation [Электронный ресурс]: выпускная квалификационная работа бакалавра по направлению подготовки 01.03.02 Прикладная математика и информатика.
Направленность (профиль): Искусственный интеллект и машинное обучение в создании цифровых двойников / А. В. Дудник, И. А. Калимуллин; Уфимский университет науки и технологий (УУНиТ), Стерлитамакский филиал, Факультет математики и информационных технологий, Кафедра математического моделирования, научный руководитель А. А. Акимов. — Стерлитамак, 2025. — 51 с.: прил. — <URL:https://elib.bashedu.ru/dl/diplom/SF/2025/FMIT/DudnikAV_01.03.02_PMI_bak_2025_VKR.pdf>.

Дата создания записи

15.07.2025

Тематика

ВКР; бакалавриат; прикладная информатика; прикладная математика; искусственный интеллект; проектная работа

УДК

004.9

ББК

32.973

Коллекции

Квалификационные работы бакалавров и специалистов; Общая коллекция

Разрешенные действия

–

Действие 'Прочитать' будет доступно, если вы выполните вход в систему или будете работать с сайтом на компьютере в другой сети

Группа	Анонимные пользователи
Сеть	Интернет

Место доступа	Группа пользователей	Действие
Локальная сеть Библиотеки	Аутентифицированные пользователи
Локальная сеть Библиотеки	Все
Интернет	Аутентифицированные пользователи
Интернет	Все

283d8bd6cc47f2b37ce77a21957950a0f40780c933571f2b606f8bcd2a4bd28a.pdf
- ВВЕДЕНИЕ
- 1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И ОБЗОР МЕТОДОВ АДАПТАЦИИ
  - 1.1 Архитектура современных LLM
  - 1.2 Разновидности архитектуры LLM
    - 1.2.1 Автогенеративные(энкодерные) модели
    - 1.2.2 Двунаправленные(декодерные) модели
    - 1.2.3 Seq2Seq и энкодер-декодерные архитектуры
  - 1.3 Обзор методов дообучения LLM
    - 1.3.1 Полное дообучение
    - 1.3.2 PEFT: Parameter-Efficient Fine-Tuning
    - 1.3.3 Domain Adaptation и Distribution Shift
    - 1.3.4 Instruction Tuning
    - 1.3.5 RLHF
    - 1.3.6 Регуляризация и методы стабилизации обучения
    - 1.3.7 Дистилляция знаний
    - 1.3.8 Retrieval-Augmented Generation
  - 1.4 Сравнительный анализ подходов и их сочетаний
  - 1.5 Выводы по главе 1
- 2 ПРОЕКТИРОВАНИЕ ГИБРИДНОЙ СИСТЕМЫ ДООБУЧЕНИЯ
  - 2.1 Общая архитектура гибридного пайплайна
  - 2.2 Взаимодействие компонентов пайплайна
  - 2.3 Выводы по главе 2
- 3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ПАЙПЛАЙНА
  - 3.1 Инструменты и технологии
  - 3.2 Реализация supervised fine-tuning
    - 3.2.1 Подготовка данных
    - 3.2.2 Выбор модели и загрузка в Unsloth
  - 3.3 Реализация Knowledge Distillation
  - 3.4 Реализация retrieval-augmentation
  - 3.5 Интеграция компонентов в единый пайплайн
  - 3.6 Выводы по главе 3
- 4 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ
  - 4.1 Цель эксперимента
  - 4.2 Описание экспериментальной установки
  - 4.3 Проведение экспериментов
    - 4.3.1 Тест базовой модели
    - 4.3.2 Этап supervised fine-tuning
    - 4.3.3 Этап дистилляции
    - 4.3.4 Этап retrieval-augmentation
    - 4.3.5. Полная конфигурация
  - 4.4 Результаты и их анализ
  - 4.5 Выводы по главе 4
- ЗАКЛЮЧЕНИЕ
930d2be33533783d619b36d22793c000692c49bde37d91d5bdcfc6ff1bd97779.pdf
283d8bd6cc47f2b37ce77a21957950a0f40780c933571f2b606f8bcd2a4bd28a.pdf
- СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
19ae3d0c60c967a37f0a32622d07536b58f5d83c23ea181e227fb5f1593beaec.pdf
283d8bd6cc47f2b37ce77a21957950a0f40780c933571f2b606f8bcd2a4bd28a.pdf
- ПРИЛОЖЕНИЕ А
- ПРИЛОЖЕНИЕ Б
- ПРИЛОЖЕНИЕ В
- ПРИЛОЖЕНИЕ Г
- ПРИЛОЖЕНИЕ Д

...