• SPbSPU
    Electronic Library

Login
Search manual

Details

Дудник, Алексей Валерьевич. Программная реализация гибридной системы дообучения больших языковых
моделей с использованием supervised fine-tuning, distillation и retrieval-augmentation [Электронный ресурс]: выпускная квалификационная работа бакалавра по направлению подготовки 01.03.02 Прикладная математика и информатика.
Направленность (профиль): Искусственный интеллект и машинное обучение в создании цифровых двойников / А. В. Дудник, И. А. Калимуллин; Уфимский университет науки и технологий (УУНиТ), Стерлитамакский филиал, Факультет математики и информационных технологий, Кафедра математического моделирования, научный руководитель А. А. Акимов. — Стерлитамак, 2025. — 51 с.: прил. — <URL:https://elib.bashedu.ru/dl/diplom/SF/2025/FMIT/DudnikAV_01.03.02_PMI_bak_2025_VKR.pdf>.

Record create date

7/15/2025

Subject

ВКР; бакалавриат; прикладная информатика; прикладная математика; искусственный интеллект; проектная работа

UDC

004.9

LBC

32.973

Collections

Квалификационные работы бакалавров и специалистов; Общая коллекция

Allowed Actions

–

Action 'Read' will be available if you login or access site from another network

Group Anonymous
Network Internet
Network User group Action
Library BashGU Local Network Authenticated users
Read
Library BashGU Local Network All
Internet Authenticated users
Read
Internet All
  • 283d8bd6cc47f2b37ce77a21957950a0f40780c933571f2b606f8bcd2a4bd28a.pdf
    • ВВЕДЕНИЕ
    • 1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И ОБЗОР МЕТОДОВ АДАПТАЦИИ
      • 1.1 Архитектура современных LLM
      • 1.2 Разновидности архитектуры LLM
        • 1.2.1 Автогенеративные(энкодерные) модели
        • 1.2.2 Двунаправленные(декодерные) модели
        • 1.2.3 Seq2Seq и энкодер-декодерные архитектуры
      • 1.3 Обзор методов дообучения LLM
        • 1.3.1 Полное дообучение
        • 1.3.2 PEFT: Parameter-Efficient Fine-Tuning
        • 1.3.3 Domain Adaptation и Distribution Shift
        • 1.3.4 Instruction Tuning
        • 1.3.5 RLHF
        • 1.3.6 Регуляризация и методы стабилизации обучения
        • 1.3.7 Дистилляция знаний
        • 1.3.8 Retrieval-Augmented Generation
      • 1.4 Сравнительный анализ подходов и их сочетаний
      • 1.5 Выводы по главе 1
    • 2 ПРОЕКТИРОВАНИЕ ГИБРИДНОЙ СИСТЕМЫ ДООБУЧЕНИЯ
      • 2.1 Общая архитектура гибридного пайплайна
      • 2.2 Взаимодействие компонентов пайплайна
      • 2.3 Выводы по главе 2
    • 3 ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ПАЙПЛАЙНА
      • 3.1 Инструменты и технологии
      • 3.2 Реализация supervised fine-tuning
        • 3.2.1 Подготовка данных
        • 3.2.2 Выбор модели и загрузка в Unsloth
      • 3.3 Реализация Knowledge Distillation
      • 3.4 Реализация retrieval-augmentation
      • 3.5 Интеграция компонентов в единый пайплайн
      • 3.6 Выводы по главе 3
    • 4 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ
      • 4.1 Цель эксперимента
      • 4.2 Описание экспериментальной установки
      • 4.3 Проведение экспериментов
        • 4.3.1 Тест базовой модели
        • 4.3.2 Этап supervised fine-tuning
        • 4.3.3 Этап дистилляции
        • 4.3.4 Этап retrieval-augmentation
        • 4.3.5. Полная конфигурация
      • 4.4 Результаты и их анализ
      • 4.5 Выводы по главе 4
    • ЗАКЛЮЧЕНИЕ
  • 930d2be33533783d619b36d22793c000692c49bde37d91d5bdcfc6ff1bd97779.pdf
  • 283d8bd6cc47f2b37ce77a21957950a0f40780c933571f2b606f8bcd2a4bd28a.pdf
    • СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
  • 19ae3d0c60c967a37f0a32622d07536b58f5d83c23ea181e227fb5f1593beaec.pdf
  • 283d8bd6cc47f2b37ce77a21957950a0f40780c933571f2b606f8bcd2a4bd28a.pdf
    • ПРИЛОЖЕНИЕ А
    • ПРИЛОЖЕНИЕ Б
    • ПРИЛОЖЕНИЕ В
    • ПРИЛОЖЕНИЕ Г
    • ПРИЛОЖЕНИЕ Д
...