# Зачем строить свой ChatGPT, если он уже есть? Разбираемся в LLM «с нуля»!

- Site: VeraPoint News
- Section: Инструменты
- Date: 2026-07-03
- Canonical: https://verapointmedia.com/tools/rasbt-llms-from-scratch/
- Markdown: https://verapointmedia.com/tools/rasbt-llms-from-scratch.md
- Summary: Репозиторий для тех, кто хочет понять LLM изнутри, а не просто пользоваться. Глубокий разбор.
- SEO title: rasbt llms from scratch: практический разбор пользы и ограничений
- SEO description: Репозиторий для тех, кто хочет понять LLM изнутри, а не просто пользоваться. Глубокий разбор
- Target queries: rasbt llms from scratch; rasbt llms from scratch github; что такое rasbt llms from scratch; как использовать rasbt llms from scratch
- Tags: #llm #python #pytorch #from-scratch #deeplearning #education
- Image: https://verapointmedia.com/static/content-assets/tools/rasbt-llms-from-scratch/cover.webp

## Sources

- https://github.com/rasbt/LLMs-from-scratch
- https://amzn.to/4fqvn0D
- https://sebastianraschka.com/images/LLMs-from-scratch-images/cover.jpg?123
- http://mng.bz/orYv

---

Знаете, что меня иногда доводит до легкой оторопи? Вот все вокруг говорят: «ИИ, нейросети, LLM!». А ты спрашиваешь: «Подождите, а как оно работает-то, *на самом деле*?» И в ответ чаще всего: «Ой, это сложно, там магия, главное, что работает!» Вот эта вот «магия», когда ты не понимаешь, что под капотом – она меня, Веру Павловну, прям мучает. Хочется же разобраться!

А тут на глаза попался один репозиторий на GitHub, называется **`rasbt/LLMs-from-scratch`** ([ссылочка, если захотите сами пощупать: github.com/rasbt/LLMs-from-scratch](https://github.com/rasbt/rasbt/LLMs-from-scratch)). Это не очередной инструмент, который позволяет вам *использовать* ИИ, нет. Это настоящий учебник, где вам предлагают *построить* свой собственный, пусть и маленький, но вполне себе работающий, «ChatGPT-подобный» язык модели. Прямо с нуля!

**Кому это точно пригодится?** Всем, кто устал от черных ящиков и хочет наконец-то понять, как вообще устроены большие языковые модели. Студентам, разработчикам, которые хотят не просто дергать API, а копаться в коде. А вот если вам просто нужно быстро получить ответ от ИИ или вы не хотите погружаться в программирование – смело листайте дальше, это не ваша остановка.

## Если просто

Вот смотрите, мы все привыкли к этим большим, умным штукам типа ChatGPT. Задаешь вопрос – получаешь ответ. А что там внутри? Какие механизмы заставляют его так складно говорить и даже рассуждать? Этот репозиторий, по сути, — это такой конструктор, только не из деталек Lego, а из строчек кода на Python. Автор предлагает вам пройти весь путь: от обработки текста и понимания, что такое «внимание» (это, кстати, ключевой механизм в современных LLM, я погуглила – *attention mechanism* – это когда модель при обработке слова смотрит не только на него, а на то, какие еще слова в предложении важны для понимания его смысла, как бы «фокусирует внимание» на главном), до обучения самой модели и ее доработки под конкретные задачи.

Представляете? Никаких готовых монстров-библиотек, которые делают всё за вас. Всё руками, по шажочку. Ну, почти руками – с использованием PyTorch, конечно, но об этом чуть позже. Это как если бы вам дали машину, но не просто, чтобы ездить, а чтобы собрать её с нуля и понять, как работает каждый винтик. Звучит… серьезно, правда?

## Что это решает

Главная "боль", которую этот проект закрывает, – это тот самый дефицит понимания. Мы живём в эпоху, когда ИИ везде, но многие чувствуют себя пассажирами, а не пилотами. Хочется быть не просто пользователем, а человеком, который *понимает*, почему ИИ делает то, что делает. Этот репозиторий превращает абстрактные концепции из статей и лекций в конкретный, осязаемый код. Вы не просто читаете про то, что такое трансформер (это такая архитектура нейросетей, очень популярная для работы с последовательностями, например, текстом), а видите, как он написан, как данные через него проходят, как он "учится".

По сути, это мостик между теоретическими знаниями и практическим применением, но без огромной пропасти в виде необходимости иметь огромные вычислительные мощности и гигантские датасеты, как у Google или OpenAI. Тут всё скромнее, для обучения, но от этого не менее ценно.

## Как попробовать

Чтобы начать, вам понадобится компьютер, интернет и желание немного покопаться.

1.  Открываем терминал и делаем так:
    ```bash
    git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git
    ```
    Это загрузит все файлы репозитория на ваш компьютер.

2.  Дальше – заглядываем в папку `setup`. Там есть отдельный `README.md`, который расскажет, как установить Python и необходимые библиотеки (прежде всего, PyTorch). Не пугайтесь, если вы новичок, там всё расписано.

3.  А дальше начинается самое интересное – открываете файлы `.ipynb` (это так называемые Jupyter Notebooks, там код можно запускать по кусочкам и сразу видеть результат) по главам. Начать, наверное, стоит с главы 2, где про работу с текстом. Каждая глава – это шаг в создании вашей LLM.

Автор, кстати, предупреждает, что это код к книге. То есть, чтобы получить максимальную пользу, было бы неплохо параллельно почитать и саму книгу. Или хотя бы внимательно изучать комментарии в коде – они там очень подробные.

## 3 сценария с примерами

Вот кому и как это может пригодиться на практике:

1.  **Студент-программист, который изучает машинное обучение.**
    *   **Задача:** Понять "внимание" и трансформеры на уровне кода, чтобы не просто заучить теорию, а прочувствовать её.
    *   **Как применить:** Открываете `ch03.ipynb` (глава про "attention mechanisms"). Вы запускаете ячейки, видите, как считается "вес" для каждого слова, как модель определяет, на что "обратить внимание".
    *   **Что получится:** Глубокое понимание одной из ключевых инноваций в LLM, которое не даст никакая лекция. Вы сможете объяснить, почему эти модели такие умные.

2.  **Разработчик, который хочет адаптировать маленькие LLM для специфических задач.**
    *   **Задача:** Научиться дообучать (финтьюнить) модели под свои данные, например, для классификации документов или генерации ответов в определенном стиле.
    *   **Как применить:** Изучаете `ch06.ipynb` (про финтьюнинг для классификации текста) или `ch07.ipynb` (про обучение следовать инструкциям). Берете небольшой свой набор данных, адаптируете код и тренируете модель.
    *   **Что получится:** Вы поймете, как можно взять "базовую" LLM и заставить её работать в вашей уникальной нише, а не использовать общие модели.

3.  **Опытный инженер, который хочет экспериментировать с внутренностями LLM.**
    *   **Задача:** Исследовать, как изменения в архитектуре или процессе обучения влияют на производительность и поведение модели.
    *   **Как применить:** Вы можете взять код из `ch04.ipynb` (реализация GPT) или `ch05.ipynb` (предобучение) и начать менять там слои, функции активации, параметры. Например, заменить тип "внимания" или изменить функцию потерь.
    *   **Что получится:** Это уже настоящая исследовательская работа! Вы сможете тестировать свои гипотезы, создавать уникальные архитектуры для специализированных задач или просто глубоко понимать ограничения и возможности существующих моделей.

## Где можно застрять

Ой, тут есть, где "поскользнуться", уж поверьте мне.

Во-первых, "from scratch" – это не просто так сказано. Это значит, что если у вас нет хотя бы базовых знаний Python и понимания принципов машинного обучения, будет сложно. Автор, конечно, говорит, что PyTorch учить необязательно, но, честно говоря, без него это будет как читать книгу на незнакомом языке. (Кстати, в репозитории есть и Приложение А по PyTorch, что, конечно, очень мило.)

Во-вторых, хоть и заявлено, что код "для обычных ноутбуков", если вы захотите обучить что-то более-менее осмысленное, а не тестовую крохотульку, потребуется серьёзная видеокарта. Даже маленький LLM ест ресурсы, как не в себя.

И ещё. Лицензия. На GitHub указано "NOASSERTION". Я вот, честно говоря, с таким сталкиваюсь нечасто. Это значит, что автор не заявил конкретную лицензию. А если вы захотите использовать этот код в каком-то своём проекте, особенно коммерческом, тут могут возникнуть вопросы. Это, по-моему, немного странно. Обычно лицензию указывают сразу, чтобы всё было понятно. Ну и ну!

## Кому это нужно

*   Студентам и преподавателям, ищущим практические материалы для обучения по глубокому обучению и LLM.
*   Разработчикам, которые хотят перейти от использования готовых API к пониманию и модификации внутренних механизмов LLM.
*   Тем, кто устал от "черных ящиков" и хочет наконец-то понять, как *действительно* работают GPT-подобные модели.
*   Исследователям, которым нужна чистая, хорошо документированная кодовая база для экспериментов с архитектурами трансформеров.

## Кому это не нужно

*   Тем, кто ищет готовый к использованию, мощный LLM для своих задач без погружения в код.
*   Пользователям, которые хотят просто "поговорить" с ИИ или использовать его как инструмент без технических деталей.
*   Людям, у которых нет времени или желания изучать Python и PyTorch.
*   Тем, кто ждет, что запуск этого репозитория сразу даст им аналог ChatGPT-4 на домашнем компьютере. Это учебный проект, а не промышленное решение.

## Вердикт Веры

Знаете, я вот иногда смотрю на весь этот хайп вокруг ИИ, на эти бесконечные "прорывы" и думаю: а сколько людей *на самом деле* понимают, что происходит? Вот этот репозиторий – это не про хайп, это про фундаментальное понимание. И это, по-моему, очень ценно.

Конечно, маркетинговая обёртка в виде книги и видеокурса налицо. И эти "from scratch" в 2024 году, когда каждый пытается сделать свои инструменты максимально высокоуровневыми, звучат немного вызовом. Но если вы чувствуете, что вам не хватает глубины, что вы хотите не просто жать на кнопки, а *понимать*, как всё устроено, то этот проект – настоящее сокровище.

Я вот, честно, удивляюсь, сколько сил вложено в такой образовательный материал. И хотя я сама не программист, но мне даже интересно, насколько эти знания потом пригодятся. Ведь одно дело — пользоваться, другое — знать, как сделано. Это же совсем другое отношение к технологии, правда?

## Что читать дальше

- [Все материалы про AI-инструменты](/topics/ai-tools/)
- [Как отличить рабочий AI-инструмент от красивой демки](https://verapointmedia.com/guides/kak-otlichit-rabochiy-ai-instrument-ot-krasivoy-demki/)
- [Superpowers: как управлять ИИ-агентами в команде](https://verapointmedia.com/tools/obra-superpowers/)
- [React Doctor — линтер для ассистентов, чтобы они не портили код](https://verapointmedia.com/tools/millionco-react-doctor/)

## Материалы

- [rasbt/LLMs-from-scratch] rasbt/LLMs-from-scratch: https://github.com/rasbt/LLMs-from-scratch
- [amzn.to] supporting context: https://amzn.to/4fqvn0D
- [sebastianraschka.com] supporting context: https://sebastianraschka.com/images/LLMs-from-scratch-images/cover.jpg?123
- [mng.bz] supporting context: http://mng.bz/orYv