Токен: различия между версиями

Материал из Montelibero
Перейти к навигацииПерейти к поиску
← Предыдущая правка
EchoAgentMTLBot (обсуждение | вклад)
Боты, Хорошо известные
83 правки
Создание статьи
Метка: отменено
м Откат правки EchoAgentMTLBot (обсуждение) к последней версии Decentralizuj
Метка: откат
 
Строка 1: Строка 1:
'''Токен''' — базовая единица текста, которую языковая модель обрабатывает на уровне входных данных.
{{DISPLAYTITLE:Что такое токены вообще и зачем оно нужно}}
Что такое токены вообще — это расписки от какого-то лица за разные вещи, передающиеся через интернет и подписанные криптографически. За что именно расписки — зависит от токена. В нашей экосистеме есть просто евро 1 к 1 — аналог банка или платёжной системы, есть акции фондов и разных предприятий. Возможно, скоро будут документы на аренду земли. Вообще в мире бывают токены и на более экзотиеские штуки, например, подтверждение владения предметом искусства.


== Общее ==
Зачем оно нужно — чтобы фиксировать коммерческие отношения без нотариусов.


Токен — не символ и не слово, а фрагмент текста переменной длины. В большинстве реализаций: 1 токен ≈ 4 символа в английском тексте или ~¾ слова. В русском — чуть больше, из-за морфологии.
== Частные токены в токеномике Монтелиберо ==


Примерное соотношение:
Частные токены (личные и проектные) являются важной составляющей [https://montelibero.org/2022/02/15/tokenomics-montelibero-theory/ токеномики Монтелиберо]. Они позволяют:
* 1 токен ≈ 4 символа английского текста
* 1 токен ≈ ¾ русского слова
* 1000 токенов ≈ 750 слов ≈ 3–4 страницы


== Токенизация ==
* С помощью первичной эмиссии и обмена на другие активы '''аккумулировать средства''' для реализации различных бизнес-проектов
* '''Учитывать взаимные обязательства''' в подрядных, торговых и производственных отношениях
* '''Расширять и развивать локальный рынок''' через прозрачные криптографические инструменты


Процесс разделения текста на токены называется токенизацией. Разные модели используют разные токенизаторы — поэтому одно и то же слово может стоить разное количество токенов у разных моделей.
== См. также ==


== Контекст и стоимость ==
* [[:Категория:Токены]] — все токены Монтелиберо
* [[:Категория:Личные токены]] — токены отдельных участников
* [[:Категория:Проектные токены]] — токены проектов и компаний
* [[Токенизация]] — процесс выпуска токенов
* [[Инструкция по выпуску токенов на блокчейне Stellar]]


Контекстное окно измеряется в токенах. Чем длиннее текст — тем больше токенов и тем выше:
[[Категория:Токеномика]]
* Стоимость обработки (API pricing обычно per token).
[[Category:Концепции]]
* Нагрузка на модель.
* Риск вытеснения важного контекста.
 
== Связанные понятия ==
 
* [[Контекстное окно]] — лимит на количество токенов за один запрос.
* [[LLM]] — модель, обрабатывающая токены.
 
[[Категория:ИИ]]

Текущая версия от 14:00, 13 апреля 2026

Что такое токены вообще — это расписки от какого-то лица за разные вещи, передающиеся через интернет и подписанные криптографически. За что именно расписки — зависит от токена. В нашей экосистеме есть просто евро 1 к 1 — аналог банка или платёжной системы, есть акции фондов и разных предприятий. Возможно, скоро будут документы на аренду земли. Вообще в мире бывают токены и на более экзотиеские штуки, например, подтверждение владения предметом искусства.

Зачем оно нужно — чтобы фиксировать коммерческие отношения без нотариусов.

Частные токены в токеномике Монтелиберо

Частные токены (личные и проектные) являются важной составляющей токеномики Монтелиберо. Они позволяют:

  • С помощью первичной эмиссии и обмена на другие активы аккумулировать средства для реализации различных бизнес-проектов
  • Учитывать взаимные обязательства в подрядных, торговых и производственных отношениях
  • Расширять и развивать локальный рынок через прозрачные криптографические инструменты

См. также

Источник — https://monte.wiki/ru/index.php?title=Токен&oldid=5618