Токен — универсальное понятие в информационных технологиях, которое в разных контекстах обозначает разные сущности. В искусственном интеллекте токен является минимальной единицей текста, которую обрабатывает языковая модель. В информационной безопасности токен используется как цифровой идентификатор или временный ключ для подтверждения прав доступа. В моделировании бизнес-процессов токен обозначает состояние процесса и показывает, на каком этапе находится выполнение модели.
Таким образом, несмотря на одинаковое название, токены в разных областях ИТ выполняют принципиально разные функции: представляют данные для обработки, подтверждают право доступа или отражают состояние процесса.
- Разные значения термина «токен». Таблица
- Токены в ИИ и LLM
- Токены для аутентификации и API-интеграции
- Access Token — токен доступа
- Refresh Token — токен обновления
- Session Token — токен сессии
- JWT — JSON Web Token
- MFA / 2FA Token — токен многофакторной аутентификации
- Токены в моделировании процессов и сетях Петри
- Токены сессии
- Аппаратные токены и токены электронной подписи
- Токены в блокчейне
Разные значения термина «токен». Таблица
Таким образом, термин «токен» используется в ИТ для обозначения совершенно разных объектов:
| Вид токена | Область применения | Что представляет собой | Основное назначение |
|---|---|---|---|
| Токен LLM | ИИ и искусственный интеллект | Единица текста | Представление и обработка текста языковой моделью |
| Access Token | Аутентификация и API | Цифровой маркер доступа | Подтверждение права доступа к API или защищенному ресурсу |
| Refresh Token | Аутентификация и API | Токен для обновления Access Token | Получение нового токена доступа без повторной аутентификации пользователя |
| Session Token | Веб-приложения | Идентификатор пользовательской сессии | Связывание запросов с активной сессией пользователя |
| JWT (JSON Web Token) | API и распределенные системы | Структурированный формат передачи утверждений | Передача информации о пользователе, правах и сроке действия токена |
| CSRF Token | Информационная безопасность | Уникальный защитный маркер | Защита веб-приложения от подделки межсайтовых запросов |
| MFA / 2FA Token | Многофакторная аутентификация | Одноразовый код или другой фактор подтверждения | Подтверждение личности пользователя дополнительным фактором |
| Аппаратный токен безопасности | Информационная безопасность | Физическое защищенное устройство | Аутентификация и хранение криптографических ключей |
| Токен электронной подписи | Электронная подпись | Защищенное устройство для хранения закрытого ключа | Создание электронной подписи и защита ключевой информации |
| Токен сети Петри | Моделирование процессов | Элемент, отражающий состояние модели | Моделирование движения процесса и состояния ресурсов |
| Программный токен | Программирование | Минимальная значимая единица исходного кода | Лексический анализ и обработка программного кода |
| Utility Token | Блокчейн | Цифровой токен, предоставляющий определенные права или функции | Получение доступа к сервисам или функциям блокчейн-проекта |
| Security Token | Блокчейн и цифровые активы | Цифровое представление инвестиционного или иного актива | Представление имущественных или инвестиционных прав |
| NFT (Non-Fungible Token) | Блокчейн | Уникальный цифровой токен | Представление уникального цифрового объекта или права |
Общее между этими понятиями — идея представления некоторого состояния или объекта в компактной форме. Однако техническая природа токенов и задачи, которые они решают, принципиально различаются. Поэтому при использовании термина «токен» всегда важно учитывать контекст: искусственный интеллект, информационная безопасность, API-интеграция или моделирование процессов.
Токены в ИИ и LLM
В системах искусственного интеллекта, особенно в LLM (Large Language Models), токен — это единица текста, на которую модель разбивает входные и выходные данные. Токеном может быть целое слово, часть слова, знак препинания, число или другая последовательность символов. Поэтому количество токенов не равно количеству слов или символов.
Грамотное управление контекстом позволяет сокращать объем передаваемой информации и экономить токены.
Языковая модель преобразует входной текст в последовательность токенов, обрабатывает ее и формирует ответ также в виде последовательности токенов. От количества токенов зависят объем контекста, вычислительные затраты и во многих случаях стоимость использования модели через API. Также от этого зависит совокупная стоимость владения проектом или решением.
Например, при работе с LLM ограничения часто задаются не количеством символов или слов, а контекстным окном — максимальным количеством токенов, которое модель может учитывать при обработке запроса и формировании ответа.
В корпоративном ИТ-контуре объем потребляемых токенов напрямую связан с количеством и структурой данных, которые передаются LLM из CRM, BI, ERP, BPM, Low-Code и RPA-систем. Чем больше информации необходимо обработать и чем чаще происходят обращения к модели, тем выше расход токенов, а значит, и совокупная стоимость эксплуатации AI-решения.
Токены для аутентификации и API-интеграции
В информационной безопасности токен — это цифровое значение, которое используется для подтверждения личности, полномочий или права доступа к ресурсу. Токены позволяют системе не передавать при каждом запросе логин и пароль, а использовать специальный идентификатор с заданными правами и сроком действия.
Токены широко применяются при API-интеграции. Например, клиентское приложение после аутентификации получает access token и передает его при обращении к API. Сервер проверяет токен и определяет, разрешено ли клиенту выполнить запрошенную операцию.
Распространенный пример — Bearer Token, который передается в HTTP-запросе в заголовке Authorization. В современных системах также используются OAuth 2.0, OpenID Connect и JWT (JSON Web Token). При этом JWT — конкретный формат представления токена, а OAuth 2.0 — протокол авторизации, то есть эти понятия не следует считать синонимами.
Токены могут иметь ограниченный срок действия, определенные области доступа (scopes) и возможность отзыва. Такой подход позволяет разграничивать права интегрируемых систем и снижать риски, связанные с использованием учетных данных.
Access Token — токен доступа
Access Token — цифровой маркер, который предоставляет пользователю или приложению доступ к определенному ресурсу. Например, при API-интеграции клиент получает токен и передает его при обращении к API. Сервер проверяет токен и определяет, какие операции разрешены его владельцу. Токен обычно имеет ограниченный срок действия и определенный набор прав.
Refresh Token — токен обновления
Refresh Token используется для получения нового Access Token после истечения его срока действия. Это позволяет не запрашивать у пользователя повторную аутентификацию при каждом обновлении токена доступа. Refresh Token обычно имеет более длительный срок действия и должен храниться с повышенными мерами защиты.
Session Token — токен сессии
Session Token идентифицирует активную пользовательскую сессию в веб-приложении. После входа пользователя система создает сессию и связывает ее с токеном. При последующих запросах сервер использует этот токен, чтобы определить пользователя и сохранить состояние его работы в системе.
JWT — JSON Web Token
JWT (JSON Web Token) — стандартизированный формат передачи утверждений между сторонами. В токене могут содержаться идентификатор пользователя, роли, права доступа и срок действия. JWT часто используется в API и распределенных системах. При этом JWT — это именно формат токена, а не самостоятельный протокол аутентификации или авторизации.
MFA / 2FA Token — токен многофакторной аутентификации
MFA (Multi-Factor Authentication) и 2FA (Two-Factor Authentication) могут использовать токены или одноразовые коды для подтверждения дополнительного фактора аутентификации. Например, после ввода пароля пользователь вводит одноразовый код из приложения-аутентификатора или подтверждает вход с помощью аппаратного устройства. Такой механизм повышает безопасность, поскольку одного украденного пароля недостаточно для получения доступа.
Токены в моделировании процессов и сетях Петри
В сетях Петри токен — элемент модели, который показывает текущее состояние процесса. Токены размещаются в позициях сети и перемещаются между ними в результате срабатывания переходов.
Например, в модели процесса согласования документа позиция может соответствовать состоянию «Документ ожидает согласования». Наличие токена в этой позиции означает, что в данный момент процесс находится на соответствующем этапе. После выполнения условия согласования токен перемещается в следующую позицию — например, «Документ согласован».
В отличие от токена в системе аутентификации, токен сети Петри не является ключом доступа. Он представляет состояние или наличие ресурса в модели и используется для анализа последовательности выполнения процесса, параллельных операций, синхронизации и возможных блокировок.
Токены сессии
Session Token (токен сессии) — идентификатор, который связывает пользователя с его текущей сессией в информационной системе. После успешной аутентификации сервер создает сессию и выдает клиенту соответствующий токен. При последующих запросах токен позволяет серверу определить, к какой сессии относится запрос.
Такой механизм широко используется в веб-приложениях. Токен сессии обычно имеет ограниченный срок действия и должен быть защищен от кражи, поскольку его получение злоумышленником может позволить использовать активную пользовательскую сессию.
Аппаратные токены и токены электронной подписи
Аппаратный токен безопасности — физическое устройство, предназначенное для хранения криптографических ключей и выполнения операций аутентификации или электронной подписи. Он может подключаться к компьютеру через USB, использовать NFC или другие интерфейсы.
Особенно важный пример — токен электронной подписи. Такое устройство может хранить закрытый ключ, используемый для создания электронной цифровой подписи (ЭЦП). При подписании документа закрытый ключ не передается в информационную систему в открытом виде: криптографическая операция выполняется непосредственно внутри защищенного устройства.
Токен позволяет использовать ЭЦП для подписания электронных документов, отчетности и других юридически значимых операций. При этом важно различать токен и саму электронную подпись: токен является защищенным средством хранения и использования ключевой информации, а электронная подпись — результатом криптографической операции, подтверждающим авторство и целостность подписанного документа.
В России для работы с электронной подписью применяются специализированные защищенные устройства — например, USB-токены и смарт-карты, предназначенные для хранения ключей электронной подписи. Они используются совместно с криптографическим программным обеспечением, которое обеспечивает создание и проверку электронной подписи.
Токены в блокчейне
В блокчейн-технологиях токен — цифровой объект, который существует в рамках определенной блокчейн-сети и может представлять стоимость, право, доступ к сервису или другой цифровой объект. В отличие от токенов аутентификации, такой токен не подтверждает право пользователя войти в систему — он является цифровым активом или единицей учета определенного права.
Существуют различные виды блокчейн-токенов. Utility Token может предоставлять доступ к определенным функциям или сервисам проекта. Security Token может использоваться для цифрового представления инвестиционного актива. NFT (Non-Fungible Token) представляет уникальный цифровой объект или право и отличается от взаимозаменяемых токенов.
Таким образом, блокчейн добавляет еще одно самостоятельное значение термина «токен»: здесь речь идет уже не о единице текста, ключе доступа или состоянии процесса, а о цифровом активе, записанном в распределенном реестре.
