Токен — универсальное понятие в информационных технологиях, которое в разных контекстах обозначает разные сущности. В искусственном интеллекте токен является минимальной единицей текста, которую обрабатывает языковая модель. В информационной безопасности токен используется как цифровой идентификатор или временный ключ для подтверждения прав доступа. В моделировании бизнес-процессов токен обозначает состояние процесса и показывает, на каком этапе находится выполнение модели.
Таким образом, несмотря на одинаковое название, токены в разных областях ИТ выполняют принципиально разные функции: представляют данные для обработки, подтверждают право доступа или отражают состояние процесса.
- Разные значения термина «токен». Таблица
- Токены в ИИ и LLM
- Токены для аутентификации и API-интеграции
- Access Token — токен доступа
- Refresh Token — токен обновления
- Session Token — токен сессии
- JWT — JSON Web Token
- MFA / 2FA Token — токен многофакторной аутентификации
- Токены в моделировании процессов и сетях Петри
- Токены сессии
- Аппаратные токены и токены электронной подписи
- Токены в блокчейне
Разные значения термина «токен». Таблица
Таким образом, термин «токен» используется в ИТ для обозначения совершенно разных объектов:
| Вид токена | Область применения | Что представляет собой | Основное назначение |
|---|---|---|---|
| Токен LLM | ИИ и искусственный интеллект | Единица текста | Представление и обработка текста языковой моделью |
| Access Token | Аутентификация и API | Цифровой маркер доступа | Подтверждение права доступа к API или защищенному ресурсу |
| Refresh Token | Аутентификация и API | Токен для обновления Access Token | Получение нового токена доступа без повторной аутентификации пользователя |
| Session Token | Веб-приложения | Идентификатор пользовательской сессии | Связывание запросов с активной сессией пользователя |
| JWT (JSON Web Token) | API и распределенные системы | Структурированный формат передачи утверждений | Передача информации о пользователе, правах и сроке действия токена |
| CSRF Token | Информационная безопасность | Уникальный защитный маркер | Защита веб-приложения от подделки межсайтовых запросов |
| MFA / 2FA Token | Многофакторная аутентификация | Одноразовый код или другой фактор подтверждения | Подтверждение личности пользователя дополнительным фактором |
| Аппаратный токен безопасности | Информационная безопасность | Физическое защищенное устройство | Аутентификация и хранение криптографических ключей |
| Токен электронной подписи | Электронная подпись | Защищенное устройство для хранения закрытого ключа | Создание электронной подписи и защита ключевой информации |
| Токен сети Петри | Моделирование процессов | Элемент, отражающий состояние модели | Моделирование движения процесса и состояния ресурсов |
| Программный токен | Программирование | Минимальная значимая единица исходного кода | Лексический анализ и обработка программного кода |
| Utility Token | Блокчейн | Цифровой токен, предоставляющий определенные права или функции | Получение доступа к сервисам или функциям блокчейн-проекта |
| Security Token | Блокчейн и цифровые активы | Цифровое представление инвестиционного или иного актива | Представление имущественных или инвестиционных прав |
| NFT (Non-Fungible Token) | Блокчейн | Уникальный цифровой токен | Представление уникального цифрового объекта или права |
Общее между этими понятиями — идея представления некоторого состояния или объекта в компактной форме. Однако техническая природа токенов и задачи, которые они решают, принципиально различаются. Поэтому при использовании термина «токен» всегда важно учитывать контекст: искусственный интеллект, информационная безопасность, API-интеграция или моделирование процессов.
Токены в ИИ и LLM
В системах искусственного интеллекта, особенно в LLM (Large Language Models), токен — это единица текста, на которую модель разбивает входные и выходные данные. Токеном может быть целое слово, часть слова, знак препинания, число или другая последовательность символов. Поэтому количество токенов не равно количеству слов или символов.
Языковая модель преобразует входной текст в последовательность токенов, обрабатывает ее и формирует ответ также в виде последовательности токенов. От количества токенов зависят объем контекста, вычислительные затраты и во многих случаях стоимость использования модели через API.
Например, при работе с LLM ограничения часто задаются не количеством символов или слов, а контекстным окном — максимальным количеством токенов, которое модель может учитывать при обработке запроса и формировании ответа.
Токены доступа
Токены для аутентификации и API-интеграции
В информационной безопасности токен — это цифровое значение, которое используется для подтверждения личности, полномочий или права доступа к ресурсу. Токены позволяют системе не передавать при каждом запросе логин и пароль, а использовать специальный идентификатор с заданными правами и сроком действия.
Токены широко применяются при API-интеграции. Например, клиентское приложение после аутентификации получает access token и передает его при обращении к API. Сервер проверяет токен и определяет, разрешено ли клиенту выполнить запрошенную операцию.
Распространенный пример — Bearer Token, который передается в HTTP-запросе в заголовке Authorization. В современных системах также используются OAuth 2.0, OpenID Connect и JWT (JSON Web Token). При этом JWT — конкретный формат представления токена, а OAuth 2.0 — протокол авторизации, то есть эти понятия не следует считать синонимами.
Токены могут иметь ограниченный срок действия, определенные области доступа (scopes) и возможность отзыва. Такой подход позволяет разграничивать права интегрируемых систем и снижать риски, связанные с использованием учетных данных.
Access Token — токен доступа
Access Token — цифровой маркер, который предоставляет пользователю или приложению доступ к определенному ресурсу. Например, при API-интеграции клиент получает токен и передает его при обращении к API. Сервер проверяет токен и определяет, какие операции разрешены его владельцу. Токен обычно имеет ограниченный срок действия и определенный набор прав.
Refresh Token — токен обновления
Refresh Token используется для получения нового Access Token после истечения его срока действия. Это позволяет не запрашивать у пользователя повторную аутентификацию при каждом обновлении токена доступа. Refresh Token обычно имеет более длительный срок действия и должен храниться с повышенными мерами защиты.
Session Token — токен сессии
Session Token идентифицирует активную пользовательскую сессию в веб-приложении. После входа пользователя система создает сессию и связывает ее с токеном. При последующих запросах сервер использует этот токен, чтобы определить пользователя и сохранить состояние его работы в системе.
JWT — JSON Web Token
JWT (JSON Web Token) — стандартизированный формат передачи утверждений между сторонами. В токене могут содержаться идентификатор пользователя, роли, права доступа и срок действия. JWT часто используется в API и распределенных системах. При этом JWT — это именно формат токена, а не самостоятельный протокол аутентификации или авторизации.
MFA / 2FA Token — токен многофакторной аутентификации
MFA (Multi-Factor Authentication) и 2FA (Two-Factor Authentication) могут использовать токены или одноразовые коды для подтверждения дополнительного фактора аутентификации. Например, после ввода пароля пользователь вводит одноразовый код из приложения-аутентификатора или подтверждает вход с помощью аппаратного устройства. Такой механизм повышает безопасность, поскольку одного украденного пароля недостаточно для получения доступа.
Токены в моделировании процессов и сетях Петри
В сетях Петри токен — элемент модели, который показывает текущее состояние процесса. Токены размещаются в позициях сети и перемещаются между ними в результате срабатывания переходов.
Например, в модели процесса согласования документа позиция может соответствовать состоянию «Документ ожидает согласования». Наличие токена в этой позиции означает, что в данный момент процесс находится на соответствующем этапе. После выполнения условия согласования токен перемещается в следующую позицию — например, «Документ согласован».
В отличие от токена в системе аутентификации, токен сети Петри не является ключом доступа. Он представляет состояние или наличие ресурса в модели и используется для анализа последовательности выполнения процесса, параллельных операций, синхронизации и возможных блокировок.
Токены сессии
Session Token (токен сессии) — идентификатор, который связывает пользователя с его текущей сессией в информационной системе. После успешной аутентификации сервер создает сессию и выдает клиенту соответствующий токен. При последующих запросах токен позволяет серверу определить, к какой сессии относится запрос.
Такой механизм широко используется в веб-приложениях. Токен сессии обычно имеет ограниченный срок действия и должен быть защищен от кражи, поскольку его получение злоумышленником может позволить использовать активную пользовательскую сессию.
Аппаратные токены и токены электронной подписи
Аппаратный токен безопасности — физическое устройство, предназначенное для хранения криптографических ключей и выполнения операций аутентификации или электронной подписи. Он может подключаться к компьютеру через USB, использовать NFC или другие интерфейсы.
Особенно важный пример — токен электронной подписи. Такое устройство может хранить закрытый ключ, используемый для создания электронной цифровой подписи (ЭЦП). При подписании документа закрытый ключ не передается в информационную систему в открытом виде: криптографическая операция выполняется непосредственно внутри защищенного устройства.
Токен позволяет использовать ЭЦП для подписания электронных документов, отчетности и других юридически значимых операций. При этом важно различать токен и саму электронную подпись: токен является защищенным средством хранения и использования ключевой информации, а электронная подпись — результатом криптографической операции, подтверждающим авторство и целостность подписанного документа.
В России для работы с электронной подписью применяются специализированные защищенные устройства — например, USB-токены и смарт-карты, предназначенные для хранения ключей электронной подписи. Они используются совместно с криптографическим программным обеспечением, которое обеспечивает создание и проверку электронной подписи.
Токены в блокчейне
В блокчейн-технологиях токен — цифровой объект, который существует в рамках определенной блокчейн-сети и может представлять стоимость, право, доступ к сервису или другой цифровой объект. В отличие от токенов аутентификации, такой токен не подтверждает право пользователя войти в систему — он является цифровым активом или единицей учета определенного права.
Существуют различные виды блокчейн-токенов. Utility Token может предоставлять доступ к определенным функциям или сервисам проекта. Security Token может использоваться для цифрового представления инвестиционного актива. NFT (Non-Fungible Token) представляет уникальный цифровой объект или право и отличается от взаимозаменяемых токенов.
Таким образом, блокчейн добавляет еще одно самостоятельное значение термина «токен»: здесь речь идет уже не о единице текста, ключе доступа или состоянии процесса, а о цифровом активе, записанном в распределенном реестре.
