Значение словосочетания «лексический анализ»
-
В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического разбора входной последовательности символов на распознанные группы — лексемы, с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). В простых случаях понятия «лексема» и «токен» идентичны, но более сложные токенизаторы дополнительно классифицируют лексемы по различным типам («идентификатор», «оператор», «часть речи» и т. п.). Лексический анализ используется в компиляторах и интерпретаторах исходного кода языков программирования, и в различных парсерах слов естественных языков.
Как правило, лексический анализ производится с точки зрения определённого формального языка или набора языков. Язык, а точнее его грамматика, задаёт определённый набор лексем, которые могут встретиться на входе процесса.
Традиционно принято организовывать процесс лексического анализа, рассматривая входную последовательность символов как поток символов. При такой организации процесс самостоятельно управляет выборкой отдельных символов из входного потока.
Распознавание лексем в контексте грамматики обычно производится путём их идентификации (или классификации) согласно идентификаторам (или классам) токенов, определяемых грамматикой языка. При этом любая последовательность символов входного потока (лексема), которая согласно грамматике не может быть идентифицирована как токен языка, обычно рассматривается как специальный токен-ошибка.
Каждый токен можно представить в виде структуры, содержащей идентификатор токена (или идентификатор класса токена) и, если нужно, последовательность символов лексемы, выделенной из входного потока (строку, число и т. д.).
Цель такой конвертации обычно состоит в том, чтобы подготовить входную последовательность для другой программы, например для грамматического анализатора, и избавить его от определения лексических подробностей в контекстно-свободной грамматике (что привело бы к усложнению грамматики).
Источник: Википедия
Делаем Карту слов лучше вместе
Привет! Меня зовут Лампобот, я компьютерная программа, которая помогает делать
Карту слов. Я отлично
умею считать, но пока плохо понимаю, как устроен ваш мир. Помоги мне разобраться!
Спасибо! Я стал чуточку лучше понимать мир эмоций.
Вопрос: хинолин — это что-то нейтральное, положительное или отрицательное?
Нейтральное
Положительное
Отрицательное
Не знаю
Синонимы к словосочетанию «лексический анализ»
Предложения со словосочетанием «лексический анализ»
- Цель лексического анализа – подготовить входную последовательность к грамматическому анализу.
- В своей основе такой метод содержит принципы лексического анализа текста, изучение исторического контекста с целью понять первоначальный смысл написанного автором того или иного отрывка.
- Вначале проводился лексический анализ (специфический словарь данного поэта или прозаика), затем морфологический анализ (стилистические формы и этимология).
- (все предложения)
Цитаты из русской классики со словосочетанием «лексический анализ»
- Не было, следовательно, и критического анализа.
- И что всего замечательнее, в эту достопамятную ночь никто из обывателей не только не был разбужен криком «не потерплю!», но и сам градоначальник, по-видимому, прекратил на время критический анализ недоимочных реестров [Очевидный анахронизм.
- Так прошел и еще год, в течение которого у глуповцев всякого добра явилось уже не вдвое или втрое, но вчетверо. Но по мере того как развивалась свобода, нарождался и исконный враг ее — анализ. С увеличением материального благосостояния приобретался досуг, а с приобретением досуга явилась способность исследовать и испытывать природу вещей. Так бывает всегда, но глуповцы употребили эту"новоявленную у них способность"не для того, чтобы упрочить свое благополучие, а для того, чтоб оное подорвать.
- (все цитаты из русской классики)
Сочетаемость слова «лексический»
Сочетаемость слова «анализ»
Понятия со словосочетанием «лексический анализ»
-
В информатике лексический анализ («токенизация», от англ. tokenizing) — процесс аналитического разбора входной последовательности символов на распознанные группы — лексемы, с целью получения на выходе идентифицированных последовательностей, называемых «токенами» (подобно группировке букв в словах). В простых случаях понятия «лексема» и «токен» идентичны, но более сложные токенизаторы дополнительно классифицируют лексемы по различным типам («идентификатор, оператор», «часть речи» и т. п.). Лексический...
- (все понятия)
Афоризмы русских писателей со словом «анализ»
- Отрицание и анализ расшатали все прежние основы жизни, свергли и свергают почти все авторитеты, даже и авторитеты духа и мысли, и жить приходится жутко, нечем морально!
- Метод науки… — анализ; метод искусства — синтез. Наука путем сравнений, сопоставлений, соотношений пытается разложить явления мира на их составные элементы. Искусство путем аналогий жаждет связать элементы мира в некоторые целые. Наука, следовательно, дает те элементы, из которых творит художник, и искусство начинается там, где наука останавливается.
- Новое надобно созидать в поте лица, а старое само продолжает существовать и твердо держится на костылях привычки. Новое надобно исследовать; оно требует внутренней работы, пожертвований; старое принимается без анализа, оно готово — великое право в глазах людей; на новое смотрят с недоверием, потому что черты его юны, а к дряхлым чертам старого так привыкли, что они кажутся вечными.
- (все афоризмы русских писателей)
Отправить комментарий
Предложения со словосочетанием «лексический анализ»
Цель лексического анализа – подготовить входную последовательность к грамматическому анализу.
В своей основе такой метод содержит принципы лексического анализа текста, изучение исторического контекста с целью понять первоначальный смысл написанного автором того или иного отрывка.
Вначале проводился лексический анализ (специфический словарь данного поэта или прозаика), затем морфологический анализ (стилистические формы и этимология).
- (все предложения)
Синонимы к словосочетанию «лексический анализ»
- синтаксический анализ
- семантический анализ
- грамматический анализ
- лексическая категория
- формальная верификация
- (ещё синонимы...)