지난번에 나는 너희들에게 내가 왜 이런 프로그래밍 언어를 해야 하는지, 그리고 내가 어떻게 해야 하는지를 알려주었다.여기서 우리는 코드 파일을 읽고 그것을 사용하기 시작할 것이다.
프로그래밍 언어의 코드를 평가할 때 원본 텍스트를 계속 사용할 수 없습니다.봐라, 텍스트를 처리하는 것은 매우 비싸다. 예를 들어, 텍스트를 처리하는 것은 비교적 느리다.잊지 마라, 무거워, 내가 너에게 어떻게 하는지 알려줄게.
코드에 모듈 (함수 집합) 이 있다고 가정하십시오.

module  my_module {

    function say_hello() {
        let name = my_module.get_name()
        print("Hello, ${name}!")
    }

    function get_name() {
        print("What is your name? ")
        let name = get_input()
        return name
    }

}

그런 다음 다음과 같이 모듈에서 함수를 호출했다고 가정합니다.

my_module.say_hello()

텍스트만 사용할 경우 파일에서 my_module 모듈을 검색한 다음 함수say_hello를 검색해야 합니다.좋아, 너는 이 기능을 가지고 있어.문제는 이 함수 내부에 쌍my_module.get_name의 호출이 있다는 것이다.그래서 파일에서 이 모듈을 다시 찾아야 해요. 그리고 이 모듈에서 함수를 찾아야 해요...

원본 텍스트를 처리하는 것이 더 느려질 수 있다는 것을 깨달았다.물론 현대 하드웨어에 얼마나 걸리는지 두 가지 기능만 있다고 말할 수도 있다.네가 옳다. 이 예에서 오래 걸리지 않을 것이다.그러나 코드 파일은 보통 상당히 길기 때문에 큰 파일에서 한 번 또 한 번 이렇게 하는 데 시간이 오래 걸린다는 것을 너도 알고 있다.
이것이 바로 우리가 텍스트를 계속 직접 처리하고 싶지 않은 이유이다.우리는 코드에서 메모리의 추상을 구축한 다음에 추상을 바탕으로 추상을 구축하여 우리의 프로그래밍 언어를 더욱 쉽게 만들 수 있도록 텍스트를 한 번 읽었다.첫 번째 단계는 어법 분석이라고 한다.
어법 분석에서, 우리는 텍스트 형식으로 원시 코드를 두루 훑어보고, 이를 표기로 변환하는데, 이것은 우리가 만들 수 있는 가장 작은 추상적인 단계이다. (내가 아는 바에 의하면)
내가 너에게 간단한 표현식이 어떻게 표시되는지 알려줄게.간단한 표현을 고려합니다.

(+ 2 5)

다음과 같이 토큰 흐름으로 전환해야 합니다.

[
  Token { kind: OpenParen, value: None },
  Token { kind: Plus, value: None },
  Token { kind: Literal(Number), value: 2.0 },
  Token { kind: Literal(Number), value: 5.0 },
  Token { kind: CloseParen, value: None }
]

나는 이 단계를 완성하기 위해 몇 가지 방법을 연구했다.하나는 단독 어법 분석기를 작성하는 것이고, 다른 하나는 해석기 조합기를 작성하는 것이다.해석기 조합기는 놀랍지만 내가 가고 싶었던 길은 아니었다.그 밖에 나는 원본 파일을 문자별로 스캔하는 것에 흥미가 없어서, 이 일을 간소화하기 위해 라이브러리를 찾기 시작했다.그때 나는 우연히 표지를 발견했다.

마시예르츠 / 표식

터무니없이 빠른 어휘량을 창조해 내다

표식

터무니없이 빠른 어휘량을 창조해 내다.
로고는 두 가지 목표가 있다.

Lexer를 쉽게 만들 수 있으므로 보다 복잡한 문제에 집중할 수 있습니다.

손으로 쓴 것보다 생성된 렉서가 빠르다.

이러한 목표를 실현하기 위해 로고:

모든 영패의 정의를 하나로 합친다deterministic state machine.

분기를 lookup tables 또는 jump tables로 최적화합니다.

내부 영패 정의를 막는다.

backtracking 경계 검사를 최소화하기 위해 대량으로 읽습니다.

컴파일할 때 이 모든 번거로운 작업을 완성한다.

예.

use logos::Logos
#[derive(Logos, Debug, PartialEq)]
enum Token {
    // Tokens can be literal strings, of any length.
    #[token("fast")]
    Fast
    #[token(".")]
    Period
    // Or regular expressions.
    #[regex("[a-zA-Z]+")]
    Text
    // Logos requires one token variant to handle errors,
    // it can be named anything you wish.
    #[error]
    // We can also use this variant to define whitespace,

…

It is a library that generates optimised, fast lexers and that are extremely easy to use. Since they claim to generate lexers that are faster than anything I could write by hand, and is used by lots of people, I guess I gotta take their word for it. They also promised that it will be extremely easy to use, and what do you know, it really is.

It is as easy as mapping an enum value to a string or regex expression, and Logos does everything for you.