lexical analyzer

الـlexical analyser أو محلل الكلمات وظيفته التعرف على مكونات النص وتصنيفها وأيضاً يساعد في إكتشاف الأخطاء إن وجدت. كل ماتحتاجينه إليه أنك تصنفين كل جزء من النص, مثلاً لو كان لديك :

int foo = 10;

سيحاول البرنامج تحليل النص وتصنيف محتوياته, غالباً بإستخدام الـregex. ويفترض أن تكون نتيجة النص السابق شيء مثل :

int -> نوع بيانات
foo -> إسم
=   -> علامة مساواة
10  -> رقم
;   -> فاصلة منقوطة

طبعاً تضعين شروط عند البحث .مثلاً النص يجب أن يمكن أن يحتوي فقط على حروف وأرقام ,لكن لايبدأ بها, ويُمكن أن يحتوي ويبدأ بعلامة _. تمثيل هذا الكلام بإستخدام الـregex :

[a-zA-Z_][a-zA-Z0-9_]*

أذا وجد رمز مثل %$#@ أو جزء لاينطبق عليه أي من القواعد التي وضعتيها فسيعتبره خطأ نحوي في النص.

"نوع بيانات" و "إسم" و "علامة مساواة" هذه تصنيفات tokens أنت تضعينها ولايشترط أن تكون أرقام إلا أن إستخدام الأرقام أبسط. عادة في لغات C/C++ تستخدم الـenum, وهي فعلياً أرقام:

enum Tokens {
    DATATYPE_INT,
    NAME,
    SYMBOL_ASSIGNMENT,
    NUMBER,
    SYMBOL_SEMICOLON,
};

شكراً لك ياسيد

طيب لما يخلص lexical من ملف الكود كامل وش يصير يحفظ التوكنات في ملف اخر ؟

بعد تمام عمل ال Lexer يتم تغذية ال Parser بال tokens ثم يتم إنشاء ال AST.