الفكرة الثانية : تطبيق تشكيل الكلمات العربية

السلام عليكم ورحمة الله

الاسم عبد الحميد الابراهيمي

من الجزائر

سنة الثانية ماستار تخصص نمادج دكية و قرار

سنشارككم المسابقة ان شاء الله

و ربما ستكون موضوع مدكرتي

قولو ان شاء الله

ربما ستفيدكم خدمة تشكيل الحرة خصوصا المعاجم ، من هنا:

http://tashkeel.qutrub.org/

هذا المشروع يحتاج إلى اطلاع وبحث وتحليل أكثر بكثير من مجرد برمجة، لو لم يكن من هذه المسابقة فائدة سوى تشجيعي شخصيا على البحث والاطلاع في الموضوع لكفى، ما زلت أحاول التقدم في العمل رغم الصعوبات علماً بأني لم أنجز سوى بعض المقدمات التي من الممكن أن تساعد لاحقاً في إنجاز التشكيل الإعرابي. أهم المقدمات باعتقادي هي إنجاز (محلل صرفي) يمكن الاعتماد عليه ولو بنسبة 70%، ما زلت أحاول إنجاز هذا الجزء والعمل معقد جدا بتعقيد علم الصرف ولكن ما أنا متأكد منه بإني سوف أنجز هذا العمل ولو بعد حين...

بوركتم...

هل من الممكن وضع بعض أمثلة على الجمل التي سوف يتم اختبار البرنامج على أساسها؟

تحياتي

لا أعتقد أني سأضع جمل حتى لا أحد من إبداعكم

توقعوا كل شيء

تحياتي

ربنا يبارك فيكم يارب ويوفقكم

بجد احساس رائع وموضع فخر ليا شخصيا اننى انتمى الى الصرح الفكرى الرائع(منتدى الفريق العربى)

والابداعات ماشاءالله رهيبه وموفقين باذن الله

الى الامام دائما ومن نجاح لنجاح

بقيت أيام قليلة على التسليم وما زلت أعمل على المحلل الصرفي، الآن أصبح أفضل بكثير من قبل ولكن ما زال يحتاج لبعض الخواص المهمة مثل التعامل مع الأفعال والأسماء المعتلة، وبعدها سوف أبدأ العمل على المحلل الإعرابي الذي هو الأساس في تقييم العمل بالنسبة للمسابقة، لست واثق من أني سأستطيع دخول المسابقة ولكن على كل حال سأواصل مشوار العمل بما أوتيت من وقت وأنا فعلا استمتع بذلك وسأعلمكم بالنتائج فور الانتهاء. شكرا لكم على هذه الفرصة وعلى هذا التشجيع.

HelloWorld كتب:

بقيت أيام قليلة على التسليم وما زلت أعمل على المحلل الصرفي، الآن أصبح أفضل بكثير من قبل ولكن ما زال يحتاج لبعض الخواص المهمة مثل التعامل مع الأفعال والأسماء المعتلة، وبعدها سوف أبدأ العمل على المحلل الإعرابي الذي هو الأساس في تقييم العمل بالنسبة للمسابقة، لست واثق من أني سأستطيع دخول المسابقة ولكن على كل حال سأواصل مشوار العمل بما أوتيت من وقت وأنا فعلا استمتع بذلك وسأعلمكم بالنتائج فور الانتهاء. شكرا لكم على هذه الفرصة وعلى هذا التشجيع.

أضف ما توصلت له أخي ، لا تبقي شيء لديك ،

سيتم مراجعة جميع المشاريع و اختيار الأفضل ، المشاريع التي لم تنجح سندعمها قدر الإمكان لتستمر .

بم أن اليوم هو آخر أيام المسابقة وقد أوشك على الانتهاء، فلا مجال لعمل المزيد

لم يسعفني الوقت للوصول بالمشروع للمستوى الذي كنت أريده، ربما لأني بذلت مجهودا في أشياء ليست مطلوبة في المسابقة ولم أركز على المطلوب بالشكل الكافي، وبسبب انشغالي في الأيام الأخيرة للمسابقة لم أتمكن من تطوير محلل نحوي جيد ولم أكمل الجزء الخاص بالتحليل الصرفي.

لقد قمت برفع الكود المصدري للمشروع على موقع SourceForge ويمكن تنزيله من هنا:

http://sourceforge.net/projects/mansour/files/

المشروع عبارة عن تطبيق سطح مكتب مبرمج بلغة C# بمكتبات .net framework 4 والواجهة بـ WPF.

قاعدة البيانات من نوع Microsoft jet (Access)

يمكن للبرنامج أن يحلل الكلمات تحليلا صرفيا ويظهر احتمالات التشكيل ونوع الكلمات وصفاتها من حيث العدد والجنس (من الناحية اللفظية لا الدلالية).

أما من ناحية الضبط الإعرابي فالبرنامج لا زال ضعيفا جدا في هذه الناحية ولا يصلح إلا لتحليل الجمل البسيطة (القصيرة) المكونة من مبتدأ وخبر أو فعل وفاعل أو الجار والمجرور أو إن وأخواتها، أما كان وأخواتها فيتعامل معها كأفعال عادية ترفع فاعلا وتنصب مفعولا به (إذا نجح في تفسيرها).

أوجه النقص الأخرى:

• جدول الأوزان في قاعدة البيانات ينقصه بعض أوزان الأفعال المعتلة والمضعفة التي تتغير عند اتصالها بالضمائر المختلفة، وبعض الأوزان الأخرى للأسماء.
  
• أغلب قائمة الجذور لم تربط بالأوزان الصحيحة لها ، ولذا فإن البرنامج يظهر كل الاحتمالات الممكنة مع محاولة استثناء الأوزان التي لا تتوافق حركاتها مع أحرف الكلمة (وذلك يتعلق بالجذور المعتلة والمهموزة) بعد ذلك تفرز القائمة لتظهر احتمالات التشكيل المبنية على أوزان متوافقة في رأس قائمة الاقتراحات لكن المحلل النحوي قد يغير هذا الترتيب للوصول لاحتمال بمعنى متوافق مع قاعدة إعراب.
  
• خوارزمية التحليل النحوي كانت تتطلب مني المزيد من الوقت لتحسينها واختبارها بالشكل الكافي.
  
• أضفت مزايا إضافية لواجهة البرنامج لكن لم أتم برمجتها بعد (كنت أنوي تأجيلها للنهاية) ولذا فإن أغلب أوامر الواجهة والقوائم لا تؤدي أي وظيفة :excl:! .
  
• أسماء الأعلام مثل "محمد" و"شادي" و"فيصل" لا ينونها البرنامج لأنه يتعامل معها كما يتعامل مع الأسماء المعرفة بـ ال ، لكن يظهر احتمال التشكيل بالتنوين (كأسماء نكرة).
  

هذا ما أتذكره الآن. :unsure:

في النهاية؛ لقد استمتعت كثيرا بالعمل على هذا المشروع ويكفيني شرف المشاركة في مسابقة الفريق العربي للبرمجة بغض النظر عن النتيجة.

وبعيدا عن المسابق فأنا أعتزم الاستمرار في تطوير المشروع، أولا إنهاء الأجزاء الناقصة ثم بعد ذلك العمل على تحسين التحليل النحوي، وربما أحاول إضافة بعض التحليل الدلالي.

لم أقم بعمل نسخة تنفيذية للبرنامج ، آثرت تأجيل ذلك لحين إتمام الوظائف الغير مبرمجة، سأحاول إتمامها في الأيام القليلة المقبلة ، لكن يوجد نسخة تنفيذية متبقية من عمليات التنقيح ضمن مجلد /bin/debug إلى جانب قاعدة البيانات.

بخصوص قاعدة البيانات : ليس كل الجداول مستخدمة في البرنامج.

أود كذلك التنبيه أن قاعدة البيانات وكود التطبيق ليسا خاليين من الأخطاء ، وتحتاج الكثير من التحسينات، هذه الأخطاء ناتجة إما عن عدم تخطيط كاف في البداية أو عدم إلمام بمختلف الجوانب المطلوب التعامل معها. وهناك أشياء أغفلتها أثناء عملي مثل معالجة الاستثاناءات وبعض الجوانب الأخرى.

الأفكار التي اعتمدت عليها تتلخص في:

قاعدة بيانات تحتوي جدولا بأكثر أوزان الكلمات شيوعا تصنف إلى قواعد اشتقاق وجدولا آخر بقائمة مختصرة لجذور الكلمات العربية وجدولا آخر - من المفترض - أن يكون جدولا للقواعد الإعرابية المعرفة بناء على تتابع الكلمات؛ لكن يبدو لي أن هذه الطريقة في التحليل النحوي لن تنتج الكثير بمفردها.

وتحوي أيضا جداول تختص باحتمالات السوابق واللواحق (غير كاملة) وبعض أسماء الأعلام.

تمثيل الحركات في البرنامج (وقاعدة البيانات) يتم باستخدام الأرقام من 0 إلى 9 والحروف A,E,O,U,I لتمثيل التنوين، بينما مكان العلامات الإعرابية يمثل بـ ! للحركات الخفيفة و# للمشددة.

معاني الكلمات (من الناحية الصرفية) تمثل بسلاسل نصية تبدأ بحرف يمثل نوع الكلمة يتبعه سلسلة من الأرقام تعبر كل خانة منها عن صفة معينة، مثلا N122 تعني اسما نكرة مثنى مؤنث.

يتم الدمج بين السوابق واللواحق والأوزان واختبار التوافق بينها على هذا الأساس وعليها أيضا تتم (محاولات) التحليل النحوي.

بارك الله فيك أخي ، سنتواصل معك على الخاص لو احتجنا منك مساعدة في تشغيل التطبيق. ,

أشكر الأخ A_Abuzaid على مشاركته القيمة وحديثه عن تجربته في تطوير البرنامج وقد اطلعت بشكل سريع على برنامجه وهو يستحق الإشادة، وبالرغم من أني لم أشارك في المسابقة لعدم تمكني من استيفاء الحد الأدنى من المتطلبات، ألا أني وجدت في مشروع الأخ A_Abuzaid الكثير من التشابه من حيث أدوات التطوير(#C تطبيقات ويندوز، مع قاعدة بيانات MS-ACCESS) والأفكار التي طبقت بعضها بشكل مبسط وأقل كفاءة، وأخرى كنت بصدد تطبيقها ولم أطبقها إما بسبب الوقت وإما بسبب الحاجة إلى البحث فيها أكثر، وقد أبدع الأخ العزيز في عمله من الناحية البرمجية -ولا يسعني ذكر التفاصيل هنا- وكذلك من حيث الوظائف.

مرة أخرى شكرا له وبالطبع سأستفيد كثيرا من تجربته في تطوير البرنامج مستقبلا لعلني أوفق يوما ما في إثراء المحتوى العربي بشكل عملي بهكذا مشاريع مفيدة.

أخي عبد العزيز هل لك أن تنفعنا بعلمك وتضع سلسلة مقالات عن عملك هذا؟

لم أقم بتقييمي للبرنامج لأني أريد أن أسمع أكثر منك عن عملك وأريد أن يستفيد الإخوة أكثر - من الآخر أريد أن أستغلك :) -

حتى نرقى بمستوى برمجياتنا لما فيه منفعة الإسلام والمسلمين

تحياتي

أخي علاء الصالحي؛ إذا كنت تقصدني فانا اسمي عبد الرحمن واسم عائلتي أبوزيد لهذا أحيانا أكتب اسمي بهذه الصيغة المختصرة.

فيما يتعلق بسؤالك؛ اعلم أخي أنني لازلت مبتدئا جدا في هذا المجال ولم أدرسه دراسة حقيقية بعد وإنما هي مجرد أفكار أهتدي لها وأختبرها؛ فبعضها يصلح وبعضها الآخر يفشل فأبحث له عن بديل، وكلما أتقدم أكتشف أمورا لم أضعها في اعتباري في البداية فأعود وأعدل. ينقصني الكثير من الخبرة في اللغة العربية وفي المعالجة الآلية للغات وكذلك في تقنيات البرمجة خاصة لهذه المشاريع المعقدة، ولهذا سجلت في كورس Natural Language Processing الذي ستقدمه جامعة ستانفورد على الإنترنت بداية من 23 يناير. :calc:

البرنامج لازال به الكثير من الأخطاء أحاول حاليا إصلاحها وإكمال أوجه النقص ، للخروج بالإصدار الأول للبرنامج والهدف فيه أن يكون إن شاء الله قادرا على إعراب مفردات الجمل القصيرة البسيطة.

مع وضع ذلك في الاعتبار، فسأقوم إن شاء الله بإعداد توثيق شامل يشرح الأفكار التي اتبعتها في المشروع وكيفية استخدامه، ونشره هنا في منتديات الفريق العربي للبرمجة لأستفيد من آراء ومقترحات ونقد أعضاء المنتدي الكرام. :)

تقبل تحياتي