إمكانيات البرمجه

يوجد موضوع شبيه جديد يقوم ببناء FAQ من الmailing lists ستجده لو بحثت في spam assassin's mailing list

قام به طالب كمشروع تخرج... لكنه ناقص جدا وحسبما قراته فاشل في رايي

توجد محاولات قديمة على نفس المنوال

توجد محاولات لإيجاد summary اوتوماتيكيا للكتب والنصوص

لكنها صعبة لان الكمبيوتر شاطر جدا في artificial intelligence.... لكنه لايستطيع التعاعمل مع artificial stupidity

واللغات الطبيعية مليئة بالassumptions وتخمينات وتجاوزات والكمبيوتر يجد صعوبة كبيرة في التعامل معها

انت الذي تريد الوصول اليه هو برنامج كمبيوتر يفهم Natural Languages...... وهذا ممكن لكن بجودة سيئة جدا.. اذا اردت شيء دقيق فهذا من اشباه المستحيلات

حاليا توجد عدة تقنيات في Natural Language Processing لكنها متخلفة جدا وبعيدة كل البعد من اي شيء جيد

المشكلة مع اللغات الطبيعية انك لا تستطيع تقسييم الامور بsyntax و grammar فقط

يجب عليك ان تعرف الcontext.... والمصيبة ان فضاء معرفة ال context كبير جدا ويصعب على الحاسوب دراسة جميع الاحتمالات

اقتباس

مثال :

الموضوع : النمله حشره صغيره تعيش على الأرض وتأكل القمح

عند إضافه الموضوع للبرنامج يقوم البرنامج بإعطاء التالي :

المعلومات الجديده :

النمله صفتها حشره , صغيره

تعيش على الأرض

تأكل القمح

وهناك حالات عديدة جدا يكون الcontext مستحيل الفهم بمجرد بناء parsing tree

بل ان parsing tree نفسها تبنى بشكل خاطئ اذا لم يتوضح الcontext

اكتشف البني آدمين بعدم عمليات فشل وارف ان انشاء نظام يدوي بطريقة rule-based فاشلة وصعبة جدا

لهذا السبب افضل شيء هو statistical approach.. وهنا ستحتاج tree bank والذي هو مجموعة statements باي لغة + tagging... ال tagging يوضح اذا الكلمة صفة ولا فعل ولا غيرو.....

وبعد تدريب تحصل على model يقوم بإنشاء parsing tree (يعني يقول هذا صفة او فعل..الخ)... لكنه ايضا فاشل

جرب هذا... الآن down لكن سيستيقض في يوم من الايام

http://nlp.stanford.edu:8080/parser/

هذا يقوم بعمل شبيه مما فعلتها هنا (parsing tree)...

ممكن تجربه حتى تكتشف كم هو غير دقيق

ماتريد الوصول اليه صعب جدا واي محاولة ستكون غير دقيقة اطلاقا

ربما لا يعجبك كلامي لكن هذا الواقع

اقتباس

كنها صعبة لان الكمبيوتر شاطر جدا في artificial intelligence.... لكنه لايستطيع التعاعمل مع artificial stupidity

واللغات الطبيعية مليئة بالassumptions وتخمينات وتجاوزات والكمبيوتر يجد صعوبة كبيرة في التعامل معها

جميع ماتكلمت به تم أخذه في عين الإعتبار , بقد فكرت في اللغه وكيف يمكن أن يفهم الكمبيوتر لغتي , لذلك فكرت في القواعد وأن يكون الموضوع مبني على اللغه العربيه الفصحى ولا يحتوي على قواعد معقدة وتحتمل أكثر من معنى كما أن التشكيل سيكون مهم جدا ليفرق البرنامج بين من بكسر الميم ومن بفتح الميم

اقتباس

ماقمت به هنا parsing tree... وهذا لا يكفي حتى تعرف المعنى لان الcontext ايضا مهم

لا هنا قمت بالربط بين الجمل وتصنيفها , البرنامج سيقوم بتصنيف كل كلمة بناء على موقعها في الجمله وترمجتها لأصلها ومعرفه معناها وربطها مع مواضيع أخرى تم ذكر هذه الكلمه فيها وبناء على ذلك يقوم بالإستنتاج

لماذا فكرت في هذا الموضوع ؟

جووجل قامت على خوارزميه تفهم بنسبه ربما لا تتجاوز الخمسه بالمئه على الإنسان لذلك عندما تبحث عن كلمات مشهوره وتتضمن أكثر من معنى وأكثر من قسم سيقوم جووجل بالبحث بناء على المدخلات الأخرى لتجد أن نتائج البحث فيه أعلى بكثير من نتائج البحث في محركات أخرى

كيف سيتم بناء البرنامج ؟

لن يتم بطرق تقليديه أو نظام تتبع للموضوع ومقارنه كل كلمه , إنما نظام قراءه مثل قراءه الإنسان , يعني أخذ جميع الكلمات بناء على القواعد الأساسيه للغه وترجمه الكلمات إلى مفردات أخرى ومقارنه الموضوع والجمله بمواضيع وجمل أخرى أي أنك كلما وضعت موضوع جديد كلما أصبح البرنامج أكثر سرعه في فهم الموضوع , سأقوم بالعمل مبدئيا على تأسيس البرنامج بالكلمات ومعانيها , بالإضافه لتعليمه القواعد البسيطه مثل حروف الجر والنعت والمبتدأ والخبر وغيرها من القواعد , كما سيتم وضع الفيزياء البسيطه في الإعتبار والعلوم الأخرى ... طبعا هذا لن يكون في يوم وليله وإنما بسنوات :( المهم هو البدء

ما رأيكم فيما سبق ؟

اقتباس

جميع ماتكلمت به تم أخذه في عين الإعتبار , بقد فكرت في اللغه وكيف يمكن أن يفهم الكمبيوتر لغتي , لذلك فكرت في القواعد وأن يكون الموضوع مبني على اللغه العربيه الفصحى ولا يحتوي على قواعد معقدة وتحتمل أكثر من معنى كما أن التشكيل سيكون مهم جدا ليفرق البرنامج بين من بكسر الميم ومن بفتح الميم.

اقتباس

لن يتم بطرق تقليديه أو نظام تتبع للموضوع ومقارنه كل كلمه , إنما نظام قراءه مثل قراءه الإنسان , يعني أخذ جميع الكلمات بناء على القواعد الأساسيه للغه وترجمه الكلمات إلى مفردات أخرى ومقارنه الموضوع والجمله بمواضيع وجمل أخرى

ل

اقتباس

ماذا فكرت في هذا الموضوع ؟

جووجل قامت على خوارزميه تفهم بنسبه ربما لا تتجاوز الخمسه بالمئه على الإنسان لذلك عندما تبحث عن كلمات مشهوره وتتضمن أكثر من معنى وأكثر من قسم سيقوم جووجل بالبحث بناء على المدخلات الأخرى لتجد أن نتائج البحث فيه أعلى بكثير من نتائج البحث في محركات أخرى

لكن انت الذي تريده هو برنامج يقرأ كتابات بني آدمين ويتعلم ..ولا حتى في 50 سنة القادمة يا ابني....

فالذي تريد القيام به هو شيء عام جدا ويندرج تحته الكثير والكثير.. وحتى الآن لا يوجد اي شيء دقيق لما تريد فعله

ممكن تقرأ كتاب عن اللغات الطبيعية وتكتشف الصعوبة الهائلة

او ممكن ايضا تواصل بحثك وتتعلم ببطئ....

(انا متاكد 99.99% من فشل المشروع.. 0.001% تركتها من اجل احتمالات صعبة مثل "ربما تنشق الارض غدا لنصفين")

لكن في كل حال عملتها واثبت ان كلامي وكلام العديدين غيري خطأ، ساكون سعيدا لانها سيكون انجازا علميا عظيما في تاريخ البشرية

اقتباس

ما رأيكم فيما سبق ؟

اعتقد ان هنالك مفهوم اقرب الى ماطلبه الاخ صاحب الموضوع الى هذا البرنامج

وهذا المفهوم يسمى عملية تصنيف النص الى اجزاءه .. او محتواه .. وهو text classification ..

من الممكن ان تعتمد انظمة تسهل في عملية تصميم الخوارزمية

مثلا .. كلمة حشرة من اين اتت ؟؟ اتت من واقع انها مصنفه تحت نوع اعلى مثلا ( حيوانات لنفرض ) .. حيوانات يأتي من تحت كائن حي

اذا حسب عملية تتبع الشجرة من الممكن ان نقول انها حشرة حيوان كائن حي ..

لكن للحشرة لوحدها خصائص

فمثلا كل نوع من الحشرات له غذاءه الخاص وله المكان الذي يتغذى منه .. اذا تحتاج الى وضع تصنيفات اخرى للغذاء مثلا هذه الحشرة ( النملة ) تأكل من فتات الطعام المتساقط

بينما هنالك اخرى تاكل من شئ اخر مثلا اوراق الاشجار

التصنيف هذا ليس هو عملية تصنيف النص .. وانماهي عملية تصنيف او تشجيل الافكار والبيانات المخزونة مسبقا لكي نعرف الاصول

كما في مفهوم شجرة العائلة حيث تبدأ من الابن الاصغر لتصل الى الجد الاكبر

اما بالنسبة لعملية تصنيف النصوص فأقصد بها شئ شبيه بمفهوم الTag اي ان تقوم بعملية ترجمة الكلمات الموجودة في الجملة حسب الsyntax الذي يتقبله البرنامج

عندها تستطيع ان تقوم بفهم ماهو السؤ ال

خارجي :::

لا اعتقد ان الفكرة معقدة للدرجة التي وصفها بها الاخ password .. لكنها صعبه وتحتاج الى وقت لكي تترتب العملية

واعتقد ان الصعوبة تكمن ايضا في بناء قاعدة المعارف knowledge Base حيث انك يجب ان تبني بياناتك بشكل سلس ومنطقي لان المخرجات ستعتمد عليها بشكل كبير

اقتراح ::

من الممكن ان تستخدم فكرة الانظمة الخبيرة .. فمثلا احد الخصائص المشهورة للنظام الخبير هي ان تخزن فيها معلومات شخص خبير ثم بعد ذلك تعطيه الشئ المطلوب ليرد عليك بما هو موجود في القاعدة .. يعني لو سالته نملة ؟ يقول لك حشرة تأكل الطعام وتعيش على الارض

بناء على خبرة اكتسبها من شخص يعرف النمل سابقا

اعتقد هنا الامر اصبح اسهل لكن النظام هذا سيكون بحاجة الى تحديث مستمر

السلام عليكم ،

أخي bastr3 ، من أين سيجمع البرنامج المعلومات؟! هذا سيحدد الكثير ، إذا أضاف له المعلومات أشخاص بأنفسهم ، على شكل جمل ، فهذا سهل مقارنةً بالباقي ، أما إذا جمع المعلومات بنفسه ، فهذا فعلاً لن يكون سهلاً أو بسيطاً ، بل قد يفهم ما قد يصل لعكس المعلومة الصحيحة!

لدي اقتراح ، لماذا لا يكون برنامجك مختصاً بقسم معين ، مثلاً البرمجة ،، يعلم شيئاً من كل مجال (أساسيات المعلومات عموماً) ، و الكثير الكثير عن البرمجة مثلاً ، و إذا سأله شخص ما ،، استطاع أن يجيب على الأسئلة المتعلقة بشيء ما!

اقتباس

(انا متاكد 99.99% من فشل المشروع.. 0.001% تركتها من اجل احتمالات صعبة مثل "ربما تنشق الارض غدا لنصفين")

لكن في كل حال عملتها واثبت ان كلامي وكلام العديدين غيري خطأ، ساكون سعيدا لانها سيكون انجازا علميا عظيما في تاريخ البشرية

طبعا إحباط شديد صابني مع هالمعلومات الجميله ,,, على كل هو برنامج 4 fun يعني مافي سبب حقيقي لإنشاؤه إﻻ إني شفت إنو فكره بدها شغل وبتنشط المخ وقت الفراغ :)

اقتباس

التصنيف هذا ليس هو عملية تصنيف النص .. وانماهي عملية تصنيف او تشجيل الافكار والبيانات المخزونة مسبقا لكي نعرف الاصول

كما في مفهوم شجرة العائلة حيث تبدأ من الابن الاصغر لتصل الى الجد الاكبر

فكرة الشجره من اسس الذكاء الصناعي على ما أظن , فالكثير من البرامج المبنيه على الذكاء الصناعي تعتمد على الشجره في تصنيف البيانات ,

اقتباس

لا اعتقد ان الفكرة معقدة للدرجة التي وصفها بها الاخ password .. لكنها صعبه وتحتاج الى وقت لكي تترتب العملية

عودة الأمل من جديد :)

اقتباس

أخي bastr3 ، من أين سيجمع البرنامج المعلومات؟! هذا سيحدد الكثير ، إذا أضاف له المعلومات أشخاص بأنفسهم ، على شكل جمل ، فهذا سهل مقارنةً بالباقي ، أما إذا جمع المعلومات بنفسه ، فهذا فعلاً لن يكون سهلاً أو بسيطاً ، بل قد يفهم ما قد يصل لعكس المعلومة الصحيحة!

لدي اقتراح ، لماذا لا يكون برنامجك مختصاً بقسم معين ، مثلاً البرمجة ،، يعلم شيئاً من كل مجال (أساسيات المعلومات عموماً) ، و الكثير الكثير عن البرمجة مثلاً ، و إذا سأله شخص ما ،، استطاع أن يجيب على الأسئلة المتعلقة بشيء ما!

جمع المعلومات سيكون بناء على الموجود في الموضوع , طبعا هو من سيقوم بجمع المعلومات ولكن بعدة طرق كما يمكنك أنت أن تجمع المعلومات .. مثلا عندما أقول لك سعر جهاز الماك 2000 دوﻻر أنت تقوم بوضع هذه المعلومه بناء على المصدر فإذا كانت من مصدر عام تكون المعلومه ضمن مشكوك بها , وإذا كانت من موقع ماك تكون المعلومه من ضمن مؤكد , وإذا كانت من مصدر كاذب تكون المعلومه ملغيه , وفي كل الحالات ﻻ تقوم بحذف هذه المعلومه وإنما تضعها للمقارنه والرجوع إليها في حالات كثيره منها التأكد من هذا المصدر والتأكد من تكرار المعلومه وكل مرة تقوم بالرجوع لهذا الموضوع تقوم بتقييمه ليصبح فيما بعد غير مهم ويوضع في الأرشيف وربما بعد شهر ينسى عندها يتم حذفه

الفكره من المشروع هو محاكاة تفكير البشر ولو تم مثل هذا البرنامج لن تكون النتائج فقط بحوث وإجابات عن أسئله إنما سيتعدى ذلك الخيال :) ستتمكن من تحليل أي شيئ تحليلات سياسه , جنائيه , وغيرها الكثير , وللعلم حتى ﻻ ندخل في مرحله الشؤم وعدم القدره على تنفيذ مثل هذه المشاريع على أساس أن الآله ﻻ يمكنها إتخاذ قرارات أو التفكير وبناء نظم , نعم يمكن للآله التفكير وبناء نظم وحتى التطوير من تلقاء نفسها وكل هذا يعتمد على الكود البرمجي لهذه الآله, والعقل يعتبر آله أما من يقول أن هذا مستحيل فالآلات ﻻ أرواح لها أقول له الروح شيء ﻻ يعلمه إﻻ الله والتفكير والمنطق من خصائص الدماغ

تخصيص البرنامج لقسم معين مثل البرمجه ﻻ يعني تسهيل الأمور إنما تعقيدها ... في حال قمنا بعمل البدايه فمن الأفضل ترك البرنامج يأكل كل شيء وﻻ نجبره على علم محدد لأنه سيعتمد على كل معلومه يتلقاها كما أننا سنقوم بتصنيف المواضيع كما ذكرت على أساس موثوقه أو مشكوك بها أو كاذبه وأخيرا مواضيع عامه يجب عليه أن يكتشف تصنيفها هو بناء على المعلومات التي لديه مسبقا

لم لا تدرس مبدا عمل ELIZA ؟؟

الذي هو احد افكار تطبيق مسالة الــ ChatterBot ؟؟

ستكون هنالك مجموعة من الاجوبة المخزونة مسبقا والحصول عليها يتط عن طريق السؤال

وهي ليست الفكرة المطلوبة بالضبط ولكن ستساعد على تنمية افكارك اكثر

اقتباس

لم لا تدرس مبدا عمل ELIZA ؟؟

الذي هو احد افكار تطبيق مسالة الــ ChatterBot ؟؟

ستكون هنالك مجموعة من الاجوبة المخزونة مسبقا والحصول عليها يتط عن طريق السؤال

وهي ليست الفكرة المطلوبة بالضبط ولكن ستساعد على تنمية افكارك اكثر

أشكر لك إهتمامك ولكن هذا ﻻ يعتمد على أي ذكاء صناعي , نحن نتكلم عن تعليم الآله وجعلها تستنتج , والبدايه ستكون في جعل الآله تقرأ وهو أصعب من التعلم والإستنتاج :)

سأبدا في المشروع بما أن المشروع جديد وصعب كما كنت متصور ولكنه غير مستحيل حتى هذه اللحظه ... ربما بعد ثلاثه أشهر إلى سنه أعود لكي أريكم ماتوصلت له :) دعواتكم

أخي bastr3 ، أرجو منك أن تسمح لي - و لغيري - بمعرفة التقنيات أو اللغات التي قد تستخدمها في مشروعك هذا..

أفهم أنك تحتاج أولاً لتحديد ما تريد ، و اللغة قد لا تؤثر ، أو سيتم اختيارها بناءً على التطوير حسب الخطة دون لغة أولاً ، لكن إن كان لديك توقع مثلاً ؛ لأني أريد مشاركتك بما أستطيع في مشروعك هذا إن وافقت ، لمجرد اكتساب القليل من الخبرة و الاستمتاع ببرمجة شيء جديد!

minix

الclassification ابسط بكثير من خلق نظام يفهم كلام البشر

ومثال ELIZA هو تاريخيا احد اسباب زيادة الحماس في NLP والذي تلاه احباط شديد لانهم اكتشفوا انه شبه مستحيل فهو بسيط جدا ومحدود

ELIZA هو rule based وكما قلت لك العالم اكتشف ان هذه الانظمة محودة جدا جدا... حاليا معظم المحاولات حول statistical NLP

bast3

اقتباس

طبعا إحباط شديد صابني مع هالمعلومات الجميله ,,, على كل هو برنامج 4 fun يعني مافي سبب حقيقي لإنشاؤه إﻻ إني شفت إنو فكره بدها شغل وبتنشط المخ وقت الفراغ

لكن طبعا تستطيع المحاولة... واذا عندك طرق معينة او آليات متفائل بها اكتبه هنا حتى نتناقشه

كما قلت.. ساكون سعيدا لو اثبت ان كلامي خطأ

اقتباس

ولكن هذا ﻻ يعتمد على أي ذكاء صناعي ,

؟؟؟؟

لا اعرف كف بنيت جملتك هذه ؟؟

قاعدة المعارف من اساسيات وبدايات الذكاء الاصطناعي

وطريقة البحث فيها هي احد النقاط الهامة ايضا لو كانت قاعدة المعارف كبيرة ستحتاج الى خوارزميات ذكاء ايضا لكي تخوض في بياناتها

---------------

اقتباس

أخي bastr3 ، أرجو منك أن تسمح لي - و لغيري - بمعرفة التقنيات أو اللغات التي قد تستخدمها في مشروعك هذا..

أفهم أنك تحتاج أولاً لتحديد ما تريد ، و اللغة قد لا تؤثر ، أو سيتم اختيارها بناءً على التطوير حسب الخطة دون لغة أولاً ، لكن إن كان لديك توقع مثلاً ؛ لأني أريد مشاركتك بما أستطيع في مشروعك هذا إن وافقت ، لمجرد اكتساب القليل من الخبرة و الاستمتاع ببرمجة شيء جديد!

اللغه هي بي أتش بي طبعا :) فهي اللتي أجيدها هذه الأيام ولو أن بعظهم نصحني ببرولوغ ولكن ماأريد بناؤه يمكن على أي لغه

بالنسبه للمشاركة أهلا بك , ولكن حتى الآن أقوم بعمل دراسه على الورق وحتى بدايه العمل الفعلي سأقوم بإنشاء مثل مدونه بسيطه يمكن من خلالها متابعة الموضوع فأنا بحاجه إلى آراء وأفكاؤ وتجارب وحتى لنشر ما أفكر به أولا بأول

اقتباس

الclassification ابسط بكثير من خلق نظام يفهم كلام البشر

ومثال ELIZA هو تاريخيا احد اسباب زيادة الحماس في NLP والذي تلاه احباط شديد لانهم اكتشفوا انه شبه مستحيل فهو بسيط جدا ومحدود

ELIZA هو rule based وكما قلت لك العالم اكتشف ان هذه الانظمة محودة جدا جدا... حاليا معظم المحاولات حول statistical NLP

اقتباس

لا اعرف كف بنيت جملتك هذه ؟؟

قاعدة المعارف من اساسيات وبدايات الذكاء الاصطناعي

وطريقة البحث فيها هي احد النقاط الهامة ايضا لو كانت قاعدة المعارف كبيرة ستحتاج الى خوارزميات ذكاء ايضا لكي تخوض في بياناتها

الفكرة الرئيسيه في البرنامج هي معنى كلمه ذكاء !

لقد بحثت عن معناها ولكن وجدت أن تحديد معناها غير محدد وغبي نوعا ما ... لا أقصد أن تفسيري سيكون ذكي :) ولكن منطقي أكثر مما قرأت , فهم يقولون أن الأذكياء يكونون أذكياء في أمور معينه فهناك ذكاء رياضي وذكاء موسيقي وذكاء فراغي وغيره وأن الذكي ذكاء موسيقي يمكنه تأليف موسيقى ولكن لا يمكنه أن يكون محلل أو محقق (ذكاء منطقي) ومن لديه ذكاء رياضي لا يمكنه أن يتفوق في تأليف الموسيقى أو هكذا ... وهذا برأيي غير منطقي فمن لديه الذكاء يمكنه أن يبدع في أي مجال كان , لأن الذكاء واحد وتعريفه بالنسبه لي هو الربط

الإنسان بطبيعته ذكي ويتفاوت الذكاء بين كل شخص وآخر بناء على التمارين التي يجريها لدماغه فكلما إستخدمت عقلك كلما أصبحت ذكيا , وما ينقصنا هو الحفظ , فليس من الذكاء أن تحفظ أسماء الدول والمدن , عندما تجد صبي يحفظ أسماء الدول في العالم أجمع وعمره لم يتجاوز السنتين فهذا لا يعني أنه ذكي , وأيضا الطفل الذي يقلد أباه مثلا في الجلوس والحركات لا يعني أنه ذكي , الطفل الذكي الذي يربط الأحداث والمعرفه ويستنتج أمورا جديده , عندما يرى الطفل حوض سمك يحتوي عى السمك والماء والحجاره الصغيره في القاع ويرى بعد ذلك حجرا صغيرا فيقوم على الفور بإمساكه والذهاب إلى حوض السمك هنا نعتبر هذا ذكاء ويصبح الذكاء أشد في حالات أكثر تعقيدا كأن تريه سمكه بلاستيكيه وترى النتائج ففي حاله الذكاء الشديد للطفل سيقوم بربط السمكه البلاستيكيه بالألعاب ولن يربطها بحوض السمك مثلا , نجد هنا أن الذكاء هو الربط بين المعرفه الموجوده لدينا وإستنتاج أمر ما .

البرنامج الذي أفكر بعمله يعتمد على هذه النقطه ... ليس المهم هو فهم اللغه البشريه ولكن ما أتوقعه هو أن يقوم البرنامج فيما بعد بفهم اللغه بناء على المعرفه التي يكتسبها وإذا صدقت توقعاتي فإن البرنامج يجب أن يتمكن من ترجمه أي نص لأي لغه أخرى يعرفها ويمكنه فهم أي لغه أخرى

البدايه ستكون صعبه ومرهقه وهذا أمر معروف ولكن المهم هو وجود أسس يمكننا البدء بها وهذا مايسهل الأمر

لنتخيل لعبه الشطرنج ... الذكاء الذي يتم بها هو فعليا منطق مبرمج , اي لا يمكن أن يتعلم من ألعابه السابقه بناء على الأكواد المتواجده حاليا ولكني قرأت عن برامج تتعلم ولم أرى كود حقيقي حول هذه المعلومه.

bast3....

ممكن تحاول اذا مصر

لكن مصيرك على الارجح هو الفشل.. والفشل مش عيب

قريب من الذي تريد الوصول اليه هو ANN

محاولة لمحاكاة ذكاء البني آدم من خلال شبكات عصبونية صناعية

وعمليا يتم استخدامه في اشياء محددة جدا جدا وبعيدة كل البعد عما تصبو اليه

جرب. حتى لو لم تنجح ستتعلم أشياء جديدة وأنت في الطريق. كما يقولون: الطريق أحياناً أهم من الهدف. :)

مستمتع جداً جداً جداً بالنقاش

مارأيكم بهذا

http://alice.pandorabots.com/

توضيح / هذا الرابط يمكنك من التحدث إلى الحاسوب

وهو من جامعة تبع مشروع Alice الشهير

اقتباس

ممكن تحاول اذا مصر

لكن مصيرك على الارجح هو الفشل.. والفشل مش عيب

أشكر لك تعليقاتك كانت مهمه وجعلتني أبحث أكثر عن عدة أمور كانت مخفيه بالنسبه لي

بإذن الله سأستمر في العمل فهو مجرد تمارين

اقتباس

جرب. حتى لو لم تنجح ستتعلم أشياء جديدة وأنت في الطريق. كما يقولون: الطريق أحياناً أهم من الهدف. :)

نصيحة تلخص ما أريد قوله في الرد السابق :)

اقتباس

مستمتع جداً جداً جداً بالنقاش

مارأيكم بهذا

http://alice.pandorabots.com/

توضيح / هذا الرابط يمكنك من التحدث إلى الحاسوب

وهو من جامعة تبع مشروع Alice الشهير

نفس البرنامج الذي وضعه الأخ minix لم أجد فيه ذكاء وإنما بحث عن كلمات وبناء عليها يتم الإجابه من خلال إجابات موجوده مسبقا

على كل تم اليوم مناقشة بعض الأمور مع شباب أعتبرهم خبراء في مجال الرياضيات واللغه العربيه , توصلنا إلى مايلي

يكون البرنامج على ثلاث مراحل

المرحله الأولى القراءه , بحيث يتمكن البرنامج من قراءه موضوع كامل وفرزه إلى جمل بسيطه بناء على قواعد اللغه العربيه

المرحله الثانيه التعلم , هنا يتم أخذ الجمل التي حصل عليها من القراءه ومن ثم توزيعها بناء على أقسام معينه مثل أفعال , أسماء , حالات المادة , الزمان , المكان , الجنس , الفصيله , وغيرها من الأقسام

المرحله الثالثه الإستنتاج , وهذه المرحله تمكن البرنامج من فهم الموضوع ووضع استنتاجات بناء على المواد الموجوده في هذا الموضوع , مثل موضوع صحيح بنسبه 90% , إجابة سؤال إن وجد , حل مشاكل وإبداء الآراء ,,,

خلال الأيام القادمه سأطرح لكم للمشاركة والتفاعل ولمن هو مهتم بهذا المشروع , سأطرح كيفيه العمل ومن يريد المتابعه سيكون لدينا موقع يحتوي على كل موضوع ويمكن مناقشة المواضيع منفصله

اقتباس

على كل تم اليوم مناقشة بعض الأمور مع شباب أعتبرهم خبراء في مجال الرياضيات واللغه العربيه , توصلنا إلى مايلي

يكون البرنامج على ثلاث مراحل

المرحله الأولى القراءه , بحيث يتمكن البرنامج من قراءه موضوع كامل وفرزه إلى جمل بسيطه بناء على قواعد اللغه العربيه

المرحله الثانيه التعلم , هنا يتم أخذ الجمل التي حصل عليها من القراءه ومن ثم توزيعها بناء على أقسام معينه مثل أفعال , أسماء , حالات المادة , الزمان , المكان , الجنس , الفصيله , وغيرها من الأقسام

المرحله الثالثه الإستنتاج , وهذه المرحله تمكن البرنامج من فهم الموضوع ووضع استنتاجات بناء على المواد الموجوده في هذا الموضوع , مثل موضوع صحيح بنسبه 90% , إجابة سؤال إن وجد , حل مشاكل وإبداء الآراء ,,,

ستحتاج لقراءة العديد من الأبحاث في اجزاء متعددة من NLP. فعليك الإطلاع على ما هو موجود حالياً حتى لا تضع وفتاً كبيراً في إستخدام طرق قد تكون غير مجدية لحل مشكلة ما..

ما ذكرته قد تم مناقشته في أبحاث منفصلة لذا أنصحك بالإطلاع بشكل أكثر على ما هو الوضع الحالي في NLP.

فالبحث العلمي ليس كتابة كود ثم إيجاد الحلول وقت الكتابة. عليك بالقراءة لمدة لا تقل عن ستة أشهر في هذا المجال لان لديك العديد من النقاط خصوصاً أنك إخترت اللغة العربية وهي أكثر تعقيداً وصعوبة من لغات آخرى كالإنجليزية. ويكمن التعقيد في طبيعة اللغة نفسها , والصعوبة لقلة الأبحاث الخاصة بها أو لنقل لقلة الأبحاث المنشورة و قلة المشاركة في هذه الأبحاث.

ستقابل في بعض الأحيان عدم الإستجابة من ناشري الأبحاث الخاصة باللغة العربية وعلى العكس تجد سرعة الرد من أولئك الذين نشروا أبحاث للغات أخرى.

النقاط التي وضعتها منها: Sentence segmentation , POS, Stemming, Shallow Parsing,..,

قد تجد بعض الأفكار في Text Classification, Text Summarization لها علاقة بما تريد...

بل قد تجد في Ontology Learning from Text أشياء قد تفيدك ...

كما قلت الموضوع يحتاج للإطلاع على العديد من الأبحاث في مجالات عدة ...

اختلف مع YaSeenTA في هذه:

اقتباس

ستحتاج لقراءة العديد من الأبحاث في اجزاء متعددة من NLP. فعليك الإطلاع على ما هو موجود حالياً حتى لا تضع وفتاً كبيراً في إستخدام طرق قد تكون غير مجدية لحل مشكلة ما.

اقترح اولا: ان تفكر بنفسك 100% من دون ان ترجع لأي كتاب. هذه المرحلة نسميها المرحلة 0

ثانيا: تجرب افكارك

ثالثا: تقوم بما قاله YaSeenTA وهو قراءة الكتب والنظرحولك

الفائدة من هذا الترتيب حتى لا تخسر عقلك.. نعم.. لانك عندما تقرأ كتب الغير ستفكر مثلهم وستذهب مثلما هم ذهبوا وهو انه "مستحيل"

لهذا السبب انصحك اولا ان تسأل عقلك... وتجرب افكارك قبل ان تتغير بفعل قراءة كتب وافكار الآخرين... هكذا لن تخسر عقلك

ربما البعض يضحك من هذا ويقول انه اسلوب متخلف فالقراءة ثم القراءة ثم القراءة

نعم اقرأ .. لكن قبل ان تقرأ فكر بنفسك اولا، حتى لا تضيع افكارك

وهذا الاسلوب الذي اقوله متبع في بعض الجامعات في "العالم المتحضر"

password123 :

تعجبني ردودك في المواضيع التي تشترك فيها لأنك تناقش الآخرين بشكل جيد و تضع رأيك بشكل صريح .

طبعاً هناك كم مرة كانت ردودك فيها نوع من التمسك بالرأي حتى وإن كان الآخر مصيب في رأيه.

أمدحك أولاً ثم أنتقدك :P

كان قصدي بالعبارة في حالة من يقوم بالبحث العلمي ...

فالمتعارف عليه هو أن تقرأ بصورة عامة عن الموضوع الذي أنت بصدد البحث فيه ومن ثم تبدأ بالجزئية التي تهتم بها وهنا عليك أن تقرأ ما هو موجود حالياً او ما يسمى State of Art ومن ثم تبدأ بالنقطة التي تريد التغيير فيها ...

إن كنت تعارضني في هذه أيضاً فلك الحق في ذلك , لكن هذا هو المتعارف عليه أو لنقل هو ما أعرفه و ما هو متعارف عليه في الجامعات التي أعرفها أو البلد الذي أعيش فيه.

حتى حين تقوم بنشر paper عما قمت به يتم ذكر State of Art كشئ أساسي.

إن كنت ترى أن البدء بأفكارك أولاً هو الصحيح فأنأ اختلف معك.

لنقل أنك تريد البدء بالبحث العلمي في مجال جديد ولا تملك سوى معلومات سطحية حصلت عليها من كتب أو مقالات أشارت لهذا المجال أو من نقاشات وضعت صورة عامة مبهمة نوعاً ما عن هذا المجال, فهل ستبدأ بالعمل في شئ لا تعلم ما هو؟

ذكرت -أنت- والأخوة بعض الطرق أو مجالات البحث التي قد تكون لها علاقة بالسؤال فهل هذا يكفي لنجعل واضع السؤال يبدأ من الصفر أم يجمع كم من المعلومات تكفيه كبداية للطريق (إن كنت ستتجه لمكان ما فستسأل تفاصيل أكثر عن كيفية الوصول له وعن موقعه قبل ان تذهب).

اقتباس

اقترح اولا: ان تفكر بنفسك 100% من دون ان ترجع لأي كتاب. هذه المرحلة نسميها المرحلة 0

أنا معك أخي 100% نظرا لأن جميع الأبحاث كما قلت فاشله بشكل كبير بالنسبه للذكاء الإصطناعي وماهو ناجح تحت الكواليس في أبحاث المخابرات الأمريكيه والعلوم العسكريه ولا توجد للعلن لذلك فكرت في عدم قراءه أي أبحاث أخرى

أما من ناحيه اللغه العربيه فأنا إخترتها لأنها لغتي وأعرف الكثير عنها وسأبرع بها أكثر من أي لغه أخرى

اقتباس

تعجبني ردودك في المواضيع التي تشترك فيها لأنك تناقش الآخرين بشكل جيد و تضع رأيك بشكل صريح .

طبعاً هناك كم مرة كانت ردودك فيها نوع من التمسك بالرأي حتى وإن كان الآخر مصيب في رأيه.

أمدحك أولاً ثم أنتقدك :P

كان قصدي بالعبارة في حالة من يقوم بالبحث العلمي ...

فالمتعارف عليه هو أن تقرأ بصورة عامة عن الموضوع الذي أنت بصدد البحث فيه ومن ثم تبدأ بالجزئية التي تهتم بها وهنا عليك أن تقرأ ما هو موجود حالياً او ما يسمى State of Art ومن ثم تبدأ بالنقطة التي تريد التغيير فيها ...

إن كنت تعارضني في هذه أيضاً فلك الحق في ذلك , لكن هذا هو المتعارف عليه أو لنقل هو ما أعرفه و ما هو متعارف عليه في الجامعات التي أعرفها أو البلد الذي أعيش فيه.

حتى حين تقوم بنشر paper عما قمت به يتم ذكر State of Art كشئ أساسي.

إن كنت ترى أن البدء بأفكارك أولاً هو الصحيح فأنأ اختلف معك.

لنقل أنك تريد البدء بالبحث العلمي في مجال جديد ولا تملك سوى معلومات سطحية حصلت عليها من كتب أو مقالات أشارت لهذا المجال أو من نقاشات وضعت صورة عامة مبهمة نوعاً ما عن هذا المجال, فهل ستبدأ بالعمل في شئ لا تعلم ما هو؟

ذكرت -أنت- والأخوة بعض الطرق أو مجالات البحث التي قد تكون لها علاقة بالسؤال فهل هذا يكفي لنجعل واضع السؤال يبدأ من الصفر أم يجمع كم من المعلومات تكفيه كبداية للطريق (إن كنت ستتجه لمكان ما فستسأل تفاصيل أكثر عن كيفية الوصول له وعن موقعه قبل ان تذهب).

لم تكن الفكرة هي البدء من الصفر , هناك أشخاص يساعدونني في هذا العلم وقد درسوا عنه الكثير أنا أناقشهم فيما توصلت إليه وهم ينظرون إلى ما أقول ويصححون ما أغفل عنه , هناك أمور تتعلق بالخوارزميات المتبعه في الذكاء الصناعي والوصول إلى الهدف بأسرع الطرق واتخاذ القارارت الصائبه من مجموعه بيانات وكل هذا لا يهمني مبدئيا لأن المهم الآن هو إعداد البرنامج للقراءه ... الخطوه الأولى :(

YaSeenTA

انت تجعل قلبي يؤلمني...

الاسلوب الأحدث يحتوي على الاسلوب المتعارف عليه الذي انت تتحدث عنه....

للتوضيح: اللون الازرق يرمز للخطوات التقليدية. اللون الاخضر يرمز للخطوات الجديدة.

بص:

* المتعارف عليه هو ان تجعل خطوة رقم:

1 القراءة،

2 تضيف ابداعاتك....

هذا الكلام معروف ودرسناه في كل مكان...

لكن مشكلته انك بهذه الطريقة influenced بأفكار السابقين بشكل كبير..

وهذا قد يقتل الإبداع.. لانك لاإراديا ستمشي ورائهم بمعدل معين.

* الاسلوب البديل هو تجعل الخطوة رقم:

1 تأليف من عندك. تقعد وتفكر بنفسك دون ان تكون influenced بأفكار اي شخص آخر (او كتاب)

2 تطبيق لأفكارك وتعاينها

3 القراءة

4 تضيف ابداعاتك

لاحظ ان الاسلوب البديل (الاحدث) كل مايفعله انه يضيف خطوة ما قبل البحث التقليدي

ومهم ان تبدأ من نفسك اولا.. لانك اذا بدأت بالقراءة اولا، سيتغير تفكيرك بنسبة معينة ليتماشى مع تفكير من قبلك،

وربما تفكيرهم لم يكن صحيحا 100%

لذا يستحسن ان تقرأ مافعله السابقون بعدما تقوم بتجربة محاولاتك البدائية اولا

اقتباس

اقترح اولا: ان تفكر بنفسك 100% من دون ان ترجع لأي كتاب. هذه المرحلة نسميها المرحلة 0

اقتباس

أنا معك أخي 100% نظرا لأن جميع الأبحاث كما قلت فاشله بشكل كبير بالنسبه للذكاء الإصطناعي وماهو ناجح تحت الكواليس في أبحاث المخابرات الأمريكيه والعلوم العسكريه ولا توجد للعلن لذلك فكرت في عدم قراءه أي أبحاث أخرى

أما من ناحيه اللغه العربيه فأنا إخترتها لأنها لغتي وأعرف الكثير عنها وسأبرع بها أكثر من أي لغه أخر

المعذرة, ما المقصود بالمرحلة صفر هنا التي أرى أنكما اتفتقتما عليها ؟

إن كنت ستقوم بكل شئ من الصفر يعني أنك لن تستخدم أي parser للغة العربية موجود حالياً ولن تستخدم أي اداة أو تحاول الإستفادة من أي بحث علمي موجود حالياً ؟ هل هذا المقصود؟

password123 : لماذا إذاً تخبره عن Stanford parser؟ وكان عليك أن تجعله يصل بنفسه إلى أن ما سيقوم به قد يتوجب عليه إستخدام shallow parser أو قد يجب عليه عمل واحد خاص به ..

لماذا تذكر له

اقتباس

يوجد موضوع شبيه جديد يقوم ببناء FAQ من الmailing lists ستجده لو بحثت في spam assassin's mailing list

؟؟؟

ثم تتكلم عن text summarization؟!

تم تخبر عن rule based methods و statistical methods وأن الأخيرة هي المستخدمة بشكل أكبر حالياً . طبعاً إستخدام hybrid method شئ وارد وقد يؤدي لنتائج أفضل..

أليس ما قمت به هو سرد معلومات عامة تقتضي من قارئ ردك أن يتمعن أكثر في التفاصيل ليبدأ طريقه في حل المشكلة ؟!

وغيرها من التساؤلات إن أردت التدقيق في كل نقطه قلتها..

اقتباس

لم تكن الفكرة هي البدء من الصفر , هناك أشخاص يساعدونني في هذا العلم وقد درسوا عنه الكثير أنا أناقشهم فيما توصلت إليه وهم ينظرون إلى ما أقول ويصححون ما أغفل عنه , هناك أمور تتعلق بالخوارزميات المتبعه في الذكاء الصناعي والوصول إلى الهدف بأسرع الطرق واتخاذ القارارت الصائبه من مجموعه بيانات وكل هذا لا يهمني مبدئيا لأن المهم الآن هو إعداد البرنامج للقراءه ... الخطوه الأولى :(

هناك انت فقط أختصرت الطريق أو بالأصح أخترت طريقاً ملتوياً وهو أن تعتمد على النقاش مع أشخاص ذوي إطلاع على الموضوع لتنهل مما لديهم و تترك الكتب والأبحاث العلمية التي تعتقد أنها فاشلة لانك لم تقرأها كما فعل أولئك الأشخاص الوارد ذكرهم مسبقاً والذين توافر لديهم العلم بالموضوع نتبجة الكد والقراءة..

اقتباس

اقترح اولا: ان تفكر بنفسك 100% من دون ان ترجع لأي كتاب. هذه المرحلة نسميها المرحلة 0

اذا كان عليه ألا يضع السؤال هنا إلا بعد أن يكون قد وصل إلى المرحلة في ثالثاً .

ما علينا...

لم أرد الخروج عن الموضوع الأساسي لكن يبدو أن ذلك هو ما حصل.

password123

كنت اكتب ردي قبل أن تضع ردك الأخير ومع الإنشغال بأشياء أخرى توقفت ومن ثم رأيت ردك بعد أن قمت بالإرسال وهانذا أرسل تعقيباً عليه

اقتباس

1 تأليف من عندك. تقعد وتفكر بنفسك دون ان تكون influenced بأفكار اي شخص آخر (او كتاب)

إذا أنت من ضمن المجموعة الذين أدوا إلى أن يكون الأخ influenced بأفكار اي شخص آخر..

لهذا قلت في ردي , بالمنطق الذي أفهمه في ردك (ربما أكون أسات فهمك ) لم يكن عليه وضع السؤال هنا ...

YaseenTA

ليه متنرفز يبني....

اخشى عليك ان يرتفع ضغط دمك من الآن وانت صغير في عمر الفراخ..

هوه صحيح ردك خارج الموضوع.. وطويل.. لكن كل كلامك ينحصر في هذه الجمل البسيطة:

اقتباس

password123 : لماذا إذاً تخبره عن Stanford parser؟

اقتباس

إذا أنت من ضمن المجموعة الذين أدوا إلى أن يكون الأخ influenced بأفكار اي شخص آخر..

لكن كل هذا الكلام في البداية...

وانا فشلت في اقناعه ان الطريق مغلقة..

وbast3 يريد المضي قدما والتجربة.. خاصة انه موضوع مسلي

فحينها افضل طريقة للمحاولة هو تجاهل كل هذا الكلام ومن ضمنه كلامي انا