الفريق العربي للبرمجةأرشيف المنتديات · 2000 – 2023
نسخة أرشيفية للقراءة فقط — التسجيل والمشاركة مغلقان، والمحتوى محفوظ كما كان.

data warehouse, data mining, OLAP, OLTP

مغلق
بدأه Massay في 2 فبراير 2006 · 6 رد · 17,122 مشاهدة · في قواعد بيانات Microsoft SQL Server
مشاركة: واتساب X فيسبوك تيليجرام
#1 صاحب الموضوع

بسم الله الرحمن الرحيم

الاخوة الكرام مشرفي واعضاء هذا المنتدي الأكثر من رائع . السلام عليكم ورحمة الله وبركاته

أنا عضو جديد بهذا المنتدي الجميل وعندي مشكله تؤرقني هذه الأيام وأتمني لو تساعدوني في إيجاد حل لها .

أنا طالب بالسنه النهائية بكلية حاسبات ومعلومات وبالطبع فانا مطالب بمشروع تخرج والحقيقه انني الآن بمفردي في هذا المشروع فمن كانوا معي كانت سياستهم هي شراء مشروع جاهز من احد المطورين وسيدفعوا له مقابل المشروع والشرح :s وللأسف فانا لم اعرف بذلك الا بعدما انتهت فترة تقسيم المجموعات ولم اجد اي زملاء آخرين

وهكذا فقد صممت علي أن أكون بمفردي فأنا أجد في هذا المشروع فرصه في التعلم واكتساب الخبرة ومعرفة المشكلات التي تقابل المطور عموما في عمله .

واحب ان اقول انني عاشق لقواعد البيانات وأتمني لو يكن مشروعي عبارة عن قاعدة بيانات متكاملة لشركة ما ولقد سمعت عن مايسمي بال business Intellegence وأن هذا المصطلح يندرج تحته ما يسمي بأدوات دعم اتخاذ القرار وادوات تحليل البيانات مثل :

data warehousing

data mining

OLAP

OLTP

وما اعرفه عن هذه المصطلحات هو أن مستودعات البيانات هي داتابيز عملاقه تحتوي علي الملايين من السجلات التي تصل اليها من الداتابيز العادية التي تعمل كنظام لأي شركة وتقوم هذه المستودعات بتخزين البيانات وترتيبها وتصنيفها علي مدي الشهور والسنين ثم وضعها في ما يسمي بالمكعبات او ال Data mart وذلك لتسهيل عملية تحليل البيانات

ويتم الاستفادة من مستودعات البيانات بان هذه الكميات الضخمة من الداتا يمكن استخلاص الكثير من النتائج منها وعملية تحليل واستخلاص النتائج يتم بطريقتين :

الأولي هي ال OLAP : وهو آداة تحليل قادرة علي الوصول إلي اجابات عن التساؤلات التي يبحث عنها صانع القرار بالشركة داخل قاعدة البيانات.

اما الثانيه وهي ال data mining : فهي آداة تكتشف نتائج وعلاقات لم يسأل عنها احد . بمعني اصح هي تظهر حقائق لم يكن صانع القرار ليكتشفها بمفرده

اما ال OLTP : فهي تعمل علي قواعد البيانات العادية والغرض منها هي جعل الداتابيز قادرة علي استيعاب اي اضافات او تعديلات او مسح قد تحدث لنفس السجلات في اوقات متقاربه جدا ومن عدة مصادر .

الآن حان وقت الأسئلة التي لدي :)

1- هل ما ذكرته عن هذه المصطلحات صحيح ام هناك اخطاء؟ وارجوا ان تصححوا لي ان كان هناك شئ ما خطأ

2- ما اعرفه هو معرفه نظريه ولكني حتي الآن لا اعرف كيف يطبق هذا الكلام بشكل عملي . فهل يمكن ان تدلوني علي كتب تقوم بشرح هذه التقنيات بشكل عملي مع امثلة وتصميمات وهل استطيع ان اقوم بتنزيلها من علي النت ؟ وما هي اسماء هذه الكتب ؟

3- كنت اتمني لو ادخل في مشروعي اي من هذه التقنيات . ولكن من قراءاتي فهمت ان مستودعات البيانات تحتاج الي اجهزة متطورة وتحتاج الي بيانات ضخمه حتي يتم انشائها وطبعا لا يمكن استخدام ال olap & data mining بدون مستودع بيانات . فهل هذا صحيح ؟؟ ام يمكنني ان انشئ بمفردي مستودع بيانات ؟؟ فان لم يمكن هذا فلا يتبق لدي سوي ال OLTP . فكيف يمكن ان اضيف هذه التقنيه الي داتابيز عادية ؟ وهناك شيئ اخر . اعتقد ان استخدام ال OLTP يتم في حالات معينه وليس كل الشركات تحتاج الي OLTP . فمثلا ان اختارت مثال لشركة مبيعات ولها اكتر من فرع ولكنهم يتشاركوا جميعا في داتابيز واحدة مرتبطه بموقع علي الانترنت . اي ان عملية البيع يمكن ان تتم من خلال الويب او من خلال عدة فروع . فهل في هذه الحاله يمكن ان نقول فعلا ان هذه الداتابيز في حاجه الي ال OLTP ?

اعزائي أتمني أن لا اكون قد أطلت عليكم ولكني فعلا محتار ولم ابدأ المشروع بعد . لقد أوضحت لكم ما يجول بذهني فأتمني لو تساعدوني وانا بالانتظار .

وشكرا جزيلا

تم تعديل هذه المشاركة بواسطة walcom في 2 فبراير 2006 في 18:17

#2

ما ذكرته صحيح. ليس عندي اسم كتب و لكن استخدم SQL Server 2000 لأنه يأتي مع أدوات OLAP و Datamining جيدة و سهلة الإستخدام.

#3

شكرا جزيلا لردك يا أخي . أنا بالفعل أنوي إستخدام ال sql server ولكن لا يوجد لدي أي كتب تتحدث عن تنفيذ أي من هذه التقنيات عمليا وبالخطوات . اما الشيئ الثاني فانت لم تقترح علي أي من هذه التقنيات تصلح لأن تكون تنفذ بجهود فردية لأن ما سمعت عنه هو ان مستودعات البيانات تستغرق شهور وربما سنين لتنفيذها وتحتاج ايضا الي امكانيات ضخمة فهل هذا صحيح ؟ كما انك لم توضح هل مثال شركة المبيعات الذي ذكرته يصلح لكي تستخدم فيه تقنيه ال OLTP ام لا ؟ .. معذرة يا اخي ارجو ان توضح لي اكثر فانا بالفعل في مشكلة وشكرا جزيلا

تم تعديل هذه المشاركة بواسطة Massay في 2 فبراير 2006 في 18:38

#4

مرحبا بك يا Massay معنا

قمت بتعديل عنوان الموضوع ليكون دالا أكثر على محتواه.

الرجاء عدم طلب الإجابة على البريد الالكتروني الخاص، وذلك لتعم الفائدة.

-------

اقتباس
ما اعرفه هو معرفه نظريه ولكني حتي الآن لا اعرف كيف يطبق هذا الكلام بشكل عملي . فهل يمكن ان تدلوني علي كتب تقوم بشرح هذه التقنيات بشكل عملي مع امثلة وتصميمات وهل استطيع ان اقوم بتنزيلها من علي النت ؟ وما هي اسماء هذه الكتب ؟

كل ما سألت عنه موجود في هذا الموضوع:

مستودعات البيانات

وعليك بكتاب SQL server 7 data warehousing training kit ، رابطه موجود في الموضوع.

وإذا كنت تعتمد على أوراكل فعليك بكتاب Oracle Database 10g Data Warehousing ويمكنك أن تجده من خلال هذا الرابط:Databases books catalog on www.betah.co.il

كما يوجد المزيد من روابط الكتب في موضوع:

مصادر تعليمية للSQL Server

اقتباس
3- كنت اتمني لو ادخل في مشروعي اي من هذه التقنيات . ولكن من قراءاتي فهمت ان مستودعات البيانات تحتاج الي اجهزة متطورة وتحتاج الي بيانات ضخمه حتي يتم انشائها وطبعا لا يمكن استخدام ال olap & data mining بدون مستودع بيانات . فهل هذا صحيح ؟؟ ام يمكنني ان انشئ بمفردي مستودع بيانات ؟؟

كتاب SQL server 7 data warehousing training kit يشرح لك طريقة إنشاء مستودع بيانات ويتابع معك خطوة خطوة، ابتداء من عمل قاعدة البيانات الأساسية للمستودع واستيراد البيانات من قاعدة البيانات Northwind وإنشاء المستودع منها وحتى إدارة المستودع وإنشاء تطبيقات تصل للمستودع.

يفضل أن تكون البيانات ضخمة طبعا، وإلا كيف ستقوم بإجراء التحليل عليها بصورة واقعية؟

اقتباس
فان لم يمكن هذا فلا يتبق لدي سوي ال OLTP . فكيف يمكن ان اضيف هذه التقنيه الي داتابيز عادية ؟ وهناك شيئ اخر . اعتقد ان استخدام ال OLTP يتم في حالات معينه وليس كل الشركات تحتاج الي OLTP . فمثلا ان اختارت مثال لشركة مبيعات ولها اكتر من فرع ولكنهم يتشاركوا جميعا في داتابيز واحدة مرتبطه بموقع علي الانترنت . اي ان عملية البيع يمكن ان تتم من خلال الويب او من خلال عدة فروع . فهل في هذه الحاله يمكن ان نقول فعلا ان هذه الداتابيز في حاجه الي ال OLTP ?

استخدامهم الحالي لقاعدة البيانات هو نفسه OLTP

لأنك قلت في تعريفك لOLTP: "اما ال OLTP : فهي تعمل علي قواعد البيانات العادية والغرض منها هي جعل الداتابيز قادرة علي استيعاب اي اضافات او تعديلات او مسح قد تحدث لنفس السجلات في اوقات متقاربه جدا ومن عدة مصادر ."

اقتباس
أنا بالفعل أنوي إستخدام ال sql server

لذلك قمت بنقل موضوعك لقسم SQL Server

تم تعديل هذه المشاركة بواسطة walcom في 2 فبراير 2006 في 19:29

فكر بطريقة أخرى

#5

ألف شكر مشرفنا الغالي walcome

ولكنك ذكرت أن ال data warehouse تحتاج إلي بيانات ضخمة حتي يمكن لأدوات التحليل التي تعمل عليها مثل ال OLAP أن تعطي نتائج واقعية . لذلك أجدني أميل إلي استبعاد هذه التقنيه نظرا لضيق الوقت بالنسبة لي وبما ان مثال شركة المبيعات يصلح لأن يكون OLTP database فهل يمكن أن ترشدني إلي رابط لأي كتاب يتحدث عن إنشاء ال OLTP database بشكل عملي ويا حبذا لو كان باستخدام ال SQL server

والف شكر والسلام

تم تعديل هذه المشاركة بواسطة Massay في 2 فبراير 2006 في 19:38

#6
Microsoft SQL Server 7.0 Data Warwhousing Training Kit

Technical Lead Developer

My LinkedIn Profile

اللهم قنى شر الجهل و الجهلاء

( اقْتَرَبَ لِلنَّاسِ حِسَابُهُمْ وَهُمْ فِي غَفْلَةٍ مَّعْرِضُونَ ) {الأنبياء:1}

#7

الأخ الكريم طارق . انه الكتاب نفسه الذي دلني عليه الأخ walcom وقد قمت بتحميله وتصفحه ووجدت ان الكتاب يتحدث في البدايه عن اهمية ال warehousing وان مراحل ال analysis service هي

1- نقل الداتا من السجلات التي يتم التعامل معها الي ال OLTP

2- تنتقل الداتا من ال OLTP الي ال data warehouse

3- مرحلة التحليل باستخدام ال OLAP

4- تصنيف الداتا في مكعبات ال data mart

5- عرض نتائج التحليل في صورة نهائية بواسطة ال reporting services

* الكتاب يوضح ان عمليات انتقال الداتا من مرحلة الي اخري يكون عن طريق ال DTS .

والكتاب يركز علي انشاء ال data warehouse وعلي عملية التحليل بواسطة ال OLAP

اما بالنسبة لل OLTP ( وقد اتعبتني حقا :) ) فهو يتعرض لها في صفحة واحدة تقريبا حيث يتحدث فيها عن خصائص ال OLTP database ولكن لا توجد اي شروحات عملية لانشائها .

وقد بحثت كثيرا في برامج ال share والمواقع التي تتيح الكتب المجانيه فلم أجد الا الكتب التي تتحدث عن ال warehousing وال OLAP وال data mining

والمرة الوحيدة التي وجدت فيها كتابا عن ال OLTP كان في موقع شركة Apress لنشر الكتب وكان اسم الكتاب :

Pro SQL Server 2000 Database Design: Building Quality OLTP Databases

فأرجو ممن لديه هذا الكتاب أن يرفعه لنا وله جزيل الشكر

وقد وجدت شيئآ آخر وهو مثال علي احدي تصميمات ال OLTP database وكانت للداتابيز الشهيرة northwind وقد لاحظت انها نفس الجداول ولكن هناك علاقات زائدة بين الجداول او علاقة بين الجدول ونفسه فهل هذا هو ال OLTP ?!!! اي هل الفارق بين الداتابيز العاديه وال OLTP database هو اختلافات في ال relations فما رأيكم ؟؟

أنا بالفعل حائر وأتمني لو أجد مثل السمينار الرائع الذي أرسله لي الأخ walcom عن ال data warehouse ولكن هذه المره يكون عن ال OLTP :)

وشكرا جزيلا والسلام

تم تعديل هذه المشاركة بواسطة Massay في 3 فبراير 2006 في 05:34

هذا الموضوع مغلق.

مواضيع مشابهة