داده کاوی : مفاهيم، روشها، کاربردها

1. به نام خدا دانشگاه آزاد تهران شمال دادهکاوی:مفاهيم، روشها، کاربردها

2. فهرست مطالب • مقدمه • کاربردهای داده‌کاوی • کاربردهای تجاری • کاربردهای علمی • کاربردهای امنيتی • تکنيکهای داده‌کاوی • دسته بندی • قوانين تداعی • خوشه بندی • آينده داده‌کاوی: کاربردهای جديد، چالشها و دستاوردها • تشخيص ناهمگونی • داده‌کاوی توزيع شده • داده کاوی و حريم خصوصی

3. داده کاوی و دلايل پيدايش آن • توسعه تکنولوژيهای ذخيره و بازيابی اطلاعات • افزايش اطلاعات • تنوع زياد • بانکهای اطلاعاتی • فايلهای چندرسانه ای • اطلاعات متنی و فاقد ساختار

4. پردازش اطلاعات: از فايلهای متنی تا داده کاوی • سير کلی تکنولوژی پردازش اطلاعات را می توان به صورت زير خلاصه کرد: • فايلها • بانکهای اطلاعاتی خاص • بانکهای اطلاعاتی رابطه ای • بانکهای اطلاعاتی تحليلی • داده کاوی

5. مراحل يک فرآيند داده کاوی • هريک از مراحل، با مشکلات خاص خود مواجه است. • پيرايش و تجميع اطلاعات، معمولا حجم عمده کار را به خود اختصاص می دهند. • بازنمائی دانش، به خصوص در مورد داده کاوی، در موارد متعددی هيچ راه حل قابل قبولی ندارد. انتخاب اطلاعات هدف پيرايش اطلاعات تجميع اطلاعات استخراج دانش بازنمائی دانش استخراج شده تفسير نتايج

6. پايه های يک فرآيند داده کاوی • 5 پايه اصلی • مجموعه نمونه های آموزشی • نوع دانش • دانش پايه • معيارهای ارزيابی • نحوه ارائه

7. دانش پايه • دانش فعلی کاربر در مورد نمونه های آموزشی • غالبا به صورت سلسله مراتب مفهومی (ConceptHierarchy) • به صورت ترتيب جزئی بين سطوح تجرد مطرح می شود • مثال: کشور > استان > شهر > منطقه

8. خلاصه مطالبمقدمه • عدم کفايت روشهای سنتی در بهره برداری از پتانسيل اطلاعات در دسترس. • سير کلی روشهای پردازش اطلاعات، بر حسب نياز حوزه های متفاوت، از فايلهای ساده تا داده کاوی. • تعريف داده کاوی به عنوان يک فرآيند نيمه خودکار برای استخراج دانش از انواع اطلاعات ذخيره شده. • جايگاه داده کاوی در يادگيری ماشين و نياز به چارچوبهای تئوريک و فراگير. • ابهام زدائی از تعريف موجود و جداکردن واقعيات از اهداف ايده آل و بلند مدت. • مراحل اصلی يک فرآيند داده کاوی عبارتند از: انتخاب، پيرايش و تجميع اطلاعات، استخراج دانش، بازنمائی و تفسير دانش حاصل. • پايه های اصلی يک فرآيند داده کاوی عبارتند از: اطلاعات ورودی، نوع دانش، دانش پايه، معيارهای ارزيابی دانش و روشهای بازنمائی آن.

9. کاربردهای داده کاوی • کاربردهای تجاری • کاربردهای علمی • کاربردهای امنيتی

10. کاربردهای تجاری • تقريبا در تمام سازمانها و انواع تجارتها، به دليل وجود اطلاعات، می توان داده کاوی را مورد استفاده قرار داد. • پيش بينی مربوط به بازار بورس • تحليل سبد خريد • شناسائی طبقات و گروههای اصلی مشتريان • تعيين ميزان تاثير عوامل مختلفی نظير تبليغات، تخفيف، ... بر ميزان و الگوهای فروش

11. کاربردهای علمی • اطلاعات جمع آوری شده در حوزه های مختلف • حجم بالا • تنوع اطلاعات • نويز شديد • نياز مبرم به تکنيکهای داده کاوی

12. کاربردهای علمی … • حوزه پزشکی: • حوزه اطلاعات جغرافيائی و اقليمی

13. مثالی از کاربردهای داده کاوی: اطلاعات ژنتيک (1) • آرايه ای از نمونه های DNA • انجام تعدادی آزمايش بر روی يک تراشه

14. مثالی از کاربردهای داده کاوی: اطلاعات ژنتيک (2) • معيار شباهت ژن ها: رفتار مشابه در آزمايش ها

15. کاربردهای علمی… • حوزه کاربردی فضا و سفرهای فضائی • حجم بسيار زيادی از اطلاعات • نويز بسيار بالا • ارزش بسيار زياد دانش قابل استخراج • پردازش اطلاعات جمع آوری شده از فضا • پردازش اطلاعات مربوط به سفينه های فضائی • ارائه دانش مفيد برای اتخاذ تصميم نهائی جهت پرتاب يا عدم پرتاب يک سفينه به فضا

16. کاربردهای امنيتی • سيستمهای تشخيص نفوذ • روشهای سنتی، • حجم اطلاعات بسيار • عدم امکان بررسی تمام گزارشها • نياز به شناسائی خودکار • لزوم همکاری با متخصصان شبکه • لزوم اجتناب از سيستمهای بسيار بدبين • مقابله با تروريسم

17. کاربردهای داده کاوی: جمع بندی • حوزه های اصلی شامل کاربردهای علمی، تجاری و امنيتی می باشد. • در تمام حوزه ها با حجم بسيار زياد اطلاعات و خصايص متعدد مواجهيم. • در تمام حوزه ها با انواع اطلاعات مفيد روبرو هستيم. • کاهش شديد هزينه ها، افزايش درآمدها و نجات زندگی انسانها از دستاوردهای داده کاوی در هريک از حوزه های کاربردی آن است. • کاربردهای تجاری: تشخيص صحت ادعای خسارت در بيمه، تشخيص سوء استفاده از کارتهای اعتباری، تحليل اطلاعات مشتريان يک سازمان،... • کاربردهای علمی: حوزه های پزشکی، جغرافيائی و اقليمی، فضا و سفرهای فضائی • کاربردهای امنيتی: مبارزه با تروريسم، مقابله با نفوذگران به شبکه های کامپيوتری

18. جمع بندی و نتيجه گيری • داده کاوی عبارت است از فرآيند نيمه خودکار استخراج دانش از اطلاعات موجود. • داده کاوی شامل مراحل انتخاب، پيرايش و تجميع اطلاعات، استخراج و بازنمائی و تفسير دانش می باشد. • کاربردهای داده کاوی شامل حوزه های تجاری، امنيتی و علمی می باشد. • تکنيکهای اصلی داده کاوی عبارتند از: دسته بندی، خوشه بندی و استخراج قوانين تداعی. • مسائل جديد در داده کاوی عبارتند از: تشخيص ناهمگونی، داده کاوی توزيع شده و مسئله حفظ دانش محرمانه و حريم خصوصی. • نياز مبرم به روشهای داده کاوی مقياس پذير • نياز به توسعه داده کاوی بر روی انواع اطلاعات موجود • نياز به توسعه داده کاوی به عنوان يک فرآيند استاندارد و توزيع شده

19. فهرست منابع • J. Han, M. Kamber and Simon Fraser, Data Mining: Concepts and Techniques, Morgan Kaufman Publisher., 2001 • H. Miller, and J. Han, Geographic Data Mining and Knowledge Discovery. Taylor and Francis, London, U.K., 2001. • M. Steinbach, P. Tan, V. Kumar, S. Klooster, and C. Potter, Data mining for the discovery of ocean climate indices, Proceedings of th 5th Workshop on Scientific Data Mining (SDM 2002), (Arlington, VA, Apr. 13), Society of Industrial and Applied Mathematics, pp 7–16, 2002. • S. J. Stolfo, W. Lee, P. K. Chan, W. Fan and E. Eskin, “Data Mining-based Intrusion Detectors: An Overview of the Columbia IDS Project”, SIGMOD Record, Vol. 30, No. 4, December 2001, pp 5-14, 2000. • H. Kargupta, A. Joshi, K. Sivakumar and Y. Yesha, “Data Mining: Next Generation Challenges and Future Directions”, Prentice Hall of India, pp. 157-219, 2005. • L. A.F. Park, K. Ramamohanarao, and M. Palaniswami, “Fourier Domain Scoring: A Novel Document Ranking Method”, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 16, NO. 5, pp 529-539, MAY 2004 • S. Schockaert, M. De Cock, C. Cornelis and E. E. Kerre“Efficient Clustering with Fuzzy Ants”, Applied Computational Intelligence, World Scientific, p. 195-200, 2004

20. فهرست منابع (ادامه) • M. Halkidi, Y. Batistakis and M. Vazirgiannis, “On Clustering Validation Techniques”, Journal of Intelligent Systems, vol. 17:2/3, pp 107-145, 2001 • S. Dˇzeroski and H. Blockeel, MultiRelational Data Mining 2004: Workshop Report, SIGKDD Explorations. Volume 6,Issue 2, pp. 140-141, 2004. • C.A. Ratanamahatana and E. Keogh, Towards Parameter-Free Data Mining, KDD ’04, Seattle, Washington, USA, pp. 206-215, 2004 • H. Mannila, “Theoretical Frameworks for Data Mining”, SIGKDD Explorations, January 2000. Volume 1, Issue 2 - page30-32 • R. Grossman, Data Mining Standards, Services, and Platforms 2004 (DMSSP 2004) Workshop Report,, SIGKDD Explorations. Volume 6,Issue 2 - Page 157-158, 2004. • U.M. Fayyad, G.Piatetsky-Shapiro, R. Uthurusamy, Summary from the KDD-03 Panel -- Data Mining: The Next 10 Years, SIGKDD Explorations. Volume 5,Issue 2 – pp. 191-196, 2003.