42 اسلاید
■بسیاری از برنامه های کاربردی نوع داده جدیدی به نام جریان داده را تولید و تحلیل می کنند که در آن داده ها به صورت پویا به یک بستر ( یا پنجره ) وارد و یا از آن خارج می شوند . ■خواص جریان داده : ■حجم زیاد و گاه نامحدود ■تغییرپویا ■جریان به درون و خارج با یک ترتیب مشخص ■پیمایش یکبار یا تعدا د محدود ■نیازمند زمان پاسخ سریع ( اغلب بلادرنگ ) ■ممکن است دارای چندین منبع باشند .■در جریان داده تعدادی یا همه داده های ورودی که باید روی آنها عملیات انجام شود روی دیسک یا حافظه اصلی قرار ندارند و بیشتر به صورت جریان داده پیوسته می رسند . ■جریان داده ها از داده های ذخیره شده در موارد زیر متفاوت اند :■عناصر داده ها به صورت بر خط می رسند .■سیستم هیچ گونه کنترلی روی ترتیب عناصر دادهای ( روی عناصر جریان یا جریانهای دادهای ) ، که جهت پردازش میرسند ، ندارد .■جریانهای داده ای به صورت ذاتی از نظر اندازه نامحدود هستند .■یک عنصر از جریان داده پس از پردازش یا نادیده در نظر گرفته می شود یا آرشیو می شود .■دادهکاوی استخراج اطلاعات مفید و دانش از حجم زیاد داده ها است . ■تکنیک هایی دادهکاوی :■تحلیل قواعد وابستگی : کشف قواعد وابستگی است که هر قاعده وابستگی به صورت جفت صفت- مقدار هایی است که اغلب با هم در یک مجموعه داده اتفاق می افتند . ■کلاسهبندی : فرایند یافتن مجموعه مدلهایی است که کلاس های داده را توصیف و مشخص میکنند تا بدین وسیله بتوان کلاس اشیایی را که نامشخص است مشخص کرد .■تحلیل خوشه ها : اشیا بر اساس قاعده " زیاد کردن شباهت بین عناصر کلاس و کم کردن شباهت بین کلاس ها " ، اشیا را به خوشه هایی تقسیم می کند . اشیا داده ای موجود در یک خوشه بیشترین شباهت را با هم دارند و با اشیا سایر خوشه ها بسیار متفاوت هستند .
موضوعمقاله: داده کاوی و کشف قوانین وابستگی
قالب بندی: word ، قابل ویرایش
تعداد صفحات: 22
شرح مختصر:
چکیده:
با افزایش سیستمهای کامپیوتر و گسترش تکنولوژی اطلاعات , بحث اصلی در علم کامپیوتر از چگونگی جمع آوری اطلاعات به نحوه استفاده از اطلاعات منتقل شده است . سیستمهای داده کاوی ,این امکان را به کاربر می دهند که بتواند انبوه داده های جمع آوری شده را تفسیر کنند و دانش نهفته در آن را استخراج نمایند .
داده کاوی به هر نوع کشف دانش و یا الگوی پنهان در پایگاه داده ها اطلاق می شود . امروزه داده کاوی به عنوان یکی از مهمترین مسائل هوش مصنوعی و پایگاه داده ، محققان بسیاری را به خود جذب کرده است . در این تحقیق ابتدا نگاه کلی بر داده کاوی ، استراتژیهای داده کاوی و... داریم ، سپس مسأله کشف قوانین وابستگی در پایگاه داده را به تفضیل بررسی کردیم و نگاهی به الگوریتمهای موجود برای آن داشتیم . سپس مسأله کشف قوانین وابستگی در پایگاه داده های پویا را مورد بحث قرار دادیم و الگوریتم های ارائه شده مربوطه را مطرح کردیم .
مقدمه :
هدف از این اراِئه و تحقیق بررسی روشهای مطرح داده کاوی است .داده کاوی هر نوع استخراج دانش و یا الگواز داده های موجود در پایگاه داده است که این دانشها و الگوها ضمنی و مستتر در داده ها هستند ,از داده کاوی می توان جهت امور رده بندی (Classification ) و تخمین (Estimation) ,پیش بینی (Prediction) و خوشه بندی (Clustering)استفاده کرد .داده کاوی دارای محاسن فراوانی است . از مهمترین آن محاسن کشف کردن دانش نهفته در سیستم است که به شناخت بهتر سیستم کمک می کند .به عنوان مثال می توان به استفاده ترکیبی از روش خوشه بندی جهت تخصیص بودجه به دسته های مختلف از کتب اشاره کرد .
سیستمهای داده کاوی تقریبا از اوایل دهه 1990 مورد توجه قرار گرفتند . علت این امر نیز آن بود که تا آن زمان سازمانها بیشتر در پی ایجاد سیستمهای عملیاتی کامپیوتری بودند که به وسیله آنها بتوانند داده های موجود در سازمان خود را سازماندهی کنند . پس از ایجاد این سیستمها ,روزانه حجم زیادی از اطلاعات جمع آوری میشد که تفسیر کردن آنها از عهده انسان خارج بود . به همین دلیل , نیاز به تکنیکی بود که از میان انبوه داده معنی استخراج کند و داده کاوی به همین منظور ایجاد و رشد یافت .
بنابر این هدف اصلی از داده کاوی ,کشف دانش نهفته در محیط مورد بررسی است که این دانش می تواند شکلهای گوناگونی داسته باشد . دانش استخراج شده می تواند به فرم الگوهای موجود در داده ها باشد که کشف این الگوها منجر به شناخت بهتر سیستم نیز می شود . الگوهای استخراجی عموما بیانگر روابط بین ویژگیهای سیستم هستند بعنوان مثال در سیستم تجاری یک الگو می تواند بیانگر رابطه بین نوع کالا و میزان تقاضای آن باشد .
در این تحقیق داده کاوی مورد بحث قرار می گیرد . علل استفاده از داده کاوی و منابعی که داده کاوی بر روی آنها اعمال می شود ,علاوه بر این خلاصه ای از روشهای رایج داده کاوی ارائه شده است . تکنیکهای داده کاوی و قوانین وابستگی و الگوریتمهای موجود (Apriori , Aprior TID, Partition, Eclat ,Max Eclat , Vector ) و الگوریتم با ساختار Trie وfp grow و الگوریتمهای کاهشی مورد بررسی قرار می گیرند و در هر مورد مثالها , موارد کاربرد ,تکنیکها و نقاط قوت و ضعف مورد بررسی قرار گرفته اند .
Data mining(داده کاوی)
تعریف :
Data Mining represents a process developed to examine large amounts of
data routinely collected. The term also refers to a collection of tools used to
perform the process. Data mining is used in most areas where data are
collected-marketing, health, communications, etc.
داده کاوی فرآیند بکارگیری یک یا چند تکنیک آموزش کامپیوتر، برای تحلیل و استخراج داده های یک پایگاه داده می باشد.در واقع هدف داده کاوی یافتن الگوهایی در داده هاست.
دانش کسب شده از فرآیند داده کاوی بصورت مدل یا تعمیمی از داده ها نشان داده می شود.
چندین روش داده کاوی وجود دارد با این وجود همه روشها “ آموزش بر مبنای استنتاج “ را بکار می برند.
آموزش بر مبنای استنتاج، فرآیند شکل گیری تعاریف مفهوم عمومی از طریق مشاهده مثالهای خاص از مفاهیمی که آموزش داده شده اند، است.
مثال زیر نمونه ای از دانش بدست امده از طریق فرایند اموزش بر مبنای استنتاج است:
آیا تا کنون فکر کرده اید، فروشگاههای بزرگ اینترنتی در mail های خود به مشتریان از چه تبلیغاتی استفاده می کنند؟ و آیا این تبلیغات برای همه مشتریان یکسان است؟
فهرست :
چکیده
مقدمه
کشف دانش در پایگاه داده
آیا داده کاوی برای حل مسائل ما مناسب است؟
جمع آوری داده ها
بکارگیری نتایج
استراتژیهای داده کاوی
پیش گویی Perdiction
Unsupervised Clustering دسته بندی بدون کنترل
تکنیکهای داده کاوی تحت کنترل
شبکه عصبی
برگشت آماری
قوانین وابستگی
الگوریتم Apriori
الگوریتم Aprior TID
الگوریتم partition
الگوریتم های MaxEclat,Eclat
الگوریتم با ساختار trie
الگوریتم fp-grow
ساخت fp- tree
Fp-tree شرطی
الگوریتم برداری
نگهداری قوانین وابستگی
الگوریتم کاهشی
امروزه تجارت ثانیه به ثانیه دگرگون میشود و ساختاری پیچیده تر به خود میگیرد. در این شرایط، مدیران با انبوهی از اطلاعات مواجه هستند که این اطلاعات باید تحلیل، قابل فهم، نگهداری و بازیابی گردد. وقتی مدیر یک سازمان می خواهد تصمیم بگیرد، داده های فراوانی که اغلب مفید نیستند، در اختیارش قرار میگیرد. این داده ها باید پالایش و معنیدار شوند و به اطلاعات مفید تبدیل شوند. اینجا است که نیاز به سیستمهای اطلاعات مدیریت احساس می شود. دانش سیستمهای اطلاعات مدیریت، اطلاعات مربوط به زمان گذشته و حال را گردآوری میکند، امکان پیشبینی آینده را فراهم میآورد و اطلاعات مورد نیاز مدیران را در اختیار آنها قرار میدهد تا بتوانند تصمیمات مقتضی را اتخاذ کنند. همانطور که از عبارت تعریف کننده اش پیداست، به سه بحث گسترده ی مدیریت، اطلاعات و سیستم پیوند خورده است. برای این منظور این مقاله در فصلهای مجزا، سه مقوله ی اساسی را مورد بحث قرار میدهد و در نهایت به شرح اختصاصی MIS میپردازد.
کلمات کلیدی : سیستم های اطلاعات مدیریت، مدیران، اطلاعت مفید، مفهوم اطلاعات، افزونگی اطلاعات، داده کاوی، مفاهیم سیستم ها، برنامه سازی ساخت یافته، مدل سازی داده، تحلیلگر سیستم ها، مدیر پایگاه داده ها، سیستم اتوماسیون اداری، سیستم خبره یا هوشمند، شاخص های طراحی،
فرمت فایل : word (قابل ویرایش) / تعداد صفحات : 56 صفحه
چکیده :
با افزایش چشمگیر حجم اطلاعات و توسعه وب، نیاز به روش ها و تکنیک هایی که بتوانند امکان دستیابی کارا به دادهها و استخراج اطلاعات از آنها را فراهم کنند، بیش از پیش احساس می شود. وب کاوی یکی از زمینه های تحقیقاتی است که با به کارگیری تکنیک های داده کاوی به کشف و استخراج خودکار اطلاعات از اسناد و سرویسهای وب می پردازد. در واقع وب کاوی، فرآیند کشف اطلاعات و دانش ناشناخته و مفید از داده های وب می باشد. روش های وب کاوی بر اساس آن که چه نوع داده ای را مورد کاوش قرار می دهند، به سه دسته کاوش محتوای وب، کاوش ساختار وب و کاوش استفاده از وب تقسیم می شوند. طی این گزارش پس از معرفی وب کاوی و بررسی مراحل آن، ارتباط وب کاوی با سایر زمینه های تحقیقاتی بررسی شده و به چالش ها، مشکلات و کاربردهای این زمینه تحقیقاتی اشاره می شود. همچنین هر یک از انواع وب کاوی به تفصیل مورد بررسی قرار می گیرند که در این پروژه بیشتر به وب کاوی در صنعت می پردازم. برای این منظور مدل ها، الگوریتم ها و کاربردهای هر طبقه معرفی می شوند.