داده کاوی

ما در دورانی زندگی میکنیم که هر روز حجم بسیاری از داده تولید و جا به جا می شوند .

به عنوان مثال همه ما اینستا گرام داریم . با یک سرچ کوجک در گوگل می توانیم به رقم 95 میلیون عکس و فیلم که روی اینستا گرام آپلود می شوند برسیم .این یعنی 95 میلیون دیتای متلف که در طول یک روز فقط روی اینستاگرام به وجود می آید. حال بیایید این رقم را بست بدهیم به تمام اپلیکیشن ها و روش هایی که از طریق آن ها می توان یک دیتا درست کرد مانند ایمیل و … . عددی که به دست می آید عدد خیلی بزرگی می شود و حتی شاید نتوان آن را خواند.

تعریف داده کاوی

داده کاوی فرآیند استخراج دانش یا بینش از مقادیر زیادی داده با استفاده از تکنیک های مختلف آماری و محاسباتی است. داده ها می توانند ساختار یافته، نیمه ساختاریافته یا بدون ساختار باشند و می توانند در اشکال مختلف مانند پایگاه های داده، انبارهای داده و دریاچه های داده ذخیره شوند.

هدف اولیه داده کاوی کشف الگوها و روابط پنهان در داده ها است که می تواند برای تصمیم گیری یا پیش بینی آگاهانه استفاده شود. این شامل کاوش داده‌ها با استفاده از تکنیک‌های مختلف مانند خوشه‌بندی، طبقه‌بندی، تجزیه و تحلیل رگرسیون، استخراج قوانین انجمن و تشخیص ناهنجاری است.

داده کاوی دارای کاربردهای گسترده ای در صنایع مختلف از جمله بازاریابی، مالی، بهداشت و درمان و ارتباطات است. به عنوان مثال، در بازاریابی، داده کاوی را می توان برای شناسایی بخش های مشتری و هدف کمپین های بازاریابی مورد استفاده قرار داد، در حالی که در مراقبت های بهداشتی، می توان از آن برای شناسایی عوامل خطر بیماری ها و توسعه برنامه های درمانی شخصی استفاده کرد.

تاریخچه داده کاوی

در دهه 1990 اصطلاح “داده کاوی” معرفی شد، اما داده کاوی تکامل بخشی با تاریخچه گسترده است.

تکنیک های اولیه شناسایی الگوها در داده ها شامل قضیه بیز (1700) و تکامل رگرسیون (1800s) است. تولید و قدرت رو به رشد علوم کامپیوتر، جمع‌آوری، ذخیره‌سازی و دستکاری داده‌ها را افزایش داده است، زیرا مجموعه داده‌ها از نظر اندازه و سطح پیچیدگی گسترده هستند. تحقیقات صریح داده‌های عملی به تدریج با پردازش غیرمستقیم داده‌های خودکار و سایر اکتشافات علوم رایانه مانند شبکه‌های عصبی، خوشه‌بندی، الگوریتم‌های ژنتیک (دهه 1950)، درخت‌های تصمیم (دهه 1960)، و ماشین‌های بردار پشتیبان (دهه 1990) بهبود یافته است.

ریشه های داده کاوی به سه خط خانواده بازمی گردد: آمار کلاسیک، هوش مصنوعی و یادگیری ماشین.

▪ آمار کلاسیک:

آمار اساس بیشتر فناوری هایی است که داده کاوی بر اساس آن ساخته می شود، مانند تحلیل رگرسیون، انحراف استاندارد، توزیع استاندارد، واریانس استاندارد، تجزیه و تحلیل تبعیض آمیز، تجزیه و تحلیل خوشه ای و فواصل اطمینان. همه اینها برای تجزیه و تحلیل داده ها و اتصال داده ها استفاده می شود.

▪ هوش مصنوعی:

هوش مصنوعی یا هوش مصنوعی بر خلاف آمار مبتنی بر اکتشافی است. تلاش می‌کند تا پردازش‌هایی مانند تفکر انسانی را در مسائل آماری به کار گیرد. یک مفهوم هوش مصنوعی خاص توسط برخی از محصولات تجاری پیشرفته، مانند ماژول های بهینه سازی پرس و جو برای سیستم مدیریت پایگاه داده رابطه ای (RDBMS) اتخاذ شد.

▪ فراگیری ماشین:

یادگیری ماشینی ترکیبی از آمار و هوش مصنوعی است. ممکن است به عنوان یک تکامل هوش مصنوعی در نظر گرفته شود زیرا اکتشافی هوش مصنوعی را با تجزیه و تحلیل آماری پیچیده ترکیب می کند. یادگیری ماشینی سعی می‌کند برنامه‌های کامپیوتری را قادر سازد تا از داده‌هایی که مطالعه می‌کنند بدانند تا برنامه‌ها بر اساس ویژگی‌های داده‌های مورد بررسی تصمیم متمایز بگیرند. از آمار برای مفاهیم اساسی و اضافه کردن الگوریتم‌ها و اکتشافی‌های هوش مصنوعی بیشتر برای دستیابی به هدف خود استفاده می‌کند.

چرا داده کاوی اهمیت دارد ؟

داده کاوی جزء حیاتی ابتکارات تحلیلی موفق در سازمانها است. اطلاعاتی که تولید می‌کند می‌تواند در هوش تجاری (BI) و برنامه‌های تحلیلی پیشرفته که شامل تجزیه و تحلیل داده‌های تاریخی است، و همچنین برنامه‌های تحلیلی بلادرنگ که داده‌های جریانی را هنگام ایجاد یا جمع‌آوری بررسی می‌کنند، استفاده شود.

داده کاوی موثر در جنبه های مختلف برنامه ریزی استراتژی های تجاری و مدیریت عملیات کمک می کند. این شامل کارکردهای مواجهه با مشتری مانند بازاریابی، تبلیغات، فروش و پشتیبانی مشتری، به علاوه تولید، مدیریت زنجیره تامین، امور مالی و منابع انسانی است. داده کاوی از کشف تقلب، مدیریت ریسک، برنامه ریزی امنیت سایبری و بسیاری دیگر از موارد استفاده حیاتی تجاری پشتیبانی می کند. همچنین نقش مهمی در مراقبت های بهداشتی، دولتی، تحقیقات علمی، ریاضیات، ورزش و غیره ایفا می کند.