به گزارش گرداب، برای نمونه یک فروشگاه اینترنتی را در نظر بگیرید که بتواند با بررسی کلیک بازدیدکنندگان بر روی لینک‌های مختلف وب‌سایت، به علایق و سلیقه مشتریان پی ببرد و بدین‌سان کسب‌وکار خود را بهبود بخشد. یا دولت یک کشور می‌تواند با رصد شبکه‌های اجتماعی به مقابله و پیشگیری از ناهنجاری‌های جامعه بپردازد. نمونه بارز آن موتور جستجوی گوگل است که به دسته‌بندی و اولویت‌بندی علایق کاربران در کشورهای مختلف می‌پردازد و کاربران را در دستیابی به اطلاعات موردنظرشان راهنمایی می‌نماید. همچنین شهرداری یکی از شهرهای بزرگ آمریکا توانسته با جمع‌آوری داده‌ها و اطلاعات در بیش از ۳۰ نقطه جغرافیایی شهری و آنالیز این اطلاعات، به‌منظور کاهش جرم و جنایت و نیز ارائه خدمات بهتر شهری استفاده کند.

درواقع بیگ دیتا به مجموعه اطلاعات ایجادشده و ذخیره‌شده به همراه تجزیه‌وتحلیل آن گویند که ازنظر سرعت، حجم و تنوع قابل‌بررسی باشد.

بیگ دیتا متشکل از دو بخش اساسی و پایه می‌باشد:

۱- سیستم‌های پردازشی که قابلیت ثبت و ضبط اطلاعات را دارند. از نمونه‌های بارز چنین سیستم‌های پردازشی، دیتابیس‌های NoSQL است که قابلیت پاسخگویی به درخواست‌های هم‌زمان را با کمترین زمان تأخیر دارند. از ویژگی‌های چنین دیتابیسی می‌توان به کد نویسی کمتر، سرعت‌بالا و افزایش حجم ذخیره اطلاعات نسبت به دیتابیس‌های رایج اشاره کرد.

۲- سیستم‌های آنالیز کننده اطلاعات هستند که می‌توانند همراه با سیستم‌های پردازشی ارائه‌شده باشند و یا به‌صورت نرم‌افزاری جداگانه مورداستفاده قرار گیرند. در مفهوم بیگ دیتا، سیستم‌های آنالیز کننده بر پایه مدل برنامه‌نویسی MapReduce و معماری پردازش موازی به‌صورت انبوه پیاده‌سازی می‌شوند.

استفاده از چنین تکنولوژی‌هایی در حقیقت پاسخی به محدودیت‌های موجود در ارتباطات دیتابیس‌های رایج و پردازش بر روی تک سرور بوده است که توانسته ضمن حل این مشکلات، متدها جدیدی را برای آنالیز اطلاعات به کار گیرد.

همان‌طور که گفته شد، برخی سیستم‌های آنالیز کننده همراه دیتابیس NoSQL ارائه می‌شوند در غیر این صورت می‌توان اطلاعات دیتابیس NoSQL را در نرم‌افزار آنالیز کننده جداگانه‌ای مانند Hadoop که از مدل برنامه‌نویسی MapReduce استفاده می‌کند، وارد نمود.

درواقع Hadoop یک تکنولوژی نرم‌افزاری رایگان است که مختص پردازش حجم انبوهی از اطلاعات بر روی ذخیره‌سازها و سرورهای کلاستر شده، طراحی گردیده است. این نرم‌افزار شامل سیستم گسترده فایل با نام HDFS می‌باشد.

پردازش ابری

همان‌طور که می‌دانیم سیستم‌های پردازش ابری در یک دهه گذشته توانسته تحولی شگرف در زیرساخت‌های فناوری اطلاعات و ارتباطات به وجود آورد به‌نحوی‌که ازیک‌طرف به کاهش هزینه‌ها منجر شده و از طرف دیگر کارایی سیستم‌ها را بالا برده است. به همین دلیل می‌توان گفت که طراحی سیستم‌های بیگ دیتا برای استفاده از مزایای پردازش ابری بوده است. زیرا برای استفاده از مزایای چنین زیرساخت‌هایی طراحی‌شده‌اند و می‌توانند حجم انبوهی از اطلاعات را از طریق سرورهای کلاستر شده جمع‌آوری و پردازش کنند. برای درک بهتر مطلب می‌توانید نگاهی به ساختار و کارکرد MPP بیندازید که چگونه اطلاعات بخش‌های مختلف را به‌واسطه سرور میزبان جمع‌آوری می‌نماید.

دیتابیس‌های بر پایه مفهوم بیگ دیتا مانند NoSQL می‌توانند به‌راحتی بر بستری از سرورهای کلاستر شده پیاده‌سازی و اجرا شوند و این بدان دلیل است که برخلاف دیتابیس‌های معمولی که اطلاعات در جداول جداگانه ذخیره می‌شوند، در اینجا اطلاعات به‌صورت مجتمع ذخیره می‌گردند.

برای نمونه می‌توان به دیتابیس MangoDB اشاره نمود که بر یایه تکنولوژی NoSQL بنانهاده شده است. این دیتابیس توسط یک سری رابط‌های اینترفیس API قابل اتصال به نرم‌افزار Hadoop می‌باشد تا اطلاعات ثبت‌شده توسط پایگاه داده‌ی MangoDB به‌وسیله سیستم Hadoop و دیتابیس‌های MPP بررسی و آنالیز شوند.

پس نتیجه می‌گیریم سیستم‌های NoSQL به همراه MPP Databases و Hadoop باهم ما را به دنیای بیگ دیتا وارد می‌کنند.

منبع: مفتا