introduction to apache hadoop in persian - آشنایی با هدوپ
TRANSCRIPT
مرجع هدوپ ایران{آشنایی با هدوپ(شرکت مهندسی نرم افزار ایده پردازان فرافکر)
. . . . . .www hadoop ir www farafekr co hello@hadoop ir info@farafekr co
INTRODUCTION TO HADOOP
WHO AM Iمبین رنجبر
کارشناس ارشد مهندسی نرم افزار●رئیس هیئت مدیره شرکت مهندسی نرم افزار ایده پردازان فرافکر
مؤسس مرجع هدوپ ایران و MapR مدرک رسمی در حوزه کلن داده از شرکت های 2دارای
MongoDB Inc.Cloudera مشارکت کننده پروژه های Hue و Apache
Hadoop
در موضوع هدوپStackOverfowکاربر برتر سایت
زمان بندیآشنایی با کلن داده●معرفی هدوپ●طبقه بندی داده های کلن●هدوپ چیست●فایل سیستم توزیع شده هدوپ●MapReduceمدل برنامه نویسی ●پرسش و پاسخ●
کلن داده چیست؟
چالش های جدید=
راه حل های جدید
به داده هایی گفته می شود که مدیریت و پردازش آن ها خارج از توانایی راه حل ها و سیستم های موجود است.
ثانیه۶۰فضای مجازی در
رشد داده ها
2013 2015
Unstructured Data
88%
300 Exabytes
80 Exabytes
Structured Data
12%
Dat
abas
eAp
plic
aton
Backup & Archive
Backup
StorageOptons
کلن داده چیست؟
بسیاری از افراد زمانی که این واژه را می شنوند به یاد می افتند.حجم زیادهمان و یا وسعت زیاد
ضوع حجم مطرح نیست. موفقطدر داده های کلن
اصلی فرعی
حجمسرعتتنوعدرستیارزش
طبقه بندی داده های کلن
هدوپ چیست؟
هدوپ یک فریم ورک یا مجموعه ای از نرم افزارها و کتابخانه هایی است از داده های توزیع شده را فراهم کار پردازش حجم عظیمی که ساز و
را می توان به یک سیستم عامل تشبیه کرد Hadoopمیکند. در واقع که طراحی شده تا بتواند حجم زیادی از داده ها را بر روی ماشین های مختلف پردازش و مدیریت کند. هدوپ نیازمند کامپیوترهای گران قیمت مورد معمول و ارزان کامپیوترهای از استفاده ا ب توان ی م و ت نیس
استفاده قرار گیرد.
هدوپ چیست؟
چاقوی سوئیسی قرن بیست و یکم
Big Data != Hadoop
Hadoop != Database
Hadoop != A software
HDFSفایل سیستم توزیع شده هدوپ یا
HDFS ی فصصراداده و داده های بصصصرنامه ها را بصصصه صصصورت جداگانه ذخیره مثل م دیگر های ل فصصای سصصصیستم همانند PVFS کصصند. ، Lustre و GFS ،
HDFS فصصراداده را بصصصر روی یصصک سصصرور اختصاصی بصصصه نصصام NameNode ی کصصند. داده های بصصصرنامه ها نصصیز بصصصر روی سصصرور های دیگر بصصصه نصصام ذخیره م
DataNodes طریق از هم بصصصا سصصصروری ن ای ی تصصصمام شصصوند. مصصی ذخیره بتنی بصصصر بصصصا هم در ارتباط هستند TCP پصصروتکل های م
HDFSفایل سیستم توزیع شده هدوپ یا
فایل ورودی
MapReduceمدل برنامه نویسی
MapReduce بصصصرنامه نصصویسی بصصصرای تصصصحلیل داده های کصصلن بصصصه دل یصصک می بصصصاشد. وازی م اشین های شصصبکه بصصصه صصصورت م صصصورت تصصوزیع شصصده بصصصر روی م
این ارائه شد2۰۰۴مدل توسط گوگل در سال
تشکیل شده است.Reduce و Map تابع اصلی 2این مدل از
MapReduce => Map() , Reduce()
نگاه دقیق تر با یک مثال
هدوپ فقط یک نرم افزار نیست...
با سپاس از توجه شما
سوال؟