چند تا از معروف های این بخش MapReduce و Hadoop و Apache Spark می باشد. Apache Spark یکی از سریعترین و مجموع توزیع شده در حافظه می باشد که در Scala نوشته شده است.

در این آموزش ، ما نشان می دهیم که چگونه موازی سازی را میتوان به مورد توزیع شده گسترش داد با دیدگاه Spark .

ما مدل برنامه نویسی Spark را در جزییات پوشش می دهیم. حواستون به این نکته باشه که کجا ها با مدلهای برنامه نویسی مشابه (مانند مجموعه های موازی حافظه تقسیم شده موازی یا مجموعه اسکالا متوالی) ، متفاوت است.

با مثالهای متنوعی در اسکالا و اسپارک ، ما مفاهیم مهم را توضیح خواهیم داد.

در انتهای این درس شما باید بتوانید :
داده را از منایع مختلف ذخیره بخوانید و وارد آپاچی اسپارک بکنید.
داده ها را با اسپارک و اسکالا دستکاری کنید.
الگوریتم ها را به فرم تابعی برای آنالیز داده بیان کنید.
نحوه جلوگیری از suffles و محاسبات دوباره در اسپارک را متوجه شوید.

لازم است حداقل یک سال تجربه برنامه نویسی داشته باشید .

لینک دانلود

351 دقیقه

پیش نمایش 1 :

پیش نمایش 2 :

پیش نمایش 3 :

پیش نمایش 4 :

پیش نمایش 5 :

پیش نمایش 6 :

نوشته آموزش Scala و Spark برای big data اولین بار در ايران متلب. پدیدار شد.

اسپارک چیست؟

آپاچی اسپارک یک فریم ورک متن باز برای پردازش داده های بزرگ است که بر پایه سرعت، استفاده آسان و تحلیل های پیچیده ساخته شده است. این برنامه در ابتدا در سال 2009 در آزمایشگاه AMP دانشگاه برکلی[1] توسعه یافت و سپس در سال 2010 به عنوان پروژه ای از آپاچی، به برنامه ای متن باز تبدیل شد.

اسپارک مزیت های بسیاری نسبت به دیگر برنامه ها ی داده بزرگ و فن آوری های MapReduce مانند هدوپ و استورم دارد. اول از همه، اسپارک یک چارچوب یکپارچه برای الزامات مدیریت پردازش داده های بزرگ به همراه تنوع وسیعی از مجموعه داده [2] هایی که همانند منبع داده ها (batch v. real-time streaming data)، در ماهیت، یکتا هستند (داده های متنی، نموداری و غیره) را در اختیار ما می گذارد. اسپارک، برنامه های درون خوشه های هدوپ را قادر می سازد تا در حافظه، با سرعتی 100 برابر و حتی بر روی دیسک، با سرعتی 10 برابر اجرا شوند. اسپارک به شما اجازه می دهد تا به سرعت، برنامه ها را در جاوا، اسکالا یا پایتون بنویسید. این برنامه به همراه یک مجموعه built-in با بیش از 80 عملگر سطح بالا عرضه می شود. علاوه بر عملگر های Map و Reduce، این برنامه از جست و جو های SQL، جریان داده ها، یادگیری ماشین و پردازش داده های نموداری پشتیبانی می کند. توسعه دهندگان می توانند از این قابلیت ها به صورت مستقل و یا از ترکیب آن ها برای اجرای یک خط داده تنها استفاده کنند.

در بخش اول سری مقالات آپاچی اسپارک، ما نگاهی بر خود اسپارک، چگونگی عملکرد آن در مقایسه با یک راه حل MapReduce معمولی، و چگونگی ارائه یک مجموعه کامل از ابزار ها برای پردازش داده های بزرگ توسط این نرم افزار می اندازیم.

هدوپ و اسپارک

هدوپ در طی 10 سال، به عنوان یک تکنولوژی پردازش داده های بزرگ مطرح بوده است و ثابت کرده که راه حلی برای پردازش مجموعه داده های عظیم می باشد. MapReduce یک راه حل فوق العاده برای محاسبات تک گذر[3] است، اما راه حل چندان موثری برای مواردی که نیازمند محاسبات و الگوریتم های چند-گذر[4] هستند، نمی باشد. هر گام در گردش کار پردازش داده ها، یک فاز Map و یک فاز Reduce دارد و شما نیاز دارید تا هر مورد را به الگوی MapReduce تبدیل کنید تا بتوانید بیشترین استفاده را از این برنامه داشته باشید.

داده های خروجی Job میان هر گام باید پیش از آغاز قدم بعدی، در فایل سیستمی توزیع شده ذخیره شود. از این رو، این رویکرد به دلیل تکرار و ذخیره سازی دیسکی، آهسته است. همچنین راه حل های هدوپ عمدتا شامل خوشه هایی هستند که برای راه اندازی و کنترل، دشوار هستند. این برنامه همچنین نیازمند ادغام چندین ابزار برای داده های بزرگ مورد استفاده ( مانند Mahout برای Machine Learning و استورم برای پردازش جریان داده ها ) است.

اگر شما بخواهید کار پیچیده ای را انجام دهید، شما باید مجموعه ای از job های MapReduce  را در یک رشته قرار داده و آن ها را به ترتیب اجرا کنید. هریک از این job ها دارای تاخیر زیاد بوده و هیچ یک تا زمانی که job قبلی به طور کامل پایان نیافته باشد، نمی توانند آغاز شوند.

اسپارک به برنامه نویسان اجازه می دهد تا خط داده های پیچیده و چند مرحله ای را با استفاده از الگوی گراف مستقیم بدون دور[5] (DAG) توسعه دهند. این برنامه همچنین از اشتراک داده “درون حافظه” ای در DAG ها پشتیبانی می کند تا job های گوناگون بتوانند با همان داده ها، کار کنند.

اسپارک بر روی زیرساخت های موجود فایل سیستمی توزیع شده (HDFS) هدوپ اجرا می شود تا کاربردپذیری بیشتر و تقویت شده ای را ارائه کند. این برنامه پشتیبانی هایی را برای به کارگیری برنامه های اسپارک  بر روی کلاستر فعلی Hadoop v1 cluster  ( به همراه SIMR – Spark-Inside-MapReduce) یا SIMR – Spark-Inside-MapReduce فراهم می کند.

ما باید به اسپارک به عنوان جایگزینی برای Hadoop MapReduce نگاه کنیم و نه خود هدوپ. هدف این نیست که هدوپ را جایگزین کنیم، بلکه می خواهیم یک راه حل یکپارچه و جامع برای موارد استفاده مدیریت داده های بزرگ گوناگون و الزامات آن ارائه دهیم.

ویژگی های اسپارک

اسپارک MapReduce را به سطح بعدی، اما با درهم ریختگی کم هزینه تر برای پرادزش داده ها، می برد. با قابلیت هایی از قبیل ذخیره سازی داده “درون حافظه” و پردازش نسبتا در زمان واقعی[6]، عملکرد این برنامه می تواند چندین برابر سریع تر از دیگر فن آوری های داده های بزرگ باشد.

اسپارک همچنین از “ارزیابی کند”[7] در جست و جوی داده های بزرگ پشتیبانی می کند که این کار به بهینه سازی گام ها در گردش کار پردازش داده ها کمک می کند. این برنامه، سطح بالاتری از رابط برنامه های کاربردی[8] را برای بهبود بهره وری توسعه دهنده، و همچنین یک مدل معماری سازگار را برای راه حل های داده های حجیم، فراهم می کند.

اسپارک به جای این که نتایج میانی را بر روی دیسک بنویسد، آن ها را در حافظه نگه می دارد. این کار، عملی بسیار مفید، مخصوصا در هنگامی که شما نیاز دارید ت بر روی همان مجموعه داده، چندین بار کارکنید، بسیار مفید است. این برنامه طراحی شده تا موتور اجرایی باشد که هم به صورت دورن حافظه (in-memory) و هم بر روی دیسک (on-disk) کار کند. عملگر های اسپارک، عملیات های خارجی را در هنگامی که داده ها متناسب با حافظه نباشند[9]، انجام می دهند.

از اسپارک می توان برای پردازش مجموعه داده هایی که بزرگتر از حافظه جمعی[10] در یک خوشه هستند، استتفاده نمود. اسپارک تلاش کرده تا به میزان ممکن، داده ها را در حافظه جای داده  و پس از آن، بر روی دیسک قرار می دهد. شما برای ارزیابی الزامات حافظه، باید به داده ها و موارد استفاده خود نگاه کنید. با این ذخیره سازی درون حافظه ای، اسپارک با مزیت عملکردی همراه می شود.

دیگر ویژگی های اسپارک شامل :

• پیشتیبانی، بیش از فقط توابع Map و Reduce.
• بهینه سازی عملگر های اختیاری نمودار ها.
• ارزیابی کند از جست و جو های داده های بزرگ که به بهینه سازی گردش کار کلی پردازش داده ها کمک می کند.
• فراهم کردن رابط کاربری برنامه ها به صورت مختصر و سازگار در اسکالا، جاوا و پایتون.
• و فراهم کردن پوسته تعاملی برای اسکالا و پایتون، می شود. این مساله هنوز برای جاوا موجود نیست.

اسپارک به زبان برنامه نویسی اسکالا نوشته شده و بر روی محیط ماشین مجازی جاوا (JVM) اجرا می شود. این برنامه هم اکنون از زبان های زیر برای توسعه برنامه های کاربردی با استفاده از اسپارک، پشتیبانی می کند:

Scala

Java

Python

Clojure

R

اکوسیستم اسپارک

علاوه بر رابط برنامه های کاربردی هسته اسپارک[11]، در اینجا کتابخانه های دیگری وجود دارند که بخشی از اکوسیستم اسپارک بوده و قابلیت های دیگری را در تحلیل داده های بزرگ و محدوده های یادگیری ماشین، فراهم می کند.

این کتابخانه ها شامل:

جریان سازی اسپارک[12]

جریان اسپارک می تواند برای پردازش جریان داده ها در زمان- واقعی[13] مورد استفاده قرار گیرد. این عمل، برپایه سبک پردازش و محاسبه micro batch می باشد. این برنامه برای پردازش زمان واقعی داده ها، از DStream استفاده می کند که در اصل یک مجموعه از RDD ها می باشد.

SQL اسپارک

Spark SQL قابلیت در معرض قرار گرفتن مجموعه های داده اسپارک بر روی رابط برنامه های LDBC را فراهم کرده و اجازه می دهد تا sql هایی مانند جست و جو ها، با استفاده از BI سنتی و ابزار های مجسم سازی بر روی داده های اسپارک، اجرا شوند. Spark SQL به کاربران اجازه می دهد تا داده های خود را از فرمت های گوناگونی که هم اکنون دارند (مانند JSON, Parquet ، یک پایگاه داده) ، استخراج کرده، تبدیل کرده و بارگذاری کنند و آن ها را در معرض یک جست و جوی موقت قرار دهند.

MLlib اسپارک

MLlib، کتابخانه یادگیری ماشین مقیاس پذیر اسپارک است که از الگوریتم ها و ابزار های یادگیری معمول از قبیل طبقه بندی، رگرسیون، خوشه بندی، فیلترینگ مشترک، کاهش ابعادی و همچنین بهینه سازی های اساسی اولیه، تشکیل شده است.

GraphX اسپارک

GraphX، API جدید اسپارک (ورژن آلفا) برای گراف ها و محاسبات گراف های موازی است. در سطح بالا، GraphX  با معرفی نمودار املاک توزیع شده انعطاف پذیر[14]، یک نمودار چندگانه از ویژگی هایی که به هر راس و یال متصل شده است،  RDD اسپارک را گسترش می دهد. برای پشتیبانی از محاسبات گراف ها، GraphX همانند متغیر بهینه شده Pregel API، مجموعه ای از عملگر های بنیادین (مانند زیرگراف، رئوس مشترک[15]، و پیام های ادغام شده[16]، را نمایش می دهد. علاوه بر این، GraphX شامل یک مجموعه رو به رشد از الگوریتم ها و سازنده های گرافی می شود که وظایف تحلیل گراف را ساده تر می سازند.

در خارج از این کتابخانه ها، موارد دیگری مانند BlinkDB و Tachyon وجود دارند.

BlinkDB یک موتور جست و جوی تقریبی بوده و می تواند برای اجرای جستجو های SQL بر روی داده های با حجم بالا، مورد استفاده قرار گیرد. این برنامه به کاربران اجازه می دهد تا دقت جستجو را با زمان پاسخ، مبادله کنند. این برنامه با اجرای جستجو ها بر روی نمونه های داده، و نمایش دادن حاصل هایی که با ستون های معنی دار خطا، همراه شده اند، بر روی مجموعه داده های بزرگ کار می کند.

تایکون نیز یک فایل سیستمی توزیع شده حافظه محور است که یک به اشتراک گذاری قابل اعتماد در سطح سرعت حافظه را  در تمام فریم ورک خوشه از قبیل Spark و MapReduce فعال می سازد. تایکون، مجموعه داده های در حال کار را در حافظه به صورت کش بارگذاری کرده و از این رو برای داده هایی که مرتبا خوانده می شوند، مراجعه به دیسک را حذف می کند. این کار، job ها/جستجو های مختلف  و فریم ورک ها را قادر می سازد تا به فایل های کَش شده، در سطح سرعت حافظه دسترسی داشته باشند.

همچنین در اینجا آداپتور های ادغام کننده و دیگر محصولاتی مانند کاساندرا (Spark Cassandra Connector)، و R (SparkR) نیز وجود دارند. با رابط کاساندرا، شما می توانید از اسپارک برای دسترسی به داده های ذخیره شده در یک پایگاه داده کاساندرا دسترسی پیدا کرده و تحلیل های داده را بر روی آن داده ها انجام دهید.

لینک اصلی

[1] UC Berkeley’s AMPLab

[2] Data set

[3] one-pass computations

[4] Multi-pass

[5] directed acyclic graph

[6] real-time

[7] در نظریه زبان برنامه نویسی، lazy evaluation یا call-by-need به نوعی از راهبرد ارزیابی گفته می شود که ارزیابی را تا هنگامی که مقدار آن مورد نیاز باشد، به تاخیر می اندازد.

[8] API

[9]  به نظر می رسد منظور، ظرفیت پایین حافظه است.

[10] حافظه (مموری) های ادغام شده

[11] Spark Core API

[12] Spark Streaming

[13] Real-time

[14] Resilient Distributed Property Graph

[15] joinVertices

[16] aggregateMessages

نوشته آموزش آپاچی اسپارک اولین بار در ايران متلب. پدیدار شد.

هدوپ و داده های بزرگ

نام تجاری آپاچی هدوپ در پی نیاز به پردازش حجم عظیم داده های بزرگ متولد شد. دنیای وب، روزانه در حال تولید اطلاعات بیشتر و بیشتر بود به صورتی که شاخص گذاری بر روی بیش از یک میلیون صفحه محتوا، کار بسیار دشواری بود. برای مقابله، گوگل یک سبک جدید از پردازش داده ها که با نام MapReduce شناخته می شود را اختراع کرد. یک سال بعد، گوگل اوراق سفیدی[1] در توصیف فریم ورک MapReduce منتشر کرد. داگ کاتینگ و مایک کفرلا[2]، با الهام از این اوراق، هدوپ را برای اعمال این مفاهیم بر روی یک نرم افزار فریم ورک متن باز برای حمایت از توزیع در پروژه موتور جستجوی Nutch خلق کردند. با داشتن ریشه اصلی، هدوپ با یک زیرساخت ذخیره سازی یکبار نوشتنی[3] ساده، طراحی شد.

هدوپ در نمایه سازی وب، بسیار فراتر از آغاز خود حرکت کرده و هم اکنون در بسیاری از صنایع و برای طیف گسترده ای از فعالیت هایی که یک قالب مشترک از داده هایی با تنوع، حجم و سرعت های گوناگون را به اشتراک می گذارند، به کار می رود- چه داده های ساخت یافته و چه داده های غیر ساخت یافته. این برنامه در حال حاضر در بسیاری از صنعت ها از قبیل صنعت های اقتصادی، رسانه و سرگرمی، دولتی، بهداشت و درمان، خدمات اطلاعات، خرده فروشی و دیگر صنعت هایی که با داده های بزرگ سر و کار دارند مورد استفاده قرار می گیرد اما هنوز هم محدودیت های زیرساخت های زخیره سازی اصلی، پابرجا هستند. هدوپ به طرز رو به افزایشی در حال تبدیل شدن به یک فریم ورک go to [4] برای اطلاعات فشرده در مقیاس بزرگ، می باشد. هدوپ برای پردازش حجم عظیم داده ها، از ترابایت گرفته تا پتابایت و فراتر از آن ساخته شده است. در این حجم داده، بعید است که بتوان آن را در تنها یک هارد کامپیوتر جای داد، و به همین ترتیب احتمال بسیار کمتری وجود دارد که بتوان آن را بر روی حافظه قرار داد.[5] زیبایی هدوپ در این است که این برنامه، طراحی شده تا بتواند حجم عظیمی از داده ها را با استفاده از اتصال چندین کامپیوتر ساده در کنار هم به صورت موازی، به صورت موثر پردازش کند. هدوپ با استفاده از مدل MapReduce، می تواند یک جستجو در یک مجموعه داده را گرفته، آن را تفکیک کرده و به صورت موازی بر روی گره های متعدد اجرا کند. توزیع محاسبه، مشکل داشتن داده هایی که بسیار بزرگ تر از آن هستند که بر روی تنها یک ماشین جای گیرند را حل می کند.

نرم افزار هدوپ

پشته نرم افزار هدوپ، یک اقتصاد کاملا جدید را برای ذخیره سازی و پردازش داده ها در مقیاس[6]، معرفی می کند. این برنامه به سازمان ها اجازه می دهد تا انعطاف پذیری بی نظیری در توانایی خود برای استفاده حداکثری از تمامی اشکال و اندازه ها، برای کشف بینش و دیدگاه در مورد کسب و کار خود، داشته باشند. کاربران حالا می توانند از کل سخت افزار و پشته نرم افزار، شامل سیستم عامل و نرم افزار هدوپ، در کل خوشه[7] بهره گرفته، و آن را از طریق یک واسط مدیریتی، کنترل کنند. آپاچی هدوپ یک فایل سیستمی توزیع شده را نیز شامل می شود که داده های ورودی را تفکیک کرده و بر روی گره های محاسباتی ذخیره می کند. این کار به داده ها اجازه می دهد تا به صورت موازی و با استفاده از تمامی دستگاه های درون آن خوشه مورد پردازش قرار گیرند.

فایل سیستمی توزیع شده هدوپ [8] به زبان جاوا نوشته شده و بر روی سیستم عامل های گوناگونی اجرا می شود. هدوپ از ابتدا برای همساز کردن پیاده سازی های چندگانه فایل های سیستمی طراحی شد که در این جا برخی از آنان موجود هستند. فایل های سیستمی HDFS و S3 احتمالا از پر استفاده ترین این فایل ها بوده، اما بسیاری دیگر از قبیل فایل های سیستمی MapReduce نیز وجود دارند.

در حالی که گوگل MapReduce را اختراع کرده و نسخه داخلی آن را در اختیار دارد، هدوپ نیز باقی مانده دنیای فریم ورک MapReduce را تشکیل می دهد. پس این همان برنامه ای خواهد بود که ما از آن استفاده خواهیم کرد. بیشتر دوره های هدوپ با جاوا آغاز می شوند، اما متاسفانه 90 درصد کد را فایل های بیهوده ای تشکیل می دهند که ما را از مسیر اصلی دور می کنند. چیزی که قصد دارم در این کتاب به تقویت آن بپردازم، پایه های اصلی هستند، پس ما تنها زمانی به صمت جاوا می رویم که واقعا ضروری باشد.

هدوپ چیست؟

بسیاری از مردم، هدوپ را به عنوان مترادفی برای MapReduce می پندارند. این کار نوعی استفاده در هم ریخته از تکنولوژی است. هدوپ در واقع یک اکوسیستم کامل از فن آوری هایی است که فریم ورک MapReduce را به کار می گیرند. برای مثال، فایل سیستمی هدوپ(HDFS) یک فایل سیستمی است که از تکرار سازی و شاردینگ[9] برای کمینه کردن احتمال شکست استفاده می کند.

در هنگام کار با داده های بزرگ، از آنجایی که ماشین های بسیاری درگیر هستند، احتمال شکست بالاست. این مساله به پارادوکسی به نام “مشکل تولد” مربوط می شود ( این مساله واقعا یک پارادوکس نیست، بلکه مستقیما از ریاضیات پیروی می کند). یکی از نتایج “مشکل تولد”، این است که اگر شما 23 قفرد را در یک اتاق داشته باشید، احتمال این که روز تولد 2 نفر از آن ها مشترک باشد، 50 درصد است. حال اگر این تعداد به 57 نفر برسد، این احتمال، 99 درصد می شود!.

این مساله بر خلاف این واقعیت است که احتمال این که روز تولد دو نفر مشترک باشد،  است.

لینک دانلود

[1]  a white paper- به اسنادی گفته می شود که یک شرکت ارتقا یا نشان دادن وِژگی های یک محصول یا راه حی منتشر می کند.

[2] Doug Cutting and Mike Cafarella

[3] a simple write-once storage infrastructure

[4] دستوری در بسیاری از زبان های برنامه نویسی برای کنترل یک خط دستور دیگر

[5] هرچند در متن اصلی مشخص نکرده چه حافظه ای، اما با توجه به استفاده از واژه MEMORY، احتمالا منظور همان حافظه اصلی یا رم می باشد.

[6] در متن فقط از واژه  at scale لستفاده شده است.

[7] Cluster- رایانش خوشه ای

[8] The Apache Hadoop Distributed File System

[9] نوعی پارتیشن بندی پایگاه داده که فایل های بسیار بزرگ را به فایل های کوچکتر، سریع تر و  قابلیت مدیریت ساده تر تقسیم می کند.

نوشته آموزش آپاچی هدوپ Apache Hadoop اولین بار در ايران متلب. پدیدار شد.

ADO.NET دسترسی به داده ها و دستکاری داده ها را به اجزایی که می توانند به صورت پیوسته یا جدا از هم مورد استفاده قرار گیرند، تقسیم می کند. ADO.NET حاوی داده های تهیه کنندگان دات نت فریم ورک است تا بتوان به پایگاه داده ها، دستورات اجرایی و بازیابی نتایج متصل شد. این نتایج، می توانند به صورت مستقیم مورد پردازش قرار گرفته، در یک شی DataSet از ADO.NET جای داده شوند تا به صورت تک کاره در معرض کاربر قرار گیرند، یا این که با داده های منابع چندگانه ترکیب شوند و یا در بین ردیف ها عبور داده شوند. شیء DATASet نیز می تواند به صورت مستقل در دسترس فراهم کنندگان دات نت فریم ورک قرار گرفته تا داده های محلی را برای نرم افزار یا منبع XML مدیریت کنند.

کلاس های ADO.NET در System.Data.dll قابل دسترسی هستند و با کلاس های XML که در System.Xml.dll یافت می شوند، یکپارچه هستند. برای “نمونه کد”ی که به پایگاه داده متصل شده، داده ها را از آن بازیابی می کند و سپس در یک پنجره کنسول به نمایش می گذارد، کد های نمونه ADO.NET[1] را ببینید.

ADO.NET ، کاربردی بودن را برای توسعه دهندگانی که کد های مدیریت شده ای می نویسند که مشابه کاربرد های فراهم شده برای توسعه دهندگان الگوی تشکیل دهنده شیء (COM) به وسیله اشیاء داده ActiveX (ADO) است، فراهم می کند. ما توصیه می کنیم که شما از ADO.NET و نه ADO، برای دسترسی به داده های خود در نرم افزار های دات نت(.NET) استفاده کنید.

ADO.NET، مستقیم ترین شیوه را برای دسترسی به داده های دات نت فریم ورک فراهم می کند. برای انتزاع سطح بالاتر، که به نرم افزار ها اجازه می دهد تا به جای مدل ذخیره سازی اصلی، در مقابل یک مفهومی کار کنند، به انتیتی فریم ورک ADO.NET (ADO.NET Entity Framework) مراجعه کنید.

بایگانی ها: مجموعه های  System.Data.dll، System.Data.Design.dll، System.Data.OracleClient.dll، System.Data.SqlXml.dll، System.Data.Linq.dll، System.Data.SqlServerCe.dll و System.Data.DataSetExtensions.dll میان داده های شخصی کاربر و داده های غیر شخصی تمایز قائل نمی شوند. این مجموعه ها، انتقال، ذخیره سازی یا جمع آوری داده های شخصی کاربر را انجام نمی دهند. با این حال، برنامه های شخص سوم [2] می توانند با استفاده از این مجموعه ها، داده های شخصی کاربر را انتقال داده، ذخیره و یا جمع آوری کنند.

اشیاء ADO.NET

ADO.NET از بسیاری از اشیائی استفاده می کند که شما می توانید برای کار با داده ها از آن ها استفاده کنید. این بخش، برخی از اشیائی که شما از آن ها استفاده خواهید کرد را معرفی می کند. در طول این دوره آموزشی، شما از نظر چگونگی استفاده این اشیاء در یک درس خاص، در معرض بسیاری از اشیاء دیگر ADO.NET قرار خواهید گرفت. اشیاء زیر، آن هایی هستند که شما باید آن ها را بشناسید. دانستن این اشیاء به شما ایده ای از انواع کارهایی که در حین کار با ADO.NET می توانید انجام دهید، می دهد.

شیء اتصال Sql (The SqlConnection Object)

برای تعامل با یک پایگاه داده، باید اتصالی به آن داشته باشید. این اتصال کمک می کند تا هویت پایگاه، نام آن، نام کاربر، گذرواژه و دیگر پارامتر هایی که برای اتصال به یک پایگاه داده مورد نیاز هستند را به دست بیاورید. یک شیء اتصال، توسط اشیاء دستوری مورد استفاده قرار می گیرد تا آن ها بدانند برای اجرای دستورات، به کدام پایگاه داده باید متصل شوند.

شیء دستور Sql (The SqlCommand Object)

فرآیند تعامل با یک پایگاه داده، به این معنی است که شما باید اقدامی را که می خواهید انجام شود، مشخص کنید. این کار با استفاده از یک شیء دستور انجام می شود. شما از یک شیء فرمان، برای ارسال دستور SQL به پایگاه داده استفاده می کنید. یک شیء دستور، برای یافتن پایگاه داده ای که باید با آن ارتباط برقرار کند، از شیء اتصال استفاده می کند. شما می توانید برای اجرای مستقیم یک دستور،  تنها از یک شیء دستور استفاده کنید یا این که برای یک شیء فرمان، مرجعی در SqlDataAdapter تعیین کنید که مجموعه ای از دستوراتی را نگه می دارد که بر روی گروهی از داده ها عمل می کنند. این کار در زیر شرح داده شده است.

شیء خواننده داده Sql (The SqlDataReader Object)

بسیاری از عملیات های داده ای تنها نیازمند این هستند که شما جریانی از داده ها را برای خواندن در اختیار آن ها بگذارید. شیء خواننده داده به شما اجازه می دهد تا نتایج یک دستور SELECT را از یک شیء دستور به دست آورید. به دلایل عملکردی، داده ای که از یک “داده –خوان” باز می گردد، یک جریان fast forward-only داده است. این سخن به این معنی است که شما تنها می توانید داده را به صورت ترتیبی از این جریان خارج کنید. این کار برای سرعت دهی خوب است، اما اگر نیاز داشته باشید که داده ها را دستکاری کنید، آن گاه یک DataSet، شیء بهتری برای کار کردن می باشد.

شیء مجموعه داده (The DataSet Object)

اشیاء DataSet، نمایش “درون حافظه”[3] ای داده ها هستند. آن ها دقیقا همانند جدول های معمولی پایگاه داده، حاوی جدول های داده چندگانه اشیاء، از قبیل سطر ها و ستون ها هستند. شما حتی می توانید برای ایجاد روابط والدین-فرزند، روابطی را در میان این جدول ها ایجاد کنید. DataSet به طور ویژه برای کمک به مدیریت داده های درون حافظه و پشتیبانی از عملیات های قطع شده از داده ها، جایی که چنین سناریو ای معنی پیدا می کند، طراحی شده است.  DataSet شیء ای است که توسط تمامی فراهم کنندگان داده مورد استفاده قرار می گیرد. این دلیلی است که چرا این شیء ، یک پیشوند خاص ندارد.

[1] ADO.NET Code Examples

[2] third-party applications

[3] in-memory representations of data

نوشته آموزش فارسی Ado.Net اولین بار در ايران متلب. پدیدار شد.

معمولا  به صورت رکورد  ( تعداد زیاد بر روی دیسک)  و روابط بین رکورد ها سازمان دهی می شود، 

این آموزش مربوط به سیستم های مدیریت دیتابیس (DBMS) می باشد:  سیستم های ایجاد،  دست کاری، دسترسی به دیتابیس.

DBMS یک قطعه از نرم افزار است که در  جلوی مجموعه ای از داده ها قرار گرفته و موجب تعدیل  و تسهیل دسترسی نرم افزار ها به داده ها  شده و از این روی تضمین کننده بسیاری از ویژگی ها در مورد داده و دسترسی ها است.

 چرا  باید برای شما مهم باشد؟

• فراگیر بودن ( در همه جا از  گوشی های هوشمند تا  ویکی پدیا)
• اهمیت در دنیای واقعی: بازار نرم افزار( تقریبا اندازه یکسان با  بازار OS  با $20B/y (20 بیلیون دلار در سال)). وب سایت ها، شرکت های بزرگ، پروژه های علمی ، همگی  هم عملیات روزانه و هم عملیات هوش کسب و کار و داده کاوی را مدیریت می کنند
• شما اگر می خواهید به  هدف خود برسید باید از دیتابیس ها یا پایگاه داده ها اطلاع داشته باشید.

 هدف DBMS ، ساده سازی  ذخیره سازی و دسترسی داده  می باشد. برای این منظور، DBMS تسهیلاتی را ارایه می کند که عملیات رایج را بر روی  داده ها انجام می دهند. جامعه دیتابیس، تلاش زیادی را به رسمی سازی مفاهیم کلیدی که بسیاری از برنامه ها از آن برای اصلاح داده ها استفاده می کنند  تخصیص داده است.

 این خود یک زمینه رسمی را برای بحث در مورد ملزومات برنامه در خصوص دسترسی و ذخیره داده ها ارایه کرده و شیوه های رفع نیاز های DBMS را مقایسه می کند. از این روی ابزار های مفهومی قوی برای شما ارایه می شود .  

 یک دوره آموزشی برای معرفی   سیستم های دیتابیس به دانشجویان ارایه شده است که بر اصولی نظیر جبر رابطه مند و  مدل داده ها، بهینه سازی صف، پردازش صف ونیز معاملات تاکید دارند. این یک دوره امزوی مربوط به  طراحی دیتابیس یا برنامه نویسی SQL نیست.

هیچ تجربه قبلی در مورد دیتابیس نیاز نیست.

دکتر امینی استادیار دانشکده کامپیوتر دانشگاه صنعتی شریف

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

جلسه بیست و یکم

جلسه بیست و دوم

جلسه بیست و سوم

جلسه بیست و چهارم

جلسه بیست و پنجم

جلسه بیست و ششم

نوشته آموزش فارسی پایگاه داده اولین بار در ايران متلب. پدیدار شد.

یکی از سوالات علاقه مندان به big data از ما در کلاس ها و سمینارها ، نحوه استفاده از متلب برای کار با داده های حجیم است.

هم اکنون نرم افزارهای متعددی برای کار با داده های بزرگ وجود دارد مانند

IBM Bigdata Analytics

HP Big Data

SAP Bigdata Analysis

MicroSoft Bigdata

اما یادگیری این نرم افزارها زمان زیادی لازم دارد.

عده ای معتقد بودند که متلب چون یک زبان برنامه نویسی سطح بالا است ، لذا نمی تواند با داده های خیلی بزرگ کار کند و مشکل حافظه (memory) بر می خورد. صحبت این افراد کاملا درست می باشد. یکی از مشکلات متلب عدم توانایی کار با داده های حجیم می باشد. ولی گروه ایران متلب بعد از تحقیقات طولانی و تماس با کارشناسان متلب ، متوجه شد که از نسخه 2016 به بعد، متلب این مشکل را برطرف کرده است.

اکنون ما به برنامه نویسان متلب این خبر خوش را می دهیم که می توانید از این به بعد ، داده های بسیار بزرگ را در متلب بارگذاری کنید و عملیات پیچیده ای بر روی آنها انجام دهید و متلب آخ! هم نگوید.

این فیلم آموزشی به موضوع استفاده از متلب در داده های حجیم اختصاص دارد. ما به شما نحوه بارگذاری و استفاده از big data را آموزش می دهیم. در طول آموزش با چند مثال عملی ، سعی کرده ایم که نشان دهیم می توانید از داده های خیلی بزرگ هم در الگوریتم های پیچیده استفاده کنید.

امیدوارم از این محصول منحصربفرد ایران متلب نهایت استفاده و لذت را ببرید.

لینک دانلود

سرفصل :

معرفی یک سیستم آنالیز داده با متلب
به چه مقدار داده ، داده حجیم یا big data گفته می شود؟
چه مقدار داده برای یک کامپیوتر معمولی بزرگ است ؟
مشخصه های یک مسئله داده حجیم
آیا از کدهای معمولی متلب میتوان در داده بزرگ استفاده کرد؟
معرفی آرایه جدید
آیا میتوان چندین فایل را به عنوان یک متغییر در متلب تعریف کرد؟
آرایه های توزیع شده
آرایه های گرافیکی
آرایه های مخصوص داده بزرگ
محاسبات متلب در چه حافظه ای انجام می شوند؟
انجام محاسبات بر روی کارت گرافیک
چه موقع از آرایه های داده بزرگ استفاده می کنیم؟
چه نوع داده های بزرگی را متلب پشتیبانی می کند؟
کدام کلاس متغییر ها را پشتیبانی می کند؟
آیا یادگیری ماشین با داده های بزرگ میتوان در متلب انجام داد؟
وارد کردن داده های excel یا csv حجیم در متلب
پردازش موازی در داده بزرگ
تغییر داده های نا مشخص missing values
شروع برنامه نویسی متلب داده بزرگ
متغییر Tabular Text Data store
فیلد VariableNames
مفهوم … (سه نقطه)
مفهوم Delimiter
فیلد TreatAsMissing
فیلد MissingValues
فیلد TextscanFormat
فیلد ReadSize
فیلد SelectedFormat
پیش نمایش داده ها
استخراج بخشی از داده ها
فیلد SelectedVariableNames
فیلد SelectedFormats
تغییر فرمت فیلدها
عملیات بر روی داده های بزرگ درمتلب
مفهوم unevaluated
عملیات ریاضی
انتقال نتیجه حاصل به workspace
آیا هر دستوری را میتوان بر روی داده بزرگ اعمال کرد؟
دستورات حاوی NAN
استخراج قسمت های بالایی
استخراج قسمت های پایینی
اندیس دهی (logical و 1:k و end-k:end )
انتخاب خانه های مشخص
مرتب کردن
صعودی و نزولی
مرتب کردن بر اساس 2 ستون
حذف مقادیر گم missing value
رسم داده
رسم هیستوگرام
هیستوگرام دو بعدی
یک مثال یادگیری ماشین
وارد کردن دیتا به برنامه
مشخص کردن داده های ورودی و هدف آموزش
مشخص کردن داده های ورودی و هدف تست
آموزش مدل با داده های آموزش
تست مدل آموزش یافته
تبدیل داده های tabular به آرایه
ارزیابی مدل نهایی
محاسبه MSE
رسم نمودار خطا
معرفی توابع یادگیری ماشین که می توان در داده بزرگ استفاده کرد؟

مشاهده قسمت اول :

نوشته آموزش فارسی متلب برای داده بزرگ MATLAB for Big Data اولین بار در ايران متلب. پدیدار شد.

شايد اين سوال براي شما ايجاد شود كه ديتابيس چه اندازه اي داشته باشد تا به عنوان يك big data در نظر گرفته شود؟ هيچ جواب مشخص و سريعي براي اين سوال وجود ندارد. بلكه به طور كلي اين اصلاح (big data) به دنبال يافتن ابزار هاو تكنيك هايي است كه قادر باشد ديتاست هاي بزرگ را هم پردازش كند. برخي از برنامه هاي اين حوزه، چندين ماشين پردازنده را با هم به طور موازي استفاده مي كنند تا بتوانند در مدت زمان قابل قبولي همه داده ها را پردازش كنند.

 كاربردهاي بسيار شاخص در اين حوزه در شبكه هاي اجتماعي و موتورهاي جستجو مي باشد. مديران شبكه هاي اجتماعي دوست دارند رفتار كابران خود را مورد تجزيه و تحليل قرار دهند تا آنرا به محتوي مورد علاقه اشان متصل كنند و هم تبليغات مرتبط با آنها را پخش كنند و همانطور كه مي دانيم برخي از اين شبكه هاي اجتماعي بيش از ميليون ها كاربر دارند. مثال بعدي موتورهاي جستجو مي باشند. موتورهاي جستجو هم با سيلي عظيمي از اطلاعات در سايتهاي مختلف در ارتباط هستند، تحليل رفتار كاربر در صفحات نتيجه جستجو به آنها خيلي كمك مي كند تا در جستجوهاي بعدي، نتايج بهتري را به كاربر خود نشان دهند و سطح رضايت او را افزايش دهند.

استاد دکتر محمد علی آبام، استاد دانشگاه صنعتی شریف

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

نوشته فيلم آموزشي فارسي داده بزرگ اولین بار در ايران متلب. پدیدار شد.