دستکاری داده های حجیم (big data) با استفاده از مفاهیم تابعی (functional) ، که بر روی یک کلاستر توزیع شده باشد یکی از نیازهای شایع در صنعت و مسلما یکی از اولین استفاده صنعتی گسترده از ایده های تابعی (functional) می باشد.
چند تا از معروف های این بخش MapReduce و Hadoop و Apache Spark می باشد. Apache Spark یکی از سریعترین و مجموع توزیع شده در حافظه می باشد که در Scala نوشته شده است.
در این آموزش ، ما نشان می دهیم که چگونه موازی سازی را میتوان به مورد توزیع شده گسترش داد با دیدگاه Spark .
ما مدل برنامه نویسی Spark را در جزییات پوشش می دهیم. حواستون به این نکته باشه که کجا ها با مدلهای برنامه نویسی مشابه (مانند مجموعه های موازی حافظه تقسیم شده موازی یا مجموعه اسکالا متوالی) ، متفاوت است.
با مثالهای متنوعی در اسکالا و اسپارک ، ما مفاهیم مهم را توضیح خواهیم داد.
در انتهای این درس شما باید بتوانید :
داده را از منایع مختلف ذخیره بخوانید و وارد آپاچی اسپارک بکنید.
داده ها را با اسپارک و اسکالا دستکاری کنید.
الگوریتم ها را به فرم تابعی برای آنالیز داده بیان کنید.
نحوه جلوگیری از suffles و محاسبات دوباره در اسپارک را متوجه شوید.
لازم است حداقل یک سال تجربه برنامه نویسی داشته باشید .
351 دقیقه
پیش نمایش 1 :
پیش نمایش 2 :
پیش نمایش 3 :
پیش نمایش 4 :
پیش نمایش 5 :
پیش نمایش 6 :