اسپارک چیست؟

آپاچی اسپارک یک فریم ورک متن باز برای پردازش داده های بزرگ است که بر پایه سرعت، استفاده آسان و تحلیل های پیچیده ساخته شده است. این برنامه در ابتدا در سال 2009 در آزمایشگاه AMP دانشگاه برکلی[1] توسعه یافت و سپس در سال 2010 به عنوان پروژه ای از آپاچی، به برنامه ای متن باز تبدیل شد.

اسپارک مزیت های بسیاری نسبت به دیگر برنامه ها ی داده بزرگ و فن آوری های MapReduce مانند هدوپ و استورم دارد. اول از همه، اسپارک یک چارچوب یکپارچه برای الزامات مدیریت پردازش داده های بزرگ به همراه تنوع وسیعی از مجموعه داده [2] هایی که همانند منبع داده ها (batch v. real-time streaming data)، در ماهیت، یکتا هستند (داده های متنی، نموداری و غیره) را در اختیار ما می گذارد. اسپارک، برنامه های درون خوشه های هدوپ را قادر می سازد تا در حافظه، با سرعتی 100 برابر و حتی بر روی دیسک، با سرعتی 10 برابر اجرا شوند. اسپارک به شما اجازه می دهد تا به سرعت، برنامه ها را در جاوا، اسکالا یا پایتون بنویسید. این برنامه به همراه یک مجموعه built-in با بیش از 80 عملگر سطح بالا عرضه می شود. علاوه بر عملگر های Map و Reduce، این برنامه از جست و جو های SQL، جریان داده ها، یادگیری ماشین و پردازش داده های نموداری پشتیبانی می کند. توسعه دهندگان می توانند از این قابلیت ها به صورت مستقل و یا از ترکیب آن ها برای اجرای یک خط داده تنها استفاده کنند.

در بخش اول سری مقالات آپاچی اسپارک، ما نگاهی بر خود اسپارک، چگونگی عملکرد آن در مقایسه با یک راه حل MapReduce معمولی، و چگونگی ارائه یک مجموعه کامل از ابزار ها برای پردازش داده های بزرگ توسط این نرم افزار می اندازیم.

هدوپ و اسپارک

هدوپ در طی 10 سال، به عنوان یک تکنولوژی پردازش داده های بزرگ مطرح بوده است و ثابت کرده که راه حلی برای پردازش مجموعه داده های عظیم می باشد. MapReduce یک راه حل فوق العاده برای محاسبات تک گذر[3] است، اما راه حل چندان موثری برای مواردی که نیازمند محاسبات و الگوریتم های چند-گذر[4] هستند، نمی باشد. هر گام در گردش کار پردازش داده ها، یک فاز Map و یک فاز Reduce دارد و شما نیاز دارید تا هر مورد را به الگوی MapReduce تبدیل کنید تا بتوانید بیشترین استفاده را از این برنامه داشته باشید.

داده های خروجی Job میان هر گام باید پیش از آغاز قدم بعدی، در فایل سیستمی توزیع شده ذخیره شود. از این رو، این رویکرد به دلیل تکرار و ذخیره سازی دیسکی، آهسته است. همچنین راه حل های هدوپ عمدتا شامل خوشه هایی هستند که برای راه اندازی و کنترل، دشوار هستند. این برنامه همچنین نیازمند ادغام چندین ابزار برای داده های بزرگ مورد استفاده ( مانند Mahout برای Machine Learning و استورم برای پردازش جریان داده ها ) است.

اگر شما بخواهید کار پیچیده ای را انجام دهید، شما باید مجموعه ای از job های MapReduce  را در یک رشته قرار داده و آن ها را به ترتیب اجرا کنید. هریک از این job ها دارای تاخیر زیاد بوده و هیچ یک تا زمانی که job قبلی به طور کامل پایان نیافته باشد، نمی توانند آغاز شوند.

اسپارک به برنامه نویسان اجازه می دهد تا خط داده های پیچیده و چند مرحله ای را با استفاده از الگوی گراف مستقیم بدون دور[5] (DAG) توسعه دهند. این برنامه همچنین از اشتراک داده “درون حافظه” ای در DAG ها پشتیبانی می کند تا job های گوناگون بتوانند با همان داده ها، کار کنند.

اسپارک بر روی زیرساخت های موجود فایل سیستمی توزیع شده (HDFS) هدوپ اجرا می شود تا کاربردپذیری بیشتر و تقویت شده ای را ارائه کند. این برنامه پشتیبانی هایی را برای به کارگیری برنامه های اسپارک  بر روی کلاستر فعلی Hadoop v1 cluster  ( به همراه SIMR – Spark-Inside-MapReduce) یا SIMR – Spark-Inside-MapReduce فراهم می کند.

ما باید به اسپارک به عنوان جایگزینی برای Hadoop MapReduce نگاه کنیم و نه خود هدوپ. هدف این نیست که هدوپ را جایگزین کنیم، بلکه می خواهیم یک راه حل یکپارچه و جامع برای موارد استفاده مدیریت داده های بزرگ گوناگون و الزامات آن ارائه دهیم.

ویژگی های اسپارک

اسپارک MapReduce را به سطح بعدی، اما با درهم ریختگی کم هزینه تر برای پرادزش داده ها، می برد. با قابلیت هایی از قبیل ذخیره سازی داده “درون حافظه” و پردازش نسبتا در زمان واقعی[6]، عملکرد این برنامه می تواند چندین برابر سریع تر از دیگر فن آوری های داده های بزرگ باشد.

اسپارک همچنین از “ارزیابی کند”[7] در جست و جوی داده های بزرگ پشتیبانی می کند که این کار به بهینه سازی گام ها در گردش کار پردازش داده ها کمک می کند. این برنامه، سطح بالاتری از رابط برنامه های کاربردی[8] را برای بهبود بهره وری توسعه دهنده، و همچنین یک مدل معماری سازگار را برای راه حل های داده های حجیم، فراهم می کند.

اسپارک به جای این که نتایج میانی را بر روی دیسک بنویسد، آن ها را در حافظه نگه می دارد. این کار، عملی بسیار مفید، مخصوصا در هنگامی که شما نیاز دارید ت بر روی همان مجموعه داده، چندین بار کارکنید، بسیار مفید است. این برنامه طراحی شده تا موتور اجرایی باشد که هم به صورت دورن حافظه (in-memory) و هم بر روی دیسک (on-disk) کار کند. عملگر های اسپارک، عملیات های خارجی را در هنگامی که داده ها متناسب با حافظه نباشند[9]، انجام می دهند.

از اسپارک می توان برای پردازش مجموعه داده هایی که بزرگتر از حافظه جمعی[10] در یک خوشه هستند، استتفاده نمود. اسپارک تلاش کرده تا به میزان ممکن، داده ها را در حافظه جای داده  و پس از آن، بر روی دیسک قرار می دهد. شما برای ارزیابی الزامات حافظه، باید به داده ها و موارد استفاده خود نگاه کنید. با این ذخیره سازی درون حافظه ای، اسپارک با مزیت عملکردی همراه می شود.

دیگر ویژگی های اسپارک شامل :

• پیشتیبانی، بیش از فقط توابع Map و Reduce.
• بهینه سازی عملگر های اختیاری نمودار ها.
• ارزیابی کند از جست و جو های داده های بزرگ که به بهینه سازی گردش کار کلی پردازش داده ها کمک می کند.
• فراهم کردن رابط کاربری برنامه ها به صورت مختصر و سازگار در اسکالا، جاوا و پایتون.
• و فراهم کردن پوسته تعاملی برای اسکالا و پایتون، می شود. این مساله هنوز برای جاوا موجود نیست.

اسپارک به زبان برنامه نویسی اسکالا نوشته شده و بر روی محیط ماشین مجازی جاوا (JVM) اجرا می شود. این برنامه هم اکنون از زبان های زیر برای توسعه برنامه های کاربردی با استفاده از اسپارک، پشتیبانی می کند:

Scala

Java

Python

Clojure

R

اکوسیستم اسپارک

علاوه بر رابط برنامه های کاربردی هسته اسپارک[11]، در اینجا کتابخانه های دیگری وجود دارند که بخشی از اکوسیستم اسپارک بوده و قابلیت های دیگری را در تحلیل داده های بزرگ و محدوده های یادگیری ماشین، فراهم می کند.

این کتابخانه ها شامل:

جریان سازی اسپارک[12]

جریان اسپارک می تواند برای پردازش جریان داده ها در زمان- واقعی[13] مورد استفاده قرار گیرد. این عمل، برپایه سبک پردازش و محاسبه micro batch می باشد. این برنامه برای پردازش زمان واقعی داده ها، از DStream استفاده می کند که در اصل یک مجموعه از RDD ها می باشد.

SQL اسپارک

Spark SQL قابلیت در معرض قرار گرفتن مجموعه های داده اسپارک بر روی رابط برنامه های LDBC را فراهم کرده و اجازه می دهد تا sql هایی مانند جست و جو ها، با استفاده از BI سنتی و ابزار های مجسم سازی بر روی داده های اسپارک، اجرا شوند. Spark SQL به کاربران اجازه می دهد تا داده های خود را از فرمت های گوناگونی که هم اکنون دارند (مانند JSON, Parquet ، یک پایگاه داده) ، استخراج کرده، تبدیل کرده و بارگذاری کنند و آن ها را در معرض یک جست و جوی موقت قرار دهند.

MLlib اسپارک

MLlib، کتابخانه یادگیری ماشین مقیاس پذیر اسپارک است که از الگوریتم ها و ابزار های یادگیری معمول از قبیل طبقه بندی، رگرسیون، خوشه بندی، فیلترینگ مشترک، کاهش ابعادی و همچنین بهینه سازی های اساسی اولیه، تشکیل شده است.

GraphX اسپارک

GraphX، API جدید اسپارک (ورژن آلفا) برای گراف ها و محاسبات گراف های موازی است. در سطح بالا، GraphX  با معرفی نمودار املاک توزیع شده انعطاف پذیر[14]، یک نمودار چندگانه از ویژگی هایی که به هر راس و یال متصل شده است،  RDD اسپارک را گسترش می دهد. برای پشتیبانی از محاسبات گراف ها، GraphX همانند متغیر بهینه شده Pregel API، مجموعه ای از عملگر های بنیادین (مانند زیرگراف، رئوس مشترک[15]، و پیام های ادغام شده[16]، را نمایش می دهد. علاوه بر این، GraphX شامل یک مجموعه رو به رشد از الگوریتم ها و سازنده های گرافی می شود که وظایف تحلیل گراف را ساده تر می سازند.

در خارج از این کتابخانه ها، موارد دیگری مانند BlinkDB و Tachyon وجود دارند.

BlinkDB یک موتور جست و جوی تقریبی بوده و می تواند برای اجرای جستجو های SQL بر روی داده های با حجم بالا، مورد استفاده قرار گیرد. این برنامه به کاربران اجازه می دهد تا دقت جستجو را با زمان پاسخ، مبادله کنند. این برنامه با اجرای جستجو ها بر روی نمونه های داده، و نمایش دادن حاصل هایی که با ستون های معنی دار خطا، همراه شده اند، بر روی مجموعه داده های بزرگ کار می کند.

تایکون نیز یک فایل سیستمی توزیع شده حافظه محور است که یک به اشتراک گذاری قابل اعتماد در سطح سرعت حافظه را  در تمام فریم ورک خوشه از قبیل Spark و MapReduce فعال می سازد. تایکون، مجموعه داده های در حال کار را در حافظه به صورت کش بارگذاری کرده و از این رو برای داده هایی که مرتبا خوانده می شوند، مراجعه به دیسک را حذف می کند. این کار، job ها/جستجو های مختلف  و فریم ورک ها را قادر می سازد تا به فایل های کَش شده، در سطح سرعت حافظه دسترسی داشته باشند.

همچنین در اینجا آداپتور های ادغام کننده و دیگر محصولاتی مانند کاساندرا (Spark Cassandra Connector)، و R (SparkR) نیز وجود دارند. با رابط کاساندرا، شما می توانید از اسپارک برای دسترسی به داده های ذخیره شده در یک پایگاه داده کاساندرا دسترسی پیدا کرده و تحلیل های داده را بر روی آن داده ها انجام دهید.

لینک اصلی

[1] UC Berkeley’s AMPLab

[2] Data set

[3] one-pass computations

[4] Multi-pass

[5] directed acyclic graph

[6] real-time

[7] در نظریه زبان برنامه نویسی، lazy evaluation یا call-by-need به نوعی از راهبرد ارزیابی گفته می شود که ارزیابی را تا هنگامی که مقدار آن مورد نیاز باشد، به تاخیر می اندازد.

[8] API

[9]  به نظر می رسد منظور، ظرفیت پایین حافظه است.

[10] حافظه (مموری) های ادغام شده

[11] Spark Core API

[12] Spark Streaming

[13] Real-time

[14] Resilient Distributed Property Graph

[15] joinVertices

[16] aggregateMessages

نوشته آموزش آپاچی اسپارک اولین بار در ايران متلب. پدیدار شد.

مرور اجمالی

به طور کی، داده کاوی( که گاهی اوقات موسوم به کشف دانش یا داده است)، فرایند تحلیل داده ها از نقطه نظرات مختلف و خلاصه سازی آن به اطلاعات مقید است. اطلاعاتی را که می توان برای افزایش درامد، کاهش هزینه و یا هر دو مورد استفاده قرار داد. نرم افزار داده کاوی، یکی از ابزار های تحلیلی برای تحلیل داده ها است. این نرم افزار به کاربران امکان تحلیل داده ها را از ابعاد و زوایای مختلف، طبقه بندی آن و خلاصه سازی روابط شناسایی شده می دهد. از دیدگاه فنی، داده کاوی، فرایند یافت همبستگی یا الگو های میان چندین رشته در دیتابیس های رابطه مند بزرگ می باشد.

نواوری پیوسته

اگرچه داده کاوی یک اصطلاح نسبتا جدید است، با این حال فناوری یک اصطلاح جدید نمی باشد. شرکت ها از کامپیوتر های قوی برای پردازش حجم زیادی از داده های اسکنر سوپرمارکت و تحلیل گزارش های تحقیقاتی بازاری برای چندین سال استفاده کرده اند. با این حال، نواوری های مستمر در توان پردازش کامپیوتری، حافظه دیسک و نرم افزار های اماری به شدت موجب افزایش صحت تجزیه تحلیل ها ضمن کاهش هزینه شده است.

مثال

برای مثال، یک سوپر مارکت از ظرفیت داده کاوی نرم افزار اوراکل برای تحلیل الگوهای خرید محلی استفاده کرده است. آن ها کشف کرده اند که وقتی مردان پوشک را در روز پنج شنبه یا شنبه خرید می کنند، آن ها تمایل دارند آبجو نیز بخرند. تحلیل بیشتر نشان داده است که این خریداران معمولا خرید هفتگی از سوپر مارکت را در روز شنبه انجام دهند. در پنج شنبه، با این حال آن ها چند ایتم را خریداری می کنند. خرده فروش به این نتیجه رسیده است که مردان آبجو را برای اخر هفته خریداری می کنند. سوپر مارکت می تواند از این اطلاعات جدیدا کشف شده به شیوه های مختلف برای افزایش سود و درامد استفاده کند. برای مثال،آن ها می توانند ویترین ابجو را نزدیک ویترین پوشک قرار دهند. و، آن ها می توانند اطمینان حاصل کنند که ابجو و پوشک با قیمت کامل در پنج شنبه بفروشند.

داده ها، اطلاعات و دانش

داده ها

داده ها شامل هر گونه حقایق، اعداد و متونی هستند که می توانند توسط یک کامپیوتر پردازش شوند. امروزه، سازمان ها در حال انباشت طیف وسیعی از داده ها به فرمت ها و دیتابیس های مختلف هستند از جمله :

• داده های عملیاتی یا تراکنشی نظیر فروش، هزینه، موجودی، و حسابداری
• داده های غیر عملیاتی نظیر فروش صنعتی، داده های پیش بینی و داده های اقتصادی کلان
• فرا داده ها، داده های مربوط به خود داده ها نظیر طرح دیتابیس منطقی یا تعاریف دیکشنری داده ها

اطلاعات

الگو ها، رابط و همبستگی های میان همه این داده ها می توانند اطلاعات را در اختیار بگذارند. برای مثال، تحلیل داده های نقطه تراکنش فروش خرده فروشی می توانند اطلاعاتی را در مورد نوع محصول فروشی و زمان آن ارایه کنند

دانش

اطلاعات را می توان به دانش مربوط به الگو های تاریخی و تغییرات آینده تبدیل کرد. برای مثال، اطلاعات خلاصه در خصوص فروش سوپرمارکت را می توان از حیث تلاش های تبلیغاتی برای ارایه دانش رفتار خرید مصرف کننده تحلیل کرد. از این روی، یک خرده فروش یا تولید کننده قادر به تعیین نوع گویه هایی است که بیشترین حساسیت را به تلاش های تبلیغاتی دارند.

انبار های داده ها

پیشرفت های بنیادین در جذب داده ها، توان پردازشی، انتقال داده ها و ظرفیت های ذخیره سازی و حافظه ای سازمان ها را قادر به تلفیق دیتابیس های مختلف در انبار های داده ها می کنند. انبار داده ها به صورت فرایند مدیریت داده های متمرکز و نیز بازیابی آن ها تعریف می شود. انبار داده ها نظیر داده کاوی، یک اصطلاح نسبتا جدید است اگرچه این مفهوم به خودی خود به مدت سال ها وجود داشته است. انبار داده ها یک چشم انداز ایده ال برای حفظ مخازن مرکزی داد ه های سازمانی است. متمرکز سازی داده ها برای بیشیته سازی دسترسی و تحلیل کاربر نیاز است. پیشرفت های فناوری مهم موجب شده است تا این چشم انداز به یک واقعیت برای بسیاری از شرکت ها تبدیل شود. و پیشرفت های دیگر در نرم افزار های تحلیل داده ها به کاربران امکان دسترسی به این داده ها را به طور رایگان می دهد. نرم افزار تحلیل داده ها، از داده کاوی پشتیبانی می کند.

دانلود رایگان درس داده کاوی دانشگاه اصفهان

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

محصولات مرتبط

نوشته داده کاوی data mining اولین بار در ايران متلب. پدیدار شد.

شايد اين سوال براي شما ايجاد شود كه ديتابيس چه اندازه اي داشته باشد تا به عنوان يك big data در نظر گرفته شود؟ هيچ جواب مشخص و سريعي براي اين سوال وجود ندارد. بلكه به طور كلي اين اصلاح (big data) به دنبال يافتن ابزار هاو تكنيك هايي است كه قادر باشد ديتاست هاي بزرگ را هم پردازش كند. برخي از برنامه هاي اين حوزه، چندين ماشين پردازنده را با هم به طور موازي استفاده مي كنند تا بتوانند در مدت زمان قابل قبولي همه داده ها را پردازش كنند.

 كاربردهاي بسيار شاخص در اين حوزه در شبكه هاي اجتماعي و موتورهاي جستجو مي باشد. مديران شبكه هاي اجتماعي دوست دارند رفتار كابران خود را مورد تجزيه و تحليل قرار دهند تا آنرا به محتوي مورد علاقه اشان متصل كنند و هم تبليغات مرتبط با آنها را پخش كنند و همانطور كه مي دانيم برخي از اين شبكه هاي اجتماعي بيش از ميليون ها كاربر دارند. مثال بعدي موتورهاي جستجو مي باشند. موتورهاي جستجو هم با سيلي عظيمي از اطلاعات در سايتهاي مختلف در ارتباط هستند، تحليل رفتار كاربر در صفحات نتيجه جستجو به آنها خيلي كمك مي كند تا در جستجوهاي بعدي، نتايج بهتري را به كاربر خود نشان دهند و سطح رضايت او را افزايش دهند.

استاد دکتر محمد علی آبام، استاد دانشگاه صنعتی شریف

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

نوشته فيلم آموزشي فارسي داده بزرگ اولین بار در ايران متلب. پدیدار شد.

عمده شهرت وکا به خاطر سادگی کار با آن و تعداد زیاد روشهای موجود داده کاوی آن می باشد. شما در این نرم افزار می توانید بیشتر دسته بندی کننده های مهم را پیدا کنید. هر دسته بندی کننده برای خود تنظیماتی دارد که کاربر می تواند با تغییر آنها نحوه عملکرد آنرا تنظیم کند.

کار با نرم افزار وکا معایبی دارد. یکی از مهم ترین معایب آن بسته بودن دست کاربر در تغییر توابع این نرم افزار است. به عبارت دیگر شما نمی توانید هیچ تغییری در روال اجرای یک دسته بندی کننده به عنوان مثال شبکه عصبی بدهید. شما فقط باید دیتا بدهید. خروجی بدهید. اگر بخواهید کد جاوا شبکه عصبی را تغییر دهید و یک شبکه عصبی بنا به ایده خود داشته باشید، غیر ممکن است. اما نرم افزار متلب MATLAB این مشکل را ندارد. در متلب شما می توانید هر تغییری که خواستید در کد انجام دهید.

عیب بعدی وکا این است که همه چیز به صورت GUI انجام می شود. یعنی تمامی عملیات با کلیک کاربر انجام می شود و برای هر کاری پنجره ای تعریف شده است. لذا اگر شما بخواهید تغییری در روند برنامه انجام دهید باید همه چیز را از اول با کلیک انجام دهید. ولی در متلب شما می توانید یک پروژه بزرگ را پیاده سازی کنید و برای تغییر یک قسمت از تابع تنها به همان بخش مراجعه کرده و تغییر خود را اعمال کنید و سپس تنها با یک کلیک نتیجه تغییرات جدید را ببینید.

یکی از مشکلات متلب عدم وجود تمامی توابع وکا می باشد. نرم افزار وکا از نظر تعداد دسته بندی کننده ها نسبت به متلب کاملتر است. لذا گاهی لازم می شود که ما یکی از توابع وکا در متلب فراخوانی کنیم و از آن استفاده کنیم.

لینک دانلود

در این فیلم آموزشی قصد داریم که به شما نحوه استفاده از توابع وکا در متلب را آموزش بدهیم.

لینک تخته سفید
لینک آپارات

نوشته آموزش استفاده از weka در matlab اولین بار در ايران متلب. پدیدار شد.

.

.

.

.

.

.

بعد از مدتها ایران متلب تصمیم گرفت فیلم آموزشی تهیه شده توسط مهندس قیصری مدیر گروه ایران متلب را برای استفاده کاربران ایران متلب جهت دانلود قرار دهد.

این فیلم آموزشی یک محصول منحصربفرد از ایران متلب می باشد که هیچ جای دیگری مشابه آن را پیدا نخواهید کرد. آموزش های متلب زیاد هستند اما آموزشی که توسط متخصص با تجربه و با سابقه متلب تهیه شده است ، کمیاب است.

مهندس قیصری دارای سابقه نه ساله در کدنویسی متلب در پروژه های مختلف دانشجویی و صنعتی می باشد. ایشان تاکنون بیش از چند میلیون خط کد متلب را نوشته است و با بیشتر قسمت ها و دستورات متلب آشنایی دارند.

این مجموعه فیلم آموزشی بیش از 100 قسمت یا 200 قسمت شاید هم بیشتر خواهد بود که به مرور برای خریداران این محصول ایمیل خواهد شد. کاربران محترمی که می خواهند بقیه قسمت ها را به مرور دریافت کنند ، می توانند هزینه این آموزش را پرداخت کنند.

مهندس قیصری قصد دارند در این محموعه بزرگ فیلم آموزشی ، همه چیزهایی که از متلب بلد هستند را به دیگران یاد بدهند. 

چرا این آموزش به مرور برای کاربران ایمیل می شود؟

یادگیری یک نرم افزار برنامه نویسی مانند متلب یک شبه اتفاق نمی افتد و نیاز به تمرین و ممارست دارد. لذا ایران متلب تصمیم گرفت قسمت های آموزش را به مرور برای کاربران خود ارسال کند تا زمان داشته باشند با تمرین های مختلف آموزش را در ذهن خود نهادینه کنند.

هر چند مدت یک بار قسمتی از این آموزش ایمیل خواهد شد؟

به طور متوسط هر هفته ، سه تا چهار قسمت ایمیل خواهد شد.

لینک دانلود

نوشته سیر تا پیاز متلب MATLAB اولین بار در ايران متلب. پدیدار شد.

بعد از وارد کردن داده ها به محیط متلب ، برنامه ای نوشته می شود که بر روی این داده ها بر اساس هدف پروژه ، عملیاتی انجام شود.

به عنوان مقال فرض کنید می خواهید یک مدلسازی با شبکه عصبی انجام دهید. داده های ورودی شما در یک تعداد فایل اکسل جمع آوردی شده اند و شما می خواهید این داده ها را وارد محیط متلب کنید و سپس برنامه شبکه عصبی آن را بنویسید و مدلسازی برای شما انجام شود.

در این فیلم آموزشی ما به شما سه روش را برای وارد کردن داده های یک فایل ورودی به متلب را آموزش می دهیم. این فایل ورودی می تواند فایل اکسل یا متنی و … باشد.

این آموزش را در هیچ جای اینترنت نمی توانید پیدا کنید. بعضی از این روشها ابتکاری می باشد که در هیچ کتابی قابل دسترسی نیست .

در این آموزش هم کدنویسی و هم بدون کدنویسی نحوه وارد کردن فایل اکسل آموزش داده می شود.

مدت زمان : 45 دقیقه

.

.

.

.

لینک دریافت

خلاصه قسمت 1 :

لینک مشاهده خلاصه 1 در یوتیوب

خلاصه قسمت 2 :

لینک مشاهده خلاصه 2 در یوتیوب

خلاصه قسمت 3 :

لینک مشاهده خلاصه 3 در یوتیوب

خلاصه قسمت 4 :

لینک مشاهده خلاصه 4 در یوتیوب

نوشته فیلم آموزشی وارد کردن داده های فایل اکسل به متلب اولین بار در ايران متلب. پدیدار شد.

گفته می شود این نرم افزار 99 درصد راه حل های آنالیزی پیشرفته را بدون هیچ زحمت کدنویسی برای  محقق داده کاوی فراهم می کند.

این نرم افزار با زبان برنامه نویسی جاوا نوشته شده است. تمامی عملیات در نرم افزار رپیدماینر توسط پنجره گرافیکی انجام می شود. عملیات workflow در رپیدماینر به نام فرایند process شناخته می شوند که شامل چندین عملگر operator تشکیل می شوند. هر عملگر یک وظیفه را در فرایند انجام می دهد.

این نرم افزار قابلیت ارتباط با نرم افزارهای داده کاوی دیگر مانند  R و  weka را دارد.

.

.

لینک دانلود

نوشته فيلم آموزشي رپيدماينر rapidminer اولین بار در ايران متلب. پدیدار شد.

ویندور 32 بیتی بدون  ماشین جاوا

.

.

ویندور 64 بیتی همراه با ماشین جاوا

ویندور 64 بیتی بدون  ماشین جاوا

.

.

مکنیتاش همراه با ماشین جاوا

مکنیتاش بدون ماشین جاوا

.

.

نوشته دانلود آخرین نسخه نم افزار وکا اولین بار در ايران متلب. پدیدار شد.

اولین بار کلمنتاین بود که از نمایش گرافیکی برای ارتباط با کاربر استفاده کرد و این خود تحولی نو بود زیرا کاربر دیگر نیاز به کدنویسی نداشت. بعلاوه ایجاد یک مدل داده کاوی خیلی سریعتر انجام میشد و درنتیجه تصمیم گیری نهایی زودتر حاصل می شد.

کلمنتاین قدرت خود را ازترکیب با CRISPDM دارد که یک مدلسازی گرافیکی می باشد. با این نرم افزار بیشتر الگوریتم های داده کاوی را می شود پیاده سازی کرد.

هر فرایند در کلمنتاین clementine به صورت یک آیکون (icon) یا گره (node) بیان می شود. با اتصال گره ها یک stream ساخته می شود که مسیر تغییر داده در طول فرایند را نشان می دهد.

کار در کلمنتاین شبیه استفاده از یک سیستم ساخت فرایندهای تصویری می باشد که می تواند داده های جهان واقعیت و آمار و الگوریتم های پیچیده را در دل خود بیان کند.

در ابتدای کار با کلمنتاین شاید یک مقدار مشکل به نظر برسد اما به مرور متوجه می شوید که کار با این نرم افزار بسیار ساده می باشد. ایران متلب هم در همین راستا فیلم آموزشی نرم افزار کلمنتاین را تهیه کرد تا علاقه مندان داده کاوی بتوانند الگوریتم های خود را در این نرم افزار هم مانند وکا و رپیدماینر پیاده سازی کنند.

برخی از مزیت های کامنتین برای دانشجویان :

روش ساخت بصری مدل ، که کار در آن را تبدیل به یک کار هنری کرده است.

مفهوم “مسیر داده” شما را قادر می سازد که چندین مدل را در دل یک مدل جا دهید.

کلیک و ساخت مدل (هیچ کدنویسی لازم نیست)

مدلهای گوناگون و جامع در بیشتر الگوریتم های مهم و کاربردی مورد نیاز متخصصین حرفه ای

برخی از مدلهای پشتیبانی شده در کلمنتاین :

درخت تصمیم

درخت C&R

QUEST

CHAID

C 5.0

لیست تصمیم Decision List

شبکه های عصبی

رگرسیون

رگرسیون خطی

رگرسیون لاجستیک

شبکه بیزین

ماشین بردار پشتیبان SVM

ماژول استنتاج قانون عمومی (GRI)

مدل apriori

مدل CARMA

مدل sequence

K-means

کوهنن kohonen

Two Step

شناسایی anomaly

دانلود

نوشته فیلم آموزشی کلمنتاین clementine اولین بار در ايران متلب. پدیدار شد.

به موازات گسترش كاربردهاي شبكه عصبي، نياز به فراگيري آن و آشنايي با تواناييها و قابليتهاي آن رخ مي نمايد. در اين راستا، تأليفات زيادي وجود دارد كه مي توان به آن ها استناد نمود اما در اكثر قريب به اتفاق اين خودآموزها، مباني اين شبكه ها با تفاصيل و جزئيات بسيار بيان شده است و کمتر به جنبه کاربردی بودن آن توجه شده است.

لذا گروه برنامه نويسي ايران متلب تصميم گرفت تا يك فيلم آموزشي جامع براي شبكه هاي عصبي تهيه كند تا هم مفاهيم آن به طور كامل توضيح داده شود و هم برنامه نويسي مقدماتي تا پيشرفته شبكه هاي عصبي در متلب MATLAB با مثالهاي گوناگوني آورده شود.
اين فيلم آموزشي حاصل تجربه هاي مختلف ما در پروژه هاي گوناگون شبكه عصبي مي باشد. بيشتر تمركز ما در اين فيلم آموزشي بر روي كدنويسي و پياده سازي در متلب MATLAB ميباشد.

در قسمت هايي هم كه لازم باشد ما كدهاي متلب جديدي معرفي مي كنيم كه در نرم افزار متلب وجود ندارد و به كار پياده سازي شبكه هاي عصبي در متلب كمك بسيار زيادي مي كند.

آشنایی با خطاهای رایج :
در هر قسمت خطاهاي رايج در هنگام كدنويسي هم به طور كامل تشريح مي شود تا كاربران گرامي بتوانند در هنگام كد نويسي به مشكلي برنخورند.

تعداد بالای مثال و نمونه کد :
به جرات ميتوان ادعا كرد كه اين سطح از كدنويسي شبكه هاي عصبي و اين تعداد مثالها در هيچ كتابي قابل دسترس نيست.

مخاطبین :
اين فيلم آموزشي توسط هر فردي كه دوست دارد تا با مفاهیم شبكه هاي عصبي آشنا بشود قابل استفاده است و نياز به هيچ پيش نيازي ندارد و مخاطب آن عموم مي باشد و توسط دانشجويان تمامي رشته ها قابل استفاده است.

بخش های مختلف این مجموعه فیلم آموزشی :

نوشته مجموعه فيلم های آموزش فارسي جامع شبكه هاي عصبي اولین بار در ايران متلب. پدیدار شد.