ارائه روش تلفیقی کاهش نویز‌ داده کاوی برای تخمین ماده آلی خاک با طیف سنجی vnir

پیشینه و هدف خاک به عنوان منبع طبیعی ناهمگن و بزرگترین مخزن کربن آلی در اکوسیستم زمینی، از فرآیندها و مکانیسم های پیچیده ای تشکیل شده است. ضرورت برآورد اطلاعات دقیق خاک در مقیاس ملی و منطقه ای به منظور بهبود مدیریت خاک و درک خصوصیات خاک و چگونگی تاثیرگذاری آن در کشاورزی، منجر به علاقه مند شدن محققین به این حوزه شده است. محتوای (som) به عنوان شاخص کیفیت خاک در حاصلخیزی آن و تولید مواد غذایی تاثیرگذار است و نیز به عنوان یک متغیر کلیدی در مباحث محیطی و کشاورزی محسوب می شود. جمع آوری تعداد زیادی داده خاک دقیق با هدف مدیریت منابع غذایی برای جمعیت آینده ضروری است. بنابراین استفاده از روش های تخمین سریع و ارزان و البته افزایش دقت برآورد محتوای som در ارزیابی و مدیریت منابع خاک می تواند کمک کننده باشد. در کشاورزی دقیق، مقیاس اطلاعات خاک مورد نیاز برای مدیریت اراضی و محصول بسیار کوچکتر بوده و به طور معمول مقیاس جمع آوری داده های میدانی جوابگوی این نیاز نمی باشد. نمونه برداری و آنالیز تعداد زیاد نمونه خاک و تهیه نقشه توزیع som، برای مناطق وسیع و بزرگ، بسیار دشوار است. علاوه بر این، روش های سنتی آزمایشگاهی تجزیه و تحلیل خاک برای نمونه برداری زیاد نیاز به نیروی کار بیشتر بوده و علاوه براین زمان بر و هزینه بر است و نیاز به اپراتور آزمایشگاه متخصص دارد. هدف از تحقیق حاضر، مقایسه عملکرد دو روش plsr و روش یادگیری ماشین درخت رگرسیون ارتقا یافته (brt) برای پیش بینی مواد آلی خاک با استفاده از طیف vnir، است. با استفاده از ترکیب تبدیل موجک و تشخیص باندهای مستقل، نویزهای موجود در داده های طیف سنجی خاک کاهش یافته است. علاوه بر این، طیف ها یا باندهای مستقل و موثر در طیف سنجی مواد آلی خاک انتخاب گردیدند. براین اساس، در این تحقیق، روش های wavelet-pca-plsr و wavelet-pca- brt توسعه داده شده است و کارایی هر یک از آن ها ارزیابی می گردد.مواد و روش ها 42 نمونه خاک از منطقه ناهمگن کشاورزی شهری در تهران در 30-0 سانتی متر خاک جمع آوری گردید. ماده آلی خاک با استفاده از روش والکی بلک و بازتاب طیفی خاک با استفاده از طیف سنج fieldspec3 اندازه گیری شد. مشتق اول و دوم بازتاب، جذب طیفی و مشتق اول و دوم آن محاسبه گردید. به منظور کاهش نویز و هموار سازی طیف، از روش تبدیل موجک تابع ماتریس sym8 استفاده شده است. همچنین، تبدیل موجک به منظور نشان دادن و بارزسازی ویژگی ها در طیف انجام می شود. از تجزیه و تحلیل مولفه های اصلی و آزمون هادلینگز با فاصله اطمینان 95% به منظور تشخیص داده های پرت استفاده شد. پس از حذف داده پرت از هر مجموعه، روش plsr و درخت رگرسیون ارتقا یافته بر روی بازتاب، جذب و مشتق اول و دوم آن ها در 5 سطح از تبدیل موجک اجرا شده است. سپس، با مقایسه نتایج، مدل مناسب از طریق اعتبارسنجی انتخاب شد. در هنگام استفاده از نمونه عددی، به جای درخت تصمیم گیری از درخت رگرسیون استفاده می شود، اما روند آن ها یکسان است. در درخت رگرسیون از جستجو حریصانه استفاده می شود. بنابراین، با پاسخ دادن به سوال باینری که حداکثر اطلاعات در مورد متغییر پاسخ از طریق کدام نود بدست می آید، گره ریشه و دو فرزند آن تعیین می گردد. این فرایند در هر گره فرزند تکرار می شود. تولید ساختمان درخت به صورت بازگشتی تکرار شده است و یک معیار توقف معمولی در نظر گرفته می شود. معیار توقف می تواند نظیر رسیدن به انشعابی که قابل تقسیم نیست و اطلاعات کمتری می دهد و یا زمانی که اطلاعات در گره حاوی کمتر از، پنج درصد از کل داده ها است، باشد. همچنین، سعی در به حداقل رساندن اندازه درخت است. برای تقسیم گره، عامل جینی، عامل آنتروپی و غیره به منظور به حداقل رساندن این عوامل استفاده شده است. علاوه بر این، در هر شاخه، مجموع مربع خطاها محاسبه شده و آن هایی که مقادیر حداقل دارند، انتخاب می شود. روش درخت رگرسیون ارتقا یافته، دو روش درخت رگرسیون و تکنیک ارتقا را به منظور بهبود توان پیش بینی هر کدام از آن ها ترکیب می کند. به منظور کالیبراسیون و اعتبارسنجی مدل، به طور تصادفی به ترتیب 30 و 12 نمونه خاک انتخاب و برای بیان صحت مدل ها از آماره های r2 و rmse استفاده شده است. علاوه بر این، برای انتخاب بهترین فاکتور تولید مدل plsr برای هر طیف، واریانس و باقی مانده مقادیر برآوردی و rmse اعتبارسنجی استفاده شد. در نهایت، برای ایجاد سطح پیوسته و آگاهی از نحوه تغییر مواد آلی خاک در منطقه، نقشه مواد آلی خاک با استفاده از تصویر ماهواره ای لندست oli و روش با دقت بیشتر تولید شد.نتایج و بحث برآورد رضایت بخش میزان som، ایجاد سطوح پیوسته با دقت بیشتر براساس کاهش نویز و حفظ داده های مفید، همواره مورد توجه محققین بوده است.

integrated noise reduction-data mining method for soil organic matter prediction by vnir spectrometry

background and objective soil as a heterogeneous natural resource and the largest organic carbon storage in terrestrial ecosystems is composed of complicated processes and mechanisms. the necessity of accurately estimating soil properties on the national and regional scales for improving soil management, and understanding their influence on agriculture have resulted in attracting researchers rsquo; attentions to this field. soil organic matter (som) is considered as an indicator of soil quality in fertility and food production. it is also considered as a key variable in environmental and agricultural issues. thus, using rapid and cost effective and more accuracy estimation of the som content in soil resources assessment and management can be helpful. in precision agriculture, the scale of soil data required for management of lands and products is very large. the scale of collecting filed data usually cannot fulfil those needs. sampling, preparing and analyzing the large number of soil samples as well as producing the distribution map for large areas are very difficult. in addition, traditional laboratory methods of soil analysis are boring, time-consuming, and costly. in fact, they need specialized laboratory operators. the aim of the present study is to compare the performance of the two partial least squares regression (plsr) and boosted regression tree (brt) for predicting som using vnir spectrometry data. with the use of combining wavelet transform and diagnosis of independent bands, noises existing in soil spectroscopic data has reduced. in addition, independent and effective spectra and bands in spectroscopy of som were selected. consequently, in the present research, wavelet-pca-plsr and wavelet-pca- brt models were developed and performance were assessed.materials and methods 42 surface (0-30cm) soil samples in the heterogeneous areas of urban-agricultural regions in tehran province were collected. soil organic carbon (oc) measured using walki black method and the samples rsquo; spectrums were measured by asd fieldspec-3 spectrometer. first and second derivitation of spectral reflectance and absorbance were calculated. to reduce noises and smooth the spectrum, sym8 matrix function of wavelet transform was used, wavelet transform is conducted to show and reconstruct characteristics in the spectrum. principal component analysis and hotelling's t2 test with 95% confidence level were used for outlier detection. plsr and brt was conducted onreflectance, absorbance and their first and second derivatives, at five levels of wavelet transform. then, by comparing the results, the appropriate model was selected via validation. for doing the plsr in nonlinear data, kernel functions were used. when using numerical samples, regression trees are used instead of decision trees. but their processes are the same. in regression trees, the greedy algorithm was used. therefore, by answering the binary question through which node the maximum data about respons variable is obtained, the root node and its two children are obtained.