@article { author = {Gili, Mohamad Reza and Ashourloo, Davoud and Aghighi, Hosein and Matkan, Ali Akbar and SHakiba, Alireza}, title = {Crop classification with deep convolutional neural network based on crop feature}, journal = {Environmental Sciences}, volume = {20}, number = {4}, pages = {37-52}, year = {2022}, publisher = {Shahid Beheshti University}, issn = {1735-1324}, eissn = {2588-6177}, doi = {10.48308/envs.2022.1126}, abstract = {Introduction:Given that agriculture has the most important role in ensuring food security (Johnston & Kilby,1989), it is necessary to prepare a map that shows the spatial distribution, land area, and type of crops cultivated with high accuracy (Cai et al., 2018). Agricultural land cover is relatively dynamic and variable at relatively short intervals. This makes it difficult to classify crops on satellite imagery (Bargiel, 2017). The lack or absence of ground truth data is another cause. Therefore, methods that are less dependent on ground samples and use phenological features derived from time series of bands and vegetation indices to classify crops will be more appropriate (Ashourloo et al., 2020). The purpose of this study is to use a deep learning method based on convolutional networks to classify the crop types and improve the performance of this network by using feature channels as an input image to the network and increasing the classification accuracy. Materials and methods:In this study, the visible and near-infrared bands of Sentinel-2 satellite on 10 different dates from 2019 for an area in Idaho, USA, as an important agricultural area, and the cropland data layer for extracting the crop types ground labels was used (Han et al., 2012). Then, in MATLAB software, the time series of spectral bands were constructed and using them, temporal profiles of NDVI for any crop were extracted to identify the unique phenological features of crops. Then, the functions developed based on the phenological characteristics of crops were applied to the time series of the bands and a feature channel was obtained for each crop that in two separate processes, once bands and once again feature channels were used as input to the CNN and the network was trained and the results of network performance on crop classification in the test site, were compared.Results and discussion:In the first stage, the time series of bands formed the input of the deep convectional neural network and the network was trained in the training area, using the tempo-spectral information of bands as the input channels and crops ground samples as the related labels. Due to the spectral overlap of the crops in some time periods, network training was associated with a relatively high loss and therefore, for the test area, the overall classification accuracy was 69% (percent) and the kappa coefficient was 0.55. In the next step, the functions that were developed as phenological features for crops were applied on the time series of the bands, and for each crop, a feature channel was obtained as the special feature of that crop. Then the algorithm was implemented using these feature channels in the test area and the overall accuracy was upgraded to 86% and the kappa coefficient to 0.82 compared to which indicated a significant improvement in the results compared to the previous case.Conclusion:The deep convolutional neural network is very sensitive to the type of input channels for detecting agricultural crops and selecting the channels with suitable tempo-spectral characteristics for different types of crops, has a great impact on the accuracy of network training and can reduce the loss of training network and increase its efficiency in the classification of various crops.}, keywords = {Time series Images,Crop classification,Temporal profiles of NDVI,Deep convolutional Network}, title_fa = {طبقه بندی محصولات کشاورزی با شبکه کانولوشنی عمیق مبتنی بر شاخص محصول}, abstract_fa = {سابقه و هدف: با توجه به اینکه کشاورزی مهمترین نقش را در تأمین امنیت غذایی برعهده دارد، تهیه نقشه ای که پراکندگی مکانی، وسعت اراضی و نوع محصولات کشت شده را با دقت بالایی نشان دهد، بسیار ضروری است. پوشش اراضی کشاورزی در فواصل زمانی نسبتا کوتاه، بسیار پویا و متغیر است. این موضوع، طبقه‌بندی محصولات زراعی روی تصاویر ماهواره ای را به کاری چالش برانگیز مبدل می کند. کمبود یا فقدان داده‌های دارای برچسب‌ واقعیت زمینی نیز مزید بر علت است. بنابراین روشهایی که به نمونه های زمینی وابستگی کمتری دارند و از ویژگیهای فنولوژیک حاصل از سری زمانی باندها و شاخصهای گیاهی برای طبقه بندی محصولات استفاده می کنند، مناسبتر خواهند بود. هدف از این مطالعه استفاده از در روش‌ یادگیری عمیق مبتنی بر شبکه های کانولوشن برای طبقه بندی محصولات کشاورزی و بهبود عمکرد این شبکه از طریق استفاده از کانالهای ویژگی محصولات بعنوان تصویر ورودی به شبکه و افزایش دقت طبقه بندی است.مواد و روش ها: در این مطالعه از تصاویر باندهای مرئی و فروسرخ نزدیک ماهواره سنتینل-2 در 10 تاریخ مختلف از سال 2019 برای ناحیه ای واقع در ایالت آیداهو ایالات متحده آمریکا که یک منطقه مهم کشاورزی به شمار می رود و از لایه داده‌های زراعی(Cropland Data Layer) برای استخراج برچسب نوع محصولات در مزارع نمونه، استفاده گردید. سپس در نرم افزار متلب، سری زمانی باندها ساخته شد و با استفاده از آنها پروفیل زمانی NDVI برای شناسایی ویژگیهای فنولوژیکی منحصر به فرد برای هر محصول استخراج گردید. در ادامه توابعی که بر اساس ویژگیهای فنولوژیک هر محصول توسعه داده شده اند، بر روی سری زمانی باندها اعمال گردید و برای هر محصول یک کانال ویژگی به دست آمد که در دو فرآیند جداگانه، یکبار از باندها و بار دیگر از کانالهای ویژگی به عنوان ورودی به شبکه CNN استفاده گردید و شبکه، با استفاده از کانالهای ورودی و نمونه های زمینی، آموزش دیده و نتیجه عملکرد شبکه در طبقه بندی محصولات زراعی در سایت تست، مورد مقایسه قرار گرفت. نتایج و بحث: در مرحله اول، سری زمانی باندها، ورودی شبکه کانواوشنی عمیق را تشکیل دادند و شبکه در ناحیه آموزش، با استفاده از اطلاعات طیفی-زمانی باندها به عنوان کانالهای ورودی و نمونه های زمینی محصولات به عنوان برچسب، آموزش دید. به دلیل همپوشانی طیفی محصولات در برخی از دوره های زمانی، آموزش شبکه با خطای نسبتا بالایی همراه بود و به همین دلیل برای ناحیه تست، دقت کلی طبقه بندی 69(درصد) و ضریب کاپای 55/0 به دست آمد. در مرحله دیگر، توابعی که به عنوان شاخصهای فنولوژیک برای هر محصول توسعه داده شده بود ، روی سری زمانی باندها اعمال گردید و برای هر محصول، یک کانال ویژگی بعنوان شاخص انحصاری آن محصول، به دست آمد. آنگاه الگوریتم با استفاده از این کانالهای ویژگی، در ناحیه تست اجرا گردید و دقت کلی به 86(درصد) و ضریب کاپا به82/0 ارتقا یافت که نشان دهنده بهبود چشمگیر نتایج در مقایسه با حالت قبل است.نتیجه گیری: شبکه کانولوشنی عمیق برای تشخیص محصولات کشاورزی، به نوع کانالهای ورودی بسیار حساس است و انتخاب کانال هایی با ویژگی های طیفی_زمانی مناسب برای انواع محصولات، بر دقت آموزش شبکه بسیار تاثیرگذار بوده و می تواند هزینه یا خطای آموزش شبکه کانولوشنی عمیق را پایین آورده و کارایی آن را در طبقه بندی محصولات گوناگون، بالا ببرد.}, keywords_fa = {سری زمانی تصاویر,طبقه بندی محصولات کشاورزی,پروفیل زمانی NDVI,شبکه های کانولوشنی عمیق}, url = {https://envs.sbu.ac.ir/article_102401.html}, eprint = {https://envs.sbu.ac.ir/article_102401_7ca5a822cc92bf8bef1501f34dc6379a.pdf} }