当前位置:蚂蚁文档网 > 述职报告 > 烟叶自动图像分级技术研究综述

烟叶自动图像分级技术研究综述

时间:2022-05-26 19:25:05 浏览次数:

摘 要:在烟叶自动分级的过程中,提取烟叶特征并且进行分级是至关重要的步骤。阐明了烟叶分级的现行国家标准,分析总结了常用的颜色、形状、纹理等特征分析手段,包括一些较为新颖的方法。对多种方法综合对比分析,结合我国烟草行业实际背景与现实环境,从简捷、经济、高效、可靠四方面考虑,提出在标准D50照明光源条件下,提取现实中可用的叶长、面积等图像特征,选择适合判别的均匀颜色模型对烟叶进行分级判别。

关键词:烟叶;分级;图像特征;颜色模型; 自动化分级

中图分类号:S572 文章编号:1007-5119(2014)04-0103-06 DOI:10.13496/j.issn.1007-5119.2014.04.020

A Survey on Automatic Tobacco Image Grading Techniques

ZHANG Chun’e1, WEI Yangfan1, WANG Yansong2

(1. Institute of Information Science, Beijing Jiaotong University, Beijing 100044, China;

2. Beijing Focusight Technology Co., Ltd., Beijing 100022, China)

Abstract: To obtain the characteristics that can be used for grading tobacco leaves is a crucial step in the process of an automatic tobacco image grading system. This article first expounds the current national grading standard of tobacco leaves, and then explores the feasible methods which is suitable for industrial environment after analyzing techniques using the characteristics of the color, shape, texture and other technical measure, with considering of simplicity, economy, efficiency, and reliability. The method solved the problems in LED light, image feature extracting and choice of well distributed color model.

Keywords: tobacco leaf; grade; image feature; color model; automatic grading

目前,我国烟叶分级收购仍以人工为主,存在着劳动强度大、主观性强、工作效率低、分级标准不易掌握、分级精度不稳定等缺点[1],人工烟叶分级的主观性还造成了收购分级专家的灰色利益、烟农和收购方因分级不同意见引起的质量纠纷等问题。前期烟叶备货阶段的质量问题会给后续烟叶工商交接带来诸多问题[2]。计算机技术的迅猛发展,为烟叶自动检测与分级系统提供了丰富的解决方法和途径[3]。采用自动化手段替代人工对烟叶进行质量分级,已成为烟草工业发展亟需解决的热点问题之一。

1 烟叶分级现行国家标准

根据国家标准[4],烟叶可以分为烤烟、晾晒烟、再造烟叶等大类,其中烤烟为最常见的类型。

烤烟分级国家标准《烤烟GB 2635—92》[5]规定了烤烟的技术要求、检验方法和验收规则等内容,是分级、收购、交接的依据。烤烟烟叶可以分为共8个正组、5个副组,在此基础上还可根据烟叶的成熟度、叶片结构、身份、油分、色度、长度、残伤等七个外观品级因素分为42个级。

2 人工烟叶分级基本现状

目前,烟叶市场的分组分级基本由人工完成,对人工技术要求较高。工人需要进行系统的专业分级培训,并且经过一段时间熟练技能后才能在分级时根据各级别烟叶的视觉、触觉、嗅觉反应做出综合判断。分级技术较熟练的工人一般分级的效率为

基金项目:中央高校基本科研业务基金(2012M037)

作者简介:章春娥,博士,主要研究方向为数字图像处理与数字水印技术,信息安全,工业现场图像处理(机器视觉)。E-mail:chezhang@bjtu.edu.cn

收稿日期:2013-06-27 修回日期:2014-05-21

60 kg/(人·d)左右(以每天工作8 h计)。分级后的烟叶由具有国家烟草专卖局烟叶等级质量鉴别检验资格的人员对其进行复查,按《烤烟》分级标准进行等级质量检验,烟叶合格率为67.55%~ 91.78%不等[6]。人工分级的前期培训较为复杂,培训时间较长,培训结果难以预料,分级效率低,准确率不确定,明显阻碍了烟叶的收购和生产[7]。

3 烟叶自动分级国外研究现状

国外利用计算机视觉技术研究烟叶的检测与分级始于1984年,比我国的此类研究要早。1993年,津巴布韦大学的MacCormac设计了一个可用于烟叶实时分级的图像处理单元原形[8]。1997年,Cho等[9]研究了如何利用机器视觉提取白肋烟的形状、颜色等特征以对其进行分级。Tattersfield等[10]提取烤烟烟叶的形状、颜色等特征,对烤烟的生长部位和颜色进行分组识别。

在我国,进行烟叶自动识别和分级技术的研究起步相对较晚,但也有一些研究成果,如下所述。

4 烟叶图像自动分级技术特征

根据每片烟叶的图像特征进行分级,必须以散烟的形式来进行收购。与传统把烟收购形式相比,散烟收购可以提高等级纯度和复烤的成品率[11],而且散烟收购的模式也适合机器视觉技术的应用。根据《烤烟》标准中的各分级因素,可以从图像上提取的特征为数不少。其中部分特征用于分级效果良好,部分特征使用技术较为成熟。

4.1 以颜色作为技术特征用于烟叶分级

从烤烟分级国家标准可知,颜色是烟叶分组的关键因素之一。

张建平等[12]对烟叶颜色进行测量与分析认为,由于色素的形成和分解与生长发育、营养吸收、光照等条件有关,故颜色与成熟度、部位等有内在联系,颜色的差异很大程度上反映了烟叶内在质量的区别。蔡健荣等[13]利用计算机视觉方法研发了烟叶质量分类系统,主要利用颜色特征,另外包括形状、纹理特征将其一同作为分类的依据。李浩[14]在对烟叶进行分级时使用了颜色作为主要的判别特征,尝试使用了RGB、HIS 2种色度学模型来度量不同等级烟叶的颜色差别。比较了RGB和HIS 2种模型在烟叶分级应用中的区别,并最终得出2种模型下的正确率分析结果。

4.2 以形状作为技术特征用于烟叶分级

烟叶的叶形特征如叶长、叶宽、叶片面积、圆度等也是决定烟叶组别、级别的重要因素。烟叶部位不同,外观特征有异,如下部叶圆宽;中部叶较宽,叶尖较钝;上部烟叶较窄,叶尖较锐;另外烟叶的长度也是影响级别归属的重要因素之一[15]。

张建平等[15]提出使用叶片的平均长宽比和平均叶尖角来描述叶片的形状特征。根据烟叶图像的灰度差别区分烟叶与背景部分;去除零星烟叶碎块后计算叶面面积大小;确定烟叶外边界轮廓;计算烟叶长度、宽度及叶尖角等,通过一系列手段方法获取烟叶的多个形状特征。周文等[16]提出从烟叶图像中提取烟叶叶形特征进行分级。由于烟叶叶形特征适于用计算机图像特征提取、分析、处理,故可作为品质特征提取的突破点之一。对烟叶红绿蓝三帧图像直方图分析发现,蓝体烟叶图像与背景之间的差异最大,故可根据烟叶的蓝体直方图提取特征信息,提取烟叶长度、宽度、长宽比、周长、面积等特征信息。

4.3 以烟叶纹理作为技术特征用于烟叶分级

烟叶的纹理特征是烟叶的褶皱、叶脉、焦边、成熟度、油分、阴影、残损等因素共同作用的结果,纹理特征是一种不依赖于亮度或颜色且可以反映图像中组织规律变化的视觉特征。

张帆等[17]在2001年发表的标准烟叶数据库的图像检索中就提出了纹理作为分级特征的使用,并且给出了纹理特征获取的计算方法。纹理特征值的提取是利用了图像的灰度共生矩阵,求其纹理熵、纹理能量、纹理惯性、纹理逆差矩的一系列数字统计特征。杜东亮[18]提出了使用Gabor小波分析烟叶纹理,进而对烟叶进行分级。另外,在文中还提出基于灰色系统理论通过烟叶的其他外观特征来综

合描述烟叶的成熟度和油分这两个很难从图像上获取的分级因素。大致为先确定成熟度、油份和其他可获得的特征之间的关联度,然后根据众多其他特征间接确定烟叶的成熟度和油份。这种方法与国家标准以及现行的人工触摸的方法有非常大的区别。

4.4 较为新颖的分级技术

马文杰[19]提出使用透射图像来进行烟叶图像分割,因为烟叶对蓝光的吸收较好,在透射图像中利用蓝体烟叶和背景的差别将图像中烟叶部分分割出来。刘华波等[20]提出了透射图像颜色特征在烟叶识别中的应用。他们认为光线从背面照射烟叶时,烟叶的厚薄、叶肉组织的疏密和叶片细胞内所含物质的差异会引起透射光强度和光谱特性的变化,可以反映烟叶的这些内在质量特征。基于此理论推测,尝试采用反射和透射两种形式获得烟叶图像,探讨透射图像特征在烟叶计算机视觉分级中的有效性。

申金媛等[21]提出了将烟叶的红外光谱作为烟叶的分级特征。烟叶等级划分的7大因素中的成熟度与烟叶内在的化学成分、结构有着密切的关系,红外光谱其实反映的是C—O,C—H基团的和频与倍频吸收,烟叶成熟度其实就是烟叶的这些化学成分及含量在叶表的反应。另外,油分、身份、色度等分级因素都在红外光谱上有特殊的反应,因此红外光谱也是烟叶分级的重要特征之一。

5 烟叶自动分级技术效果及优缺点

目前的自动分级技术有各自的特点,同时也面临着一些需要解决的瓶颈问题。

5.1 以颜色辨别为基础的分级效果与问题

李浩[14]采用基于反射与透射图像的烟叶分级方法,分别提取反射图像和透射图像特征,使用RGB和HSI两种颜色系统分别作为判别的依据,基于贝叶斯判别方法进行分级判别。结果显示如果使用1种色度学模型(RGB或HIS),且使用1种图像类型(反射或透射)的颜色特征所建立的判别方程误判率较高;任取1种图像类型,综合运用RGB与HIS 2种颜色特征所建立的判别方程的误判率有一定的减少;结合2种图像类型任选1种色度学模型建立判别方程,误判率则有显著的减少。说明2种色度学模型的结合使用对提高烟叶分组判别的正确率有一定的作用,但效果不明显。引入烟叶透射图像对提高烟叶分组正确率有很明显的作用。

目前采用的颜色空间模型有待商榷,RGB系统是最常用的一种颜色系统,在图像处理中使用方便,易于表达。HSI颜色系统可以定量地描述颜色对人眼的视觉作用,故其参量具有色觉上的直观意义[22]。但是,RGB和HSI都是非均匀的色度系统,在度量烟叶颜色时并不太适合机器视觉做出判断[23]。两个颜色之间在知觉上的差异就是色差,理想的颜色空间中点与点之间距离大小就是相应颜色之间的色差的大小。色差的定义和测量是一切颜色测量相关设备的基础,也是机器视觉系统应用颜色信息的前提[24],不均匀的颜色模型也就意味着烟叶之间均匀的颜色差别在计算机视觉中被放大了或者缩小了。所以,为了准确区分颜色,需要一个均匀的颜色模型用于计算机视觉中颜色的判断。

5.2 照明光源的缺陷所引起的问题

蔡健荣[13]的基于计算机视觉技术的烟叶质量分选系统,由于照明技术的缺陷,结果不尽如人意。通过神经网络学习后,不同地区测试样本的正确率最低为81.7%,比熟练人工分级正确率要低。究其原因,主要是因为所采用的光源与标准光源有很大的偏差。决定颜色实质的其实是物体的光谱反射率,颜色就是它被人眼所感知引起的感觉。可想而知,在光源光谱不标准的情况下,所获得的物体的反射光谱也必然不标准,自然达不到标准的颜色测量,从而影响最终的正确率。

此外,在50 Hz的普通交流光源作用下采集图像,会出现明显的明暗相间的条纹,即交流光源的纹波频闪现象[25]。频闪现象影响判决结果,降低了系统识别的准确性,所以利用图像信息来判别烟叶等级判决时,照明有必要采用标准等级的光源。

5.3 以叶型和纹理特征为基础的分级效果与问题

l998年,北京工商大学研发了一种用于烤烟烟叶特征的提取和分级的机器视觉系统[26](flue-cured tobacco grading system,FTGS),并构建了一个烟叶特征的标准数据库。该系统提取了包括颜色、形状、纹理和叶脉等4类特征,在广东、广西、湖南、云南4省进行测试,正确率分别为90.4%、87.3%、89.1%、84.8%。马建元等[27]选取烟叶的色调、饱和度、亮度3个颜色特征值和长度、长宽比、面积、周长及圆度5个形状特征值进行综合判断,分级正确率可达93.7%。针对使用烟叶轮廓作为特征的分组方法,李翠英[28]进行了初步的尝试,采用二元正交多项式拟合边缘曲线,交互验证的正确率达到93.3%,外部新数据验证的判别正确率达到90%,

周文等[16]所采用的特征提取中使用了烟叶的形状特征,包括叶长,叶宽,长宽比,叶尖角,轮廓,黑白纹理等等。实验显示都具有一定效果,但是在实验的过程中并未考虑烟叶分级现场的实际情况。原烟叶没有清理也没有整理过,烟草收购来的烟叶数目庞大,质量参差不齐,烟叶成把蜷曲着,灰尘泥土不可避免。对这样的烟叶进行形状特征提取,必定会导致部分形状特征难以获取或所得误差很大,比如烟叶的翻卷必定影响叶尖角和长宽比的计算,尘土则会导致纹理图案的改变等等。所以,在实际情况中部分实验使用的特征在分级现场无法使用。

5.4 以红外光谱特征为基础的分级效果与问题

申金媛等[21,29]研发了一种利用光谱和图像特征进行烟叶分级的方法,分级正确率较为理想。其主要方法是获取烟叶的图像信息和光谱信息,使用神经网络,依靠图像信息特征和光谱信息特征做出分组分色分级。通过神经网络得出训练样本的正确吻合率为100%,测试样本平均正确吻合率为91%,结果略优于其他方法。

上述红外光谱特征的使用虽然有较为可靠的结果,但是根据光谱特征进行分级必须要在确定组别和颜色的基础之上[29]。实则就是,使用红外光谱作为特征依然依赖于图像信息的获取,且获取红外光谱的系统结构更为复杂,而正确率与图像系统比较,提高程度有限。此外,红外光谱设备造价高昂,这在某程度上也制约了其在烟草行业中的推广。在此情况下,红外光谱设备也不是最为理想的选择。

6 烟叶自动分级系统技术展望

目前的烟叶自动分级技术大多停留在论证和实验阶段,如第5节的分析,实际应用中还没有成熟和高效的技术,更没有已经成熟稳定可推广的系统。以散烟收购的方式代替把烟收购的方式也是烟草收购推广的方向[30-31],而自动化的机器视觉应用更适用于散烟收购的方式。随着烟草行业的发展,亟待一种技术可行且具有推广可能的系统出现。

(1)理想的分级系统应具备的基本要求 理想的自动分级系统应至少具有简捷、经济、高效、可靠等4方面的优点。利用计算机视觉技术来进行分类,在这4方面都有较为突出的优势,而计算机视觉技术的关键点在于获取可供判决的特征。烟叶自动分级系统可以避免人工与烟叶的直接接触,但同时也就失去了对烟叶从多方面考察的途径。如何从图像特征中获取足够多、足够可靠的有效信息是难点所在。原则上,理想的自动分级系统判别正确率不得低于人工的判别正确率。人工分级的正确率波动虽然较大,但最高可达到91.78%[6],所以自动分级系统的判别正确率应不低于此。

(2)针对照明光源问题的解决方法 要完成烟叶图像自动分级系统,首先在系统的光源提取上就有较高的要求,理想中最为合适的光源莫过于自然光,但这在工业环境中无法实现。同时还必须避免使用交流光源,屏蔽掉周边环境交流光照的干扰。为此,采用D50的标准光源来对待测烟叶进行照明并进行特殊的照明设备设计,防止室内其他光源对图像获取的影响,这样将得到一个好的基础光源。

(3)针对叶型以及纹理特征提取问题的解决方法 关于烟叶的图像特征提取,烤烟分级标准要求先进行分组然后再在组内分级,使用轮廓特征进

行分组,即可以取得较为理想的结果。但并非所有的形状特征都可以起到帮助作用,因为技术与现场环境条件,会造成部分特征不能准确获取,比如纹理、叶尖角、叶脉粗细等。

(4)针对红外光谱分级问题的解决方法 红外光谱特征的使用虽然有较为可靠的结果,但根据光谱特征进行分级必须以确定组和颜色为前提[26]。使用红外光谱进行判别依然依赖于图像信息的获取,且获取红外光谱的系统结构更为复杂,而单纯使用图像信息已经可以获得较为满意的结果。考虑到系统所需投入极高,而对正确率的提高作用甚微,红外光谱的利用策略或许可以做出一些调整。可以在图像采集的同时增加专用镜头采集烟叶的红外图像,红外光谱的信息应该在红外图像上有所表现,通过红外图像的分析应该也可以达到烟叶分级的目的,同时也不会造成分级系统的冗杂。

(5)针对颜色模型选取的解决方法 以颜色为分级的判别特征不失为一种理想的方法,但是对非均匀的色度空间来说,在该空间中相同的空间距离在色觉上并不具有相同的视觉差距,因此在判别上势必影响正确率。CIE1976 Lab的颜色模型是一种均匀的颜色模型。CIE1976 Lab颜色分类效果上要优于其他的模型。

(6)最终确定的路线 根据国家标准要求、综合各种方法的特点及局限性,以及现实制约条件因素分析,可以得出相对理想的技术路线。基于计算机视觉技术,首先在标准光源的条件下获取烟叶的图像信息,尝试在第一阶段使用部分轮廓特征完成组判别,然后根据已有的判别结果在组内通过透射、反射以及红外图像3套图像颜色进行综合判定分级。考虑到RGB等方式在颜色的度量上的非均匀性,使用更适合的均匀色空间CIE1976 Lab色度空间来代替。在色度空间上的改进应当会使最终的判别正确率有进一步的提高,预期可以比之前最高91.78%的正确率更好,这样既能保证烟叶分级系统的简洁与经济,又能确保结果可靠性符合要求。

7 结束语

由于烟草工业的不断发展,自动化烟叶图像分级系统替代人工分级是大势所趋。在市场需求强烈的背景下,烟叶自动分级系统的面世对其本身必然会带来相应的经济回报。而且随着更多的新技术的突破,烟叶分级的合理化、高效化、简捷化可以适应烟草工业的需要,此对提高广大烟农的积极性、促进烟草种植产业的发展等都具有重大意义。

参考文献

[1] 马文杰. 烟叶图像采集技术规范与烤烟收购质量分级特征研究[D]. 武汉:华中农业大学,2007.

[2] 闫新甫,马建伟,王英元,等. 工商交接备货烟叶等级质量分析[J]. 中国烟草科学,2006,27(3):28-31.

[3] 李锐. 烟叶分级指标量化研究的技术创新过程[J].中国烟草科学,2000,21(2):5-7.

[4] 国家烟草专卖局. YC/T 210.1—2006烟叶代码[S]. 北京:中国标准出版社,2006.

[5] 国家技术监督局. GB 2635—1992烤烟[S]. 北京:中国标准出版社,1992.

[6] 陈风雷,孙红权,郑少清,等. 初烤烟叶专业化分级效率研究[J]. 山地农业生物学报,2012,31(3):228-230.

[7] 韩力群,何为,段振刚,等. 烤烟烟叶自动分级的智能技术[J]. 农业工程学报,2002,18(6):173-175.

[8] MacCormac J K M.On-line image processing for tobacco grading in Zimbabwe [C]//ISIE"93-Budapest. IEEE International Symposium on Industrial Electronics. Conference Proceedings, Budapest: 1993, 327-331.

[9] Cho H K, Paek K H. Feasibility of grading dried burley tobacco leaves using machine vision[J]. Journal of the Korean Society for Agricultural Machinery, 1997, 22(1): 30-40.

[10] Tattersfield G, Forbes K. Classification of Tobacco Leaves by Color and Plant Position[C]//Proceedings of the Ninth Annual Symposium of the Pattern Recognition Association of South Africa, Cape Town: 1998, 11.

[11] 王兆群,孙志礼,王曰生. 烤烟散叶分级收购技术探讨[J]. 中国烟草科学,2008,29(4):51-53.

[12] 张建平,吴宁一,方如明,等. 烟叶颜色测量与分析[J]. 江苏工程院学报,1993,14(4):7-14.

[13] 蔡健荣,方如明,张世庆,等. 利用计算机视觉技术的烟叶质量分选系统研究[J]. 农业工程学报,2000,16(3):118-122.

[14] 李浩. 基于数字图像处理技术的烤烟烟叶自动分组模型研究[D]. 武汉,华中农业大学,2007.

[15] 张建平,吴守一,方如明,等. 农产品质量的计算机辅助检验与分级(第Ⅰ报),烟叶外观品质特征的定量检验[J]. 农业工程学报,1996,12(3):158-162.

[16] 周文,韩力群,李锐,等. 计算机图像处理技术在烤烟烟叶形状特征提取中的应用[J]. 烟草科技,2000,140:12-13.

[17] 张帆,方如明,蔡建荣,等. 标准烟叶数据库的图像检索[J]. 农业机械学报,2001,32(1):66-68.

[18] 杜东亮. 烤烟烟叶视觉分级中标准定量化模型的研究[D]. 郑州:河南科技大学,2008.

[19] 马文杰,贺立源,徐胜详,等. 基于烤烟透射特征的烟叶图像分割研究[J]. 农业工程报,2006,22(7): 134-137.

[20] 刘华波,贺立源,马文杰,等. 透射图像颜色特征在烟叶识别中应用的探索[J]. 农业工程学报,2007,23(9),169-171.

[21] 刘剑君,申金媛,张乐明,等,基于红外光谱的烟叶自动分级研究[J]. 激光与红外,2011,41(9):986-990.

[22] 陶霖密,徐光祐. 机器视觉中的颜色问题及应用[J]. 科学通报,2001,46(3):178-189.

[23] 吴富宁,杨子彪等.基于颜色特征进行农作物图像分类识别的应用研究综述[J]. 中国农业科学导报,2003,5(2):32-38.

[24] 周水琴,应义斌.颜色模型在农产品颜色检测与分级中的应用[J]. 浙江大学学报,2003,29(6):684-688.

[25] 陈杰,李志敏,钟先信,等. 烟草在线检测与异物剔除系统[J]. 光电工程,2003,30(5):51-54.

[26] 张惠民,韩力群,段正刚,等. 基于图像特征的烟叶分级[J]. 武汉大学学报,2003,28(3),359-362.

[27] 马建元,伍铁军. 基于图像处理和模糊识别的烟叶分级技术研究[J]. 机械制造及自动化,2011,40(1):90-93.

[28] 李翠英. 基于轮廓特征的烤烟烟叶自动分组技术研究[D]. 武汉:华中农业大学,2008.

[29] 申金媛,刘剑君. 利用光谱和图像特征进行烟叶分级的方法:中国,CN102590211A [P]. 2011-01-11.

[30] 郭亮,黄辉,孙红权,等. 烤烟散叶分级收购一体化及其应用[J]. 中国烟草科学,2012,33(3):81-86.

[31] 徐明康,高峻,卢剑,等. 烤烟专业化分级散烟收购模式探讨[J]. 中国烟草科学,2012,33(2):90-93.

推荐访问:烟叶 分级 技术研究 综述 图像

猜你喜欢