基于人工标注与对比生成模型的玉米叶病图文多模态数据集

doi:10.19788/j.issn.2096-6369.100060

摘要/Abstract

摘要：

玉米叶部病害的精准识别是农业智能化管理的重要环节。现有玉米病害数据集存在质量参差不齐、标签类别模糊、多模态数据匮乏等问题，尤其是中文语境下的病害描述数据的稀缺性。本研究整合了自建数据与AI Challenger、Plant Village及OpenDataLab开源的玉米叶部病害高清图像数据，并由人工基于文献、专业书籍及科学数据等先验知识对图像进行诊断性文本描述标注，共构建了中文语境下的1 653组图像-文本对多模态数据集。其中，每张图像对应的文本模态内容涵盖病害类型、病状特征及严重程度等关键信息。在此基础上，探索使用CN-CLIP与GPT2-Chinese大模型组合生成图像描述的补充增强内容，丰富描述文本模态数据的多样性，为图像自动标注提供实践验证。本数据集可为玉米病害智能诊断模型开发、中文图像描述生成及农业多模态知识图谱构建提供高质量数据样本支撑。

数据摘要：

项目	描述
数据库（集）名称	基于人工标注与对比生成模型的玉米叶病图文多模态数据集
所属学科	农业科学，计算机科学
研究主题	计算机视觉，跨模态检索，图像描述生成
数据类型与技术格式	.jpg
数据库（集）组成	数据集由图像数据和对应的文本描述数据组成，其中：图像数据集包括玉米大斑病、小斑病、褐斑病、弯孢霉叶斑病、普通锈病、南方锈病、灰斑病、圆斑病和矮花叶病等9种典型叶部病害原始图像数据，共1 653幅；文本数据，描述对应图像的作物名称、病害类型、病斑位置、数量、颜色及形状等细粒度病害特征，平均长度约32字符数，共1653条。
数据量	3.87 GB
主要数据指标	图像与其对应的描述文本
数据可用性	CSTR:17058.11.sciencedb.agriculture.00226; https://cstr.cn/17058.11.sciencedb.agriculture.00226 DOI:10.57760/sciencedb.agriculture.00226; https://doi.org/10.57760/sciencedb.agriculture.00226
经费支持	新一代人工智能国家科技重大专项（2021ZD0113705）。

关键词: 玉米, 叶部病害, 多模态数据集, 图像描述, 自动标注

Abstract:

Accurately identifying corn leaf diseases is an important part of intelligent agricultural management. The existing maize disease data sets have problems such as uneven quality, fuzzy label categories, and lack of multimodal data, especially the scarcity of disease description data in the Chinese context. This data set integrates the image data of corn disease from open source platforms such as AI Challenger, PlantVillage and OpenDataLab, and complements the high-definition disease images collected in the field. A Chinese multimodal data set containing 1653 images is constructed. Each image has its corresponding diagnostic text description, covering key information such as disease type, disease characteristics and severity. At the same time, the cn-clip and CPT2 Chinese large model are combined to achieve image description generation, which provides a method for automatic annotation. This data set can provide high-quality data support for the development of an intelligent diagnosis model of corn disease, the generation of Chinese image description and the construction of an agricultural multimodal knowledge map.

Data summary:

Item	Description
Dataset name	Image-Text Multi-Modal Dataset of Corn Leaf Diseases based on Manual Annotation and Contrast Generation Model
Specific subject area	Agricultural Science, Computer Science
Research topic	Computer vision, Cross-modal retrieval, Image captioning
Data types and technical formats	.jpg
Dataset structure	The dataset is composed of two parts: image data of corn leaf disease and corresponding text description data, including: 1. the original image data set of leaf disease, including 9 typical disease image data, including large leaf spot, small leaf spot, brown spot, Curvularia leaf spot, common rust, southern rust, gray spot, round spot and dwarf mosaic, with a total of 1653 pieces; 2. the diagnostic text description corresponding to the image has an average length of about 32 characters, a total of 1653.
Volume of dataset	3.87 GB
Key index in dataset	Image and its corresponding description text
Data accessibility	CSTR:17058.11.sciencedb.agriculture.00226; https://cstr.cn/17058.11.sciencedb.agriculture.00226 DOI:10.57760/sciencedb.agriculture.00226; https://doi.org/10.57760/sciencedb.agriculture.00226
Financial support	National Science and Technology Major Project（2021ZD0113705）.

Key words: corn, leaf diseases, multimodal data set, image description, automatic annotation

王彦芳, 鲜国建, 赵瑞雪. 基于人工标注与对比生成模型的玉米叶病图文多模态数据集[J]. 农业大数据学报, 2025, 7(3): 371-378.

WANG YanFang, XIAN GuoJian, ZHAO RuiXue. Image-Text Multi-Modal Dataset of Corn Leaf Diseases based on Manual Annotation and Contrast Generation Model[J]. Journal of Agricultural Big Data, 2025, 7(3): 371-378.

图/表 7

表1

图1

表2

图2

表3

原始标注文本与生成文本示例及评估"

图像名称	原始标注文本	模型生成文本	BLEU_1	BLEU_2	ROUGE_L	CIDEr
SCRimage11.JPG	黄色卵圆形斑点生于玉米叶片正面，数量多，分布密集。	玉米叶片正面，生长着密密麻麻数量众多的黄色卵圆形斑点。	0.6428	0.4972	0.4444	0.9906
NLBimage7.JPG	玉米叶片受大斑病影响，出现了灰褐色。	玉米受大斑病影响，叶片上出现长梭形褐色病斑。	0.6364	0.3568	0.5999	0.75
NLBimage20.JPG	玉米叶片出现了褐色病斑，染上了条纹病。	大，玉米叶片上出现大片褐色病斑。	0.6334	0.3569	0.5999	0.5
NLBimage47.JPG	玉米叶片出现褐色病斑，感染了条纹病。	玉米大的叶片上出现褐色病斑。	0.5966	0.3653	0.6316	0.75
NLBimage4.JPG	玉米是一种大斑病，叶片上出现长形褐色病斑。	玉米叶片上的病斑呈灰褐色，边缘是深褐色。	0.5833	0.2303	0.4167	0.5
NLBimage10.JPG	染上大斑病的玉米叶片边缘出现了一个褐色病斑。	玉米大斑病，使玉米叶片上出现褐色病斑。	0.5811	0.399	0.6364	0.739
NLBimage45.JPG	玉米叶片出现褐色病斑，这是玉米大斑病的常见表现。	玉米叶片上的病斑呈不规则的褐色，边缘出现深褐色。	0.5714	0.2097	0.3999	0.4772
NLBimage15.JPG	玉米患有大斑病，叶片呈现褐色或灰褐色。	受褐色的玉米大斑病影响，呈现出灰褐色病斑。	0.5455	0.0736	0.4762	0.25
NLBimage19.JPG	玉米叶片出现了很长的褐色病斑。	玉米叶片上的褐色病斑呈不规则的长条形。	0.5455	0.4045	0.6316	0.7381
NLBimage24.JPG	玉米受大斑病影响，叶片中间出现了褐色病斑。	玉米感染大斑病，使叶片出现褐色长条形大斑。	0.5455	0.0739	0.5455	0.25
NLBimage17.JPG	玉米叶边缘出现褐色梭形大斑，不规则。	玉米叶片上大小，出现褐色长条形病斑。	0.5	0.2357	0.3999	0.5
CRimage48.JPG	玉米因普遍锈病，叶片上出现黄褐色病斑。	玉米叶片上出现褐色病斑，这些病斑呈长矩形。	0.5385	0.2996	0.5217	0.739

表3

表4

参考文献 12

[1]	The Freezone Channel. FAO says plant diseases robs global economy of $220bn. (2021-06-03)[2025-04-08]. https://thefreezonechannel.com/2021/06/03/fao-says-plant-diseases-robs-global-economy-of-220bn/.
[2]	王晓杰, 甘鹏飞, 汤春蕾, 等. 植物抗病性与病害绿色防控:主要科学问题及未来研究方向. 中国科学基金, 2020, 34(4):381-392.
	WANG X, GAN P, TANG C, et al. Plant disease resistance and disease green prevention and control:major scientific issues and future research directions. Bulletin of National Natural Science Foundation of China, 2020, 34(4):381-392.
[3]	HUGHES D P, SALATHE M. An open access repository of images on plant health to enable the development of mobile disease diagnostics. Computer Science, 2015.DOI:10.48550/arXiv.1511.08060.
[4]	WANG X, CAO W. GACN: Generative adversarial classified network for balancing plant disease dataset and plant disease recognition. Sensors, 2023, 23(15).DOI:10.3390/s23156844.
[5]	AHMAD A, SARASWAT D, GAMAL A E, et al. CD&S Dataset: Handheld imagery dataset acquired under field conditions for corn disease identification and severity estimation. arXiv, 2021. DOI:10.48550/arXiv.2110.12084.
[6]	ZHOU H, HU Y, LIU S, et al. A precise framework for rice leaf disease image-text retrieval using FHTW-Net. Plant Phenomics, 2024, 6:0168. DOI: 10.34133/plantphenomics.0168.
[7]	GU J, MENG X, LU G, et al. Wukong: 100 Million Large-scale Chinese cross-modal pre-training dataset and a foundation framework. arXiv,2022:2202.06767. https://arxiv.org/abs/2202.06767.
[8]	LI X R, XU C X, WANG X X, et al. COCO-CN for cross-lingual image tagging, captioning and retrieval. IEEE Transactions on Multimedia, 2019, 21(9):2347-2360.DOI:10.1109/TMM.2019.2896494.
[9]	LI X, LAN W, DONG J, et al. Adding Chinese captions to images// Acm on International Conference on Multimedia Retrieval.ACM, 2016. DOI:10.1145/2911996.2912049.
[10]	高鸿生, 王凤葵. 病虫害田间诊断口袋书-玉米病虫害诊治图册. 北京: 机械工业出版社, 2017.
	GAO H, WANG F. Field Diagnosis Pocket Book of Diseases And Insect Pests - Atlas of diagnosis and treatment of corn diseases and insect pests. Beijing: China Machine Press, 2017.
[11]	农业学术服务平台-作物病虫草害数据. (2019-07-08)[2025-04-08]. https://agri.nais.net.cn/specialtyresources/list19-1.html.
	AgriScholar - Crop Diseases,Pests and Weeds Dataset. (2019-07-08) [2025-04-08]. https://agri.nais.net.cn/specialtyresources/list19-1.html.
[12]	YANG A, PAN J, LIN J, et al. Chinese CLIP: Contrastive vision- language pretraining in Chinese. arXiv, 2023. DOI: 10.48550/arXiv.2211.01335.

主流图像数据集	基本信息	包含的玉米病害类型
PlantVillage Dataset	包含38类作物病害，覆盖14种作物，共54 305幅高质量叶片图像，在实验室条件下拍摄，背景纯净。	灰斑病(Cercospora zeae-maydis, Cercospora zeina) 普通锈病(Puccinia sorghi) 大斑病(Exserohilum turcicum)
AI Challenger2018	包含10种常见作物（苹果、樱桃、葡萄、柑橘、桃、草莓、番茄、辣椒、玉米、马铃薯）的61类病害，共57 926幅高质量叶片图像。每幅图片包含一片农作物的叶子，叶子占据图片主要位置。	灰斑病一般&严重(Cercospora zeae-maydis) 南方锈病一般&严重(Puccinia polysora) 弯孢霉叶斑病一般&严重(Aureobasidium zeae) 矮花叶病(Maize dwarf mosaic virus)
CD&S Dataset	包含3种常见的玉米病害，共4 455幅原始图像和增强图像，其中原始图像2 112幅，来自印第安纳州西拉法特的普渡大学农业研究和教育中心	大斑病(Exserohilum turcicum）圆斑病(Bipolaris zeicola) 灰斑病(Cercospora zeae-maydis, Cercospora zeina)

图像名称	对应图像	文本描述
NLB1.JPG		玉米受大斑病影响，玉米叶片出现灰褐色病斑。
NLB3.JPG		玉米受大斑病的影响，玉米叶片中央出现褐色梭形病斑。
NLB22.JPG		玉米患有大斑病，叶片出现多个褐色病斑。
NLB43.JPG		患有大斑病的玉米叶子表现出褐色长形大斑。

病害类型	中文别称	病原菌	英文全称及缩写	病害数量	图像模态数据来源
褐斑病	-	玉米节壶菌（Physoderma maydis）	Corn Brown Spot (CBS)	115	自建数据集
大斑病	条斑病、煤纹病、枯叶病、叶斑病、北方叶枯病	大斑病凸脐蠕孢 (Exserohilum turcicum)	Northern leaf blight (NLB)	410	CD&S Dataset PlantVillage Dataset
小斑病	斑点病	玉蜀黍平脐蠕孢 (Bipolaris maydis)	Southern leaf blight (SLB)	200	自建数据集
弯孢霉叶斑病	黄斑病、弯孢菌叶斑病	新月弯孢菌(Curvularia lunata)及同属其他种类	Curvularia leaf spots (CLS)	105	自建数据集 AI Challenger2018
普通锈病	-	高粱柄锈菌 (Puccinia sorghi)	Corn common rust (CR)	220	自建数据集
南方锈病		多堆柄锈菌 (Puccinia polysora)	Southern corn rust (SCR)	195	自建数据集 AI Challenger2018
灰斑病	尾孢菌叶斑病、霉斑病、灰霉叶斑病、灰叶斑病	玉蜀黍尾孢(Cercospora zeae-maydis)，玉米尾孢(Cercospora zeina)等	Gray leaf spot (GLS)	175	CD&S Dataset AI Challenger2018
矮花叶病	-	玉米矮花叶病毒 (Maize dwarf mosaic virus)	Sugarcane mosaic (SUM)	130	AI Challenger
圆斑病	北方叶斑病	玉米生平脐蠕孢 (Bipolaris zeicola)	Northern leaf spot (NLS)	105	CD&S Dataset

字段名称	字段类型	字段长度	字段说明
image_id	varchar	50	图像唯一标识符
description	varchar	100	图像对应的文本描述
label	varchar	50	病害类型
source	varchar	50	图像模态数据来源