基于深度学习的自然语言处理技术的发展及其在农业领域的应用

doi:10.19788/j.issn.2096-6369.190104

农业大数据学报 ›› 2019, Vol. 1 ›› Issue (1): 38-44.doi: 10.19788/j.issn.2096-6369.190104

所属专题：农业知识服务

基于深度学习的自然语言处理技术的发展及其在农业领域的应用

崔运鹏^1,^2,^*(),王健^1,²,刘娟^1,²

^1. 中国农业科学院农业信息研究所,北京 100081
^2. 农业农村部农业大数据重点实验室,北京 100081

收稿日期:2018-09-20 出版日期:2019-03-26 发布日期:2019-04-04
通讯作者: 崔运鹏 E-mail:cyunpeng@163.com
作者简介:崔运鹏,男,博士,研究方向：农业知识管理、自然语言处理、农业大数据分析

The development of deep learning based Natural Language Processing (NLP) technology and applications in agriculture

Cui Yunpeng^1,^2,^*(),Wang Jian^1,²,Liu Juan^1,²

^1. Institute of Agricultural Information, China Academy of Agricultural Sciences, Beijing, 100081
^2. Key Laboratory of Agricultural Big Data, Ministry of Agriculture and Rural Affairs, Beijing, 100081

Received:2018-09-20 Online:2019-03-26 Published:2019-04-04
Contact: Cui Yunpeng E-mail:cyunpeng@163.com

摘要/Abstract

摘要：

深度学习是本世纪出现的新一代机器学习技术,深度学习技术的发展与应用对现代自然语言处理技术产生了深远的影响。本文讨论了自然语言处理技术在深度学习技术的推动下所取得的主要进展,以及近几年自然语言处理领域出现的新的技术产品和经典案例,特别分析并阐述了深度学习在文本词向量构建、磁性标注与命名实体识别相结合用于词义消歧、卷及神经网络文本自动分类、主题提取及文本内容相关性计算等关键自然语言处理任务中所发挥的重要作用,并介绍了词向量技术在水稻知识领域的作用、农业领域专有命名实体识别以及农业文献内容相关性计算等实际应用案例,并剖析了了相关技术实现细节。最后本文展望了今后一个时期自然语言处理技术的发展方向,以及其在农业领域的应用前景,并阐明了自然语言处理技术对农业领域智能化应用不可或缺的意义。

关键词: 农业大数据, 自然语言处理, 智慧农业, 机器学习：数据挖掘

Abstract:

Deep learning is an emerging but rapidly advancing technology having a profound impact on modern natural language processing (NLP) technology. This paper discusses recent developments of NLP technology driven by deep neural networks (DNN), as well as new products and recent cases. In particular, the paper examines advances relevant to the agriculture domain, such as DNN-based word embedding vector construction, the computational ability to recognize and name domain-specific entities and agricultural literature terms. Additionally, it analyzes the implementation details of related technologies. Finally, the paper reviews the trends and outlook for NLP technology, highlighting the significance of NLP technology for intelligent applications in agriculture.

Key words: Agriculture big data, NLP, smart agriculture, machine learning, data mining

中图分类号:

TP181

崔运鹏, 王健, 刘娟. 基于深度学习的自然语言处理技术的发展及其在农业领域的应用[J]. 农业大数据学报, 2019, 1(1): 38-44.

Cui Yunpeng, Wang Jian, Liu Juan. The development of deep learning based Natural Language Processing (NLP) technology and applications in agriculture[J]. Journal of Agricultural Big Data, 2019, 1(1): 38-44.

图/表 8

图1

图2

图3

图4

图5

图6

图7

图8

参考文献 15

[1]	周翔. 微软副院长周明:NLP目前存在的问题、以及未来的发展方向[EB/OL]. ( 2017 -06-05)[2018-08-04].
[2]	微软亚洲研究院. 沈向洋:懂语言者得天下[EB/OL]. ( 2017 -11-03)[2018-08-04].
[3]	储节旺 . 知识管理概论[M]. 北京: 北京交通大学出版社. 2006: 283.
[4]	AI正在农业领域崛起,它真能帮助养活整个世界吗? [EB/OL]. .
[5]	杨晓凡. 会打电话的 AI 背后:谷歌 Duplex 技术解析[EB/OL]. ( 2018 -05-11) [2018-08-04].
[6]	早优夫斯基 . 人机辩论赛,IBM 的 AI 战胜人类冠军背后我们该知道些什么?[EB/OL]. ( 2018- 09- 10) [2018-09-12]. .
[7]	维基百科,Word2vec[EB/OL].
[8]	数据挖掘机养成记 . 秒懂词向量Word2vec的本质[EB/OL].https://zhuanlan.zhihu.com/p/26306795.
[9]	Quoc Le, Tomas Mikolov . Proceedings of the 31st International Conference on Machine Learning[J]. PMLR, 2014,32(2):1188-1196.
[10]	Andrew Trask, Phil Michalak , John Liu. Sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings. arXiv: 151106388 .[cs.CL].
[11]	Covington P, Adams J, Sargin E. Deep neural networks for youtube recommendations [C]//Proceedings of the 10th ACM Conference on Recommender Systems. ACM, 2016: 191-198.
[12]	Yoon Kim. . Convolutional Neural Networks for Sentence Classification. arXiv:1408.5882 [cs.CL].
[13]	Lei Zhang, Shuai Wang , SBing Liu . Deep Learning for Sentiment Analysis : A Survey. arXiv:1801.07883 [csCL].
[14]	Sievert C, Shirley K E . LDAvis: A method for visualizing and interpreting topics [C]// Workshop on Interactive Language Learning, Visualization, and Interfaces at the Association for Computational Linguistics. 2014.
[15]

基于深度学习的自然语言处理技术的发展及其在农业领域的应用

The development of deep learning based Natural Language Processing (NLP) technology and applications in agriculture

RichHTML

PDF (PC)

赞

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 15

相关文章 15

Metrics

本文评价

推荐阅读 0

[1]	魏若璇. 数字乡村发展中的数据安全问题研究[J]. 农业大数据学报, 2022, 4(3): 109-115.
[2]	陶耘, 成谢锋. 区域大数据发展与区域农业大数据建设水平比较研究[J]. 农业大数据学报, 2022, 4(1): 125-135.
[3]	王小兵, 马晔. 我国农业农村信息化发展水平评价研究[J]. 农业大数据学报, 2022, 4(1): 5-11.
[4]	汪汇涓, 徐倩, 周爱莲, 梁晓贺, 谢能付, 李小雨, 吴赛赛. 区块链的发展历程及在农业领域的应用展望[J]. 农业大数据学报, 2021, 3(3): 76-86.
[5]	李强, 高懋芳, 方莹. 农业大数据信息平台构建方法初探[J]. 农业大数据学报, 2021, 3(2): 24-30.
[6]	陈富桥, 凌晨. 茶叶全产业链大数据中心功能设计与开发进展[J]. 农业大数据学报, 2021, 3(2): 54-66.
[7]	蒋锐, 黄凤洪, 吴渝, 霍梦佳, 刘华威. 油料（油菜、花生）全产业链大数据的建设[J]. 农业大数据学报, 2021, 3(2): 67-74.
[8]	顾君, 贾暑花, 曾庆鸿. 基于知识中台的农业单品全产业链大数据平台建设研究[J]. 农业大数据学报, 2021, 3(1): 25-32.
[9]	张杰, 刘升平, 岳慧丽, 吕纯阳, 洪葳. 智慧蜂业大数据平台建设与应用[J]. 农业大数据学报, 2021, 3(1): 3-13.
[10]	温晗秋子, 郑永强, 刘杨. 柑橘大数据研究与应用[J]. 农业大数据学报, 2021, 3(1): 33-44.
[11]	刘海燕, 杨榕, 侯彤瑜, 赵维, 姚兆群, 王海江, 张泽, 高攀, 吕新. 新疆棉田土壤微生物资源大数据平台建设与可视化分析[J]. 农业大数据学报, 2021, 3(1): 45-55.
[12]	段青玲, 刘怡然, 周新辉, 任妮, 李道亮. 大闸蟹养殖大数据分析模型和应用进展[J]. 农业大数据学报, 2021, 3(1): 56-65.
[13]	董春岩, 牛明雷, 姚艳, 常晓燕, 吕凌峰, 李楠. 蔬菜全产业链大数据平台建设与应用研究——以大白菜为例[J]. 农业大数据学报, 2021, 3(1): 66-72.
[14]	顾君, 齐晓军, 苑青微, 曾庆鸿. 农业单品全产业链大数据平台设计与实现[J]. 农业大数据学报, 2021, 3(1): 73-80.
[15]	官波, 陈娉婷, 罗治情, 马海荣, 沈祥成. 湖北省农业农村大数据发展问题研究[J]. 农业大数据学报, 2021, 3(1): 81-87.