A Novel Approach for Text Classification by Combining Pre-trained BERT Model with CNN Classifier

计算机科学 语言模型 人工智能 卷积神经网络 分类器(UML) 编码器 自然语言处理 变压器 自编码 机器学习 深度学习 量子力学 操作系统 物理 电压
作者
Chenxu Wang,Yulin Li,Ziying Wang
标识
DOI:10.1109/iciscae59047.2023.10392947
摘要

Language model pre-training has emerged as a highly effective approach for acquiring universal language representations. Among the state-of-the-art models in this field, BERT (Bidirectional Encoder Representations from Transformers) has garnered significant attention due to its remarkable performance across various language understanding tasks. With its advanced architecture and innovative techniques, BERT has consistently delivered impressive results, solidifying its position as a leading language model pre-training model. CNN (Convolutional Neural Network) is also widely used in language model training.This study presents a novel approach for text classification by combining a pre-trained BERT model with a CNN classifier. The model under consideration attains the highest level of performance currently available on the AG News and Amazon product reviews datasets. The BERT model is applied to produce contextualized embeddings for the input text data, while the CNN classifier executes the classification process. By utilizing the contextualized embeddings of BERT and the n-gram feature capturing of CNN, our model exhibits superior performance in both accuracy and F1 score when compared to the baseline models. The findings indicate the capability of our methodology in analyzing social media, determining sentiment, and classifying documents.
最长约 10秒,即可获得该文献文件

科研通智能强力驱动
Strongly Powered by AbleSci AI
科研通是完全免费的文献互助平台,具备全网最快的应助速度,最高的求助完成率。 对每一个文献求助,科研通都将尽心尽力,给求助人一个满意的交代。
实时播报
小马甲的应助被xi采纳,获得10
刚刚
王兽医发布了新的文献求助10
刚刚
1秒前
2秒前
Nuyoah完成签到,获得积分10
3秒前
3秒前
3秒前
wyc发布了新的文献求助10
4秒前
怡v完成签到 ,获得积分10
5秒前
Cherish完成签到,获得积分10
5秒前
明天见完成签到 ,获得积分10
5秒前
6秒前
情怀的应助被郦初蓝采纳,获得10
6秒前
韩沐沐完成签到,获得积分10
6秒前
万能图书馆的应助被JinLy采纳,获得10
7秒前
搜集达人的应助被qiuyu采纳,获得10
7秒前
7秒前
Akim的应助被lin采纳,获得10
8秒前
不会发芽的土豆泥完成签到 ,获得积分10
8秒前
FAHUO完成签到,获得积分10
8秒前
seelewer发布了新的文献求助10
8秒前
9秒前
9秒前
9秒前
JamesPei的应助被xiaoxu小徐采纳,获得10
9秒前
一寸杠杆完成签到,获得积分10
9秒前
JUAN123发布了新的文献求助50
10秒前
10秒前
10秒前
11秒前
ding的应助被李金玉采纳,获得10
12秒前
慕青的应助被ChiariRay采纳,获得20
12秒前
CarryLJR的应助被风吹麦浪采纳,获得30
12秒前
CarryLJR的应助被风吹麦浪采纳,获得30
12秒前
852的应助被内向灵凡采纳,获得10
12秒前
CarryLJR的应助被风吹麦浪采纳,获得30
12秒前
CarryLJR的应助被风吹麦浪采纳,获得30
12秒前
华仔的应助被Nucleo采纳,获得10
12秒前
CarryLJR的应助被风吹麦浪采纳,获得30
13秒前
天天发布了新的文献求助20
13秒前
高分求助中
(应助此贴封号)【重要!!请各用户(尤其是新用户)详细阅读】【科研通的精品贴汇总】 10000
拉伸高分子熔体中缠结行为的模拟和小角中子散射研究 1700
Grapes 1000
The World Atlas of Wine 9th edition 1000
奈特基础组织学:配套组织病理学(第4版)(Netter's Essential Histology With Correlated Histopathology) 800
John McDowells Bildungstheorie 800
八旗制度の研究 600
热门求助领域 (近24小时)
化学 材料科学 医学 生物 纳米技术 计算机科学 工程类 有机化学 化学工程 生物化学 物理 复合材料 内科学 催化作用 光电子学 人工智能 细胞生物学 无机化学 物理化学 数学
热门帖子
关注 科研通微信公众号,转发送积分 8178484
求助须知:如何正确求助?哪些是违规求助? 9569318
关于积分的说明 21803439
捐赠科研通 7773381
什么是DOI,文献DOI怎么找? 3432819
关于科研通互助平台的介绍 2556838
邀请新用户注册赠送积分活动 2478441