V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Liu6
V2EX  ›  问与答

BERT 模型 处理自然文本语言

  •  
  •   Liu6 · 2019-10-12 08:53:44 +08:00 · 2173 次点击
    这是一个创建于 1630 天前的主题,其中的信息可能已经有所发展或是发生改变。
    各位大佬们,萌新最近想学习写 nlp 中的 Bert 模型 ,,但是在网上看了一些资料 自己理解的不是很透彻。 谷歌上的源码 我也下载了 但是 不知道怎么在自己的数据集上使用这个 模型 ,,网上 各种改文件 +文件 有点懵,,,想问下各位大佬 你们有用 Bert 模型 处理 自然文本语言二分类吗 ? 如果有的话 可以发我看看吗? 万分感谢!!!
    6 条回复    2023-12-06 19:34:33 +08:00
    Liu6
        1
    Liu6  
    OP
       2019-10-12 08:56:25 +08:00
    我发自己的邮箱 需要注册满 14 天 我发不了自己的 邮箱 QAQ   1793670758qq.com
    Liu6
        2
    Liu6  
    OP
       2019-10-12 08:57:33 +08:00
    @Liu6 少了个 @
    shicheng1993
        3
    shicheng1993  
       2019-10-12 09:41:34 +08:00   ❤️ 1
    ## 谷歌给的源码确实上手有点痛苦,分享点我浏览的资料吧。
    ## 连接就不挨个给了,直接去搜标题,应该能搜到。
    ## B 站上的视频讲的很好。
    jessevig/bertviz: Tool for visualizing attention in the Transformer model (BERT, GPT-2, XLNet, and RoBERTa)
    汉语自然语言处理-BERT 的解读语言模型预训练-实践应用-transformer 模型(二)-语料预处理-情感分析分类-数据增强-解决过拟合问题-深度学习训练技巧_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
    9.1. Attention Mechanism — Dive into Deep Learning 0.7 documentation
    [MXNet/Gluon] 动手学深度学习番外篇:注意力机制概述_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
    动手学深度学习 注意力 - 搜索结果 - 哔哩哔哩弹幕视频网 - ( ゜- ゜)つロ 乾杯~ - bilibili
    9.3. Transformer — Dive into Deep Learning 0.7 documentation
    The Annotated Transformer
    NLP 必读:十分钟读懂谷歌 BERT 模型 - 知乎
    最强 NLP 模型 BERT 可视化学习 - 知乎
    [NLP] Attention 原理和源码解析 - 知乎
    BERT---容易被忽视的细节 - 知乎
    BERT 时代与后时代的 NLP - 知乎
    [NLP] 理解 NLP 中网红特征抽取器 Tranformer - 知乎
    NLP 历史突破!快速解读 Google BERT 模型 + Word Embedding_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
    BERT 专题系列(一):Attention 机制_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
    BERT 专题系列(二):Transformer ( Attention is all you need )_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
    BERT 专题系列(三):
    AI 解惑者的个人空间 - 哔哩哔哩 ( ゜- ゜)つロ 乾杯~ Bilibili
    超越 BERT: GPT-2 , XLNet,MT-DNN 模型详解(英文字幕)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
    60 分钟带你掌握 NLP BERT 理论与实战_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili
    ## 下面是可以关注的一些和 BERT 相关的开源项目:
    keras-bert
    bert_sa
    bert-as-service
    ### 上手简单的:
    fast-bert
    ### 蒸馏或者提高效率的:
    cuBERT
    albert_zh
    PKD-for-BERT-Model-Compression
    https://github.com/huggingface/transformers/tree/master/examples/distillation
    Liu6
        4
    Liu6  
    OP
       2019-10-12 10:01:38 +08:00
    @shicheng1993 非常感谢
    tobiaslee98
        5
    tobiaslee98  
       2019-10-12 10:09:44 +08:00
    原理相关的教程上面给的已经挺多了,不过建议有时间回头去把 Attention is All You Need / GPT / ELMo / BERT 这几篇文章看一下
    对于做二分类任务,拿着官方 repo 改成你数据集上的,可以参考下面这个教程
    https://leowood.github.io/2018/11/16/BERT-fine-tuning-01/
    xuelang
        6
    xuelang  
       113 天前
    可以参考我这篇
    零基础用 Bert 训练并部署文本分类模型
    https://selfboot.cn/2023/12/06/bert_nlp_classify/
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3934 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:16 · PVG 18:16 · LAX 03:16 · JFK 06:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.