主页

将 PyTorch 版 bin 模型转换成 Tensorflow 版 ckpt

最近由于工作上的需求,需要使用Tensorflow加载语言模型 SpanBERT(Facebook 发布的 BERT 模型的变体),但是作者只发布了 Pytorch 版的预训练权重,因此需要将其转换为 Tensorflow 可以加载的 checkpoint。 在 Pytorch 框架下,大多数开发者使用 Huggingface 发布的 Transformers 工具来加载语言模型,它同时支持加载 Pytorch 和 Tensorflow 版的模型。但是,目前基于 Tensorflow(或 Keras)的工具基本上都不支持加载 Pytorch 版的 bin 模型,转换代码在网上也很难找到,这带来了很多不便。 通过搜索,目前能够找到的有以下几个转换代码片段可供参考: bin...

阅读更多

改变世界的25天:新冠疫情是如何在中国失控的?

转载自纽约时报《25 DAYS THAT CHANGED THE WORLD: HOW COVID-19 SLIPPED CHINA’S GRASP》,作者:Chris Buckley, David D. Kirkpatrick, Amy Qin and Javier C. Hernández。 中国最著名的医生正在执行一项紧急任务。 现年84岁的钟南山博士接到命令赶往中部城市武汉,研究一种异常的新型冠状病毒。钟南山在17年前因帮助发现SARS流行病而被誉为英雄。他的助手拍了一张夜行列车上钟南山闭目思考的照片,这张照片后来在中国迅速传播,打造了钟南山作为奔赴疫区救援的中国医生的声誉。现在,中国官方历史将钟南山之行描述为最终取得胜利的抗疫战争的电影般的转折点,当时他发现病毒正在危险...

阅读更多

用 Python 计算文本 BLEU 分数和 ROUGE 值

文本生成是自然语言处理 (NLP) 中常见的一类任务,例如机器翻译、自动摘要、图片标题生成等等。如何评估生成文本的质量,或者说衡量生成文本与参考文本之间的差异,是一个必须考虑的问题。目前比较常见的评估方法就是计算 $\text{BLEU}$ 分数和 $\text{ROUGE}$ 值。 BLEU $\text{BLEU}$ (Bilingual Evaluation Understudy, 双语评估替换) 一开始是为翻译工作而开发的,是一个比较候选文本翻译与其他一个或多个参考翻译的评价分数。完美匹配的得分为 $1.0$,完全不匹配则得分为 $0.0$。尽管它还没做到尽善尽美,但它具有计算速度快、容易理解、与具体语言无关等优点。 翻译系统的 $\text{BLEU}$ 得分不可...

阅读更多

Seq2Seq 中 Exposure Bias 现象的浅析与对策

转载自《Seq2Seq中Exposure Bias现象的浅析与对策》,作者:苏剑林,部分内容有修改。 Seq2Seq 模型的典型训练方案 Teacher Forcing 是一个局部归一化模型,它存在着局部归一化所带来的毛病——也就是我们经常说的“Exposure Bias”。 经典的 Seq2Seq 模型图示 本文算是一篇进阶文章,适合对 Seq2Seq 模型已经有一定的了解、希望进一步提升模型的理解或表现的读者。关于 Seq2Seq 的入门文章,可以阅读旧作《Seq2Seq 模型入门》。 本文的内容大致为: Exposure Bias 的成因分析及例子; 简单可行的缓解 Exposure Bias 问题的策略。 Exposure Bi...

阅读更多

CRF or MEMM?

转载自《简明条件随机场CRF介绍(附带纯Keras实现)》和《CRF用过了,不妨再了解下更快的MEMM?》,作者:苏剑林,部分内容有修改。 HMM、MEMM、CRF 被称为是三大经典概率图模型,在深度学习之前的机器学习时代,它们被广泛用于各种序列标注相关的任务中。一个有趣的现象是,到了深度学习时代,HMM 和 MEMM 似乎都“没落”了,舞台上就只留下 CRF。相信做 NLP 的读者朋友们就算没亲自做过也会听说过 BiLSTM+CRF 做中文分词、命名实体识别等任务,却几乎没有听说过 BiLSTM+HMM、BiLSTM+MEMM 的,这是为什么呢? softmax 和 CRF 我们首先来对比一下普通的逐帧 softmax 和 CRF 的异同。 逐帧 softmax CRF ...

阅读更多

浅谈泛化性:从随机噪声、对抗训练到梯度惩罚

转载自《对抗训练浅谈:意义、方法和思考(附Keras实现)》 和《泛化性乱弹:从随机噪声、梯度惩罚到虚拟对抗训练》,作者:苏剑林。 提高模型的泛化性能是机器学习致力追求的目标之一。常见的提高泛化性的方法主要有两种: 第一种是添加噪声,比如往输入添加高斯噪声、中间层增加 Dropout 以及对抗训练等,对图像进行随机平移缩放等数据扩增手段某种意义上也属于此列; 第二种是往 loss 里边添加正则项,比如 $L_1, L_2$ 惩罚、梯度惩罚等。 本文试图探索几种常见的提高泛化性能的手段的关联。 添加随机噪声 我们记模型为 $f(x)$,$\mathcal{D}$ 为训练数据集合,$l(f(x), y)$ 为单个样本的 loss,那么我们的优化目标是 \[\mat...

阅读更多

方方的武汉日记:该滚去美国的卖国贼?

转载自纽约时报《方方的武汉日记和一场政治风暴》,英文版 周一,武汉,长江边的垂钓者。 在武汉被新冠病毒吞噬时,中国作家方方伏案到深夜,写下自己家乡城市的生死纪事。新冠病毒从那里开始演变成一场全球疫情。 她的网络日记尽管有时会遭到审查,但对于上千万的中国读者来说,却成为必读之物,那是对武汉民众困在家里11周的恐惧、沮丧和希望的自然直率的呈现。 她的叙述最近遭到了狂热的中国民族主义者的严厉谴责,他们说日记的英文版出版计划是对政府的诽谤,破坏了武汉的英雄形象。 方方是笔名,她的本名叫汪芳。她说,自己既不想被当作政府的欢呼者,也不想被塑造成一个满腹牢骚、为反对而反对的批评者。她称自己为见证者,日记凸显了医生、环卫工人和互助的邻居的勇敢,同时誓言要对渎职官员问责。 “如果说,作...

阅读更多

中国和美国都把对方最大的弱点当成了唯一

转载自端传媒《专访戴博:中国和美国都把对方最大的弱点当成了唯一》,作者:邢泰 本文是对基辛格中美研究所主任戴博(Robert Daly)的专访。他自1986年任驻华外交官,后出演电视剧《北京人在纽约》,并先后在康奈尔大学、约翰·霍普金斯大学、马里兰大学执教和进行中美文化研究。和主张中美更激烈对抗的“鹰派”不同,他的主要观点是中美对彼此有偏见,而他希望打破这些偏见。在两国关系日益紧张,两边的强硬派都越来越“大声”的今天,端传媒请他分享了他对当下中美关系处境、双方责任和未来可能性的一些看法。 “你们怎么看待穆斯林问题在中国的未来?”2020年2月,在美国华盛顿基辛格中美研究所举办的一场讲座上,台下一位美国观众抛出一个有关新疆问题的提问,他自称是前外交官。 “是不是中美关系以...

阅读更多