主页

从变分编码、信息瓶颈到正态分布:论遗忘的重要性

本文转载自《从变分编码、信息瓶颈到正态分布:论遗忘的重要性》,作者:苏剑林 这是一篇“散文”,我们来谈一下有着千丝万缕联系的三个东西:变分自编码器、信息瓶颈、正态分布。 众所周知,变分自编码器是一个很经典的生成模型,但实际上它有着超越生成模型的含义;而对于信息瓶颈,大家也许相对陌生一些,然而事实上信息瓶颈在去年也热闹了一阵子;至于正态分布,那就不用说了,它几乎跟所有机器学习领域都有或多或少的联系。 那么,当它们三个碰撞在一块时,又有什么样的故事可说呢?它们跟“遗忘”又有什么关系呢? 变分自编码器 理论形式回顾 简单来说,VAE 的优化目标是: \[\begin{equation}KL(\tilde{p}(x)p(z\mid x)\Vert q(z)q(x\mid z))...

阅读更多

Keras 深度学习笔记(三)神经网络入门:层、网络、目标函数和优化器

本文将进一步介绍神经网络的核心组件,即层、网络、目标函数和优化器。并且通过三个介绍性示例深入讲解如何使用神经网络解决实际问题,这三个示例分别是: 将电影评论划分为正面或负面(二分类问题) 将新闻按主题分类(多分类问题) 根据房地产数据估算房屋价格(回归问题) 神经网络剖析 训练神经网络主要围绕以下四个方面: 层,多个层组合成网络(或模型)。 输入数据和相应的目标。 损失函数,即用于学习的反馈信号。 优化器,决定学习过程如何进行。 你可以将这四者的关系可视化,如下图所示:多个层链接在一起组成了网络,将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络...

阅读更多

Keras 深度学习笔记(二)数学基础:张量运算、微分和梯度下降

要理解深度学习,需要熟悉张量、张量运算、微分、梯度下降等数学概念,本文将使用通俗的语言介绍这些概念。首先给出一个神经网络的示例,引出张量和梯度下降的概念,然后逐个详细介绍。 读完本章后,你会对神经网络的工作原理有一个直观的理解,然后就可以学习神经网络的实际应用了。 初识神经网络 我们来看一个使用 Keras 库构建神经网络来学习手写数字分类的例子,将手写数字的灰度图像(28×28 像素)划分到 10 个类别中(0~9)。 这里我们使用经典的 MNIST 数据集,它包含 60,000 张训练图像和 10,000 张测试图像,下图给出了 MNIST 数据集的一些样本。 在机器学习中,分类问题中的某个类别叫作类 (class)。数据点叫作样本 (sample)。某个样本对...

阅读更多

变分自编码器 VAE

转载自《变分自编码器(一):原来是这么一回事》,作者:苏剑林,更新于 2020-06-17 通常我们会拿 VAE 跟 GAN 比较,的确,它们两个的目标基本是一致的——希望构建一个从隐变量 $Z$ 生成目标数据 $X$ 的模型,但是实现上有所不同。更准确地讲,它们是假设了 $Z$ 服从某些常见的分布(比如正态分布或均匀分布),然后希望训练一个模型 $X=g(Z)$,这个模型能够将原来的概率分布映射到训练集的概率分布,也就是说,它们的目的都是进行分布之间的变换。 生成模型的难题就是判断生成分布与真实分布的相似度,因为我们只知道两者的采样结果,不知道它们的分布表达式 那现在假设 $Z$ 服从标准的正态分布,那么我就可以从中采样得到若干个 $Z_1, Z_2, \dots, Z_...

阅读更多

Keras 深度学习笔记(一)什么是深度学习:人工智能、机器学习以及深度学习

最近几年,人工智能被媒体大肆炒作,我们的未来被渲染成可怕的景象:人类的工作将十分稀少,大部分经济活动都由机器人来完成。但对于机器学习从业者来说,重要的是能够在过度炒作的新闻稿中发现改变世界的重大进展。 本文将介绍关于人工智能、机器学习以及深度学习的背景。 人工智能、机器学习与深度学习 人工智能、机器学习与深度学习之间的关系可以用下图来表示: 人工智能 人工智能诞生于 20 世纪 50 年代,当时少数计算机科学的先驱开始探索“计算机是否能够思考”的问题。人工智能的简洁定义如下:努力将通常由人类完成的智力任务自动化。因此,人工智能是一个综合性的领域,不仅包括机器学习与深度学习,还包括更多不涉及学习的方法。 从 20 世纪 50 年代到 80 年代末,许多专家相信只要人工精心...

阅读更多

美国小镇行:COLING 2018 圣达菲

今年 8 月底借着参加 COLING 2018 会议的机会,我前往美国新墨西哥州的圣达菲逗留了一段时间。虽然没有体验到美国大城市的繁华,但圣达菲美丽的自然环境和独特的乡村风情还是给我留下了很深的印象。 圣达菲是一座非常有特色的城市,根据当地政府的法令,城中所有的建筑都按照具有西班牙特色的 Adobe 风格(泥草墙和木头的结构)建造,因此整座城市呈现出一种统一的美感。城市中心遍布着各种各样的餐厅、衣装点和美术馆,街头也时不时能看到各种艺术雕塑。 圣达菲属于典型的美国乡村小镇,当地居民生活悠闲,街边大多是各类商店、餐厅和艺术馆,来自各地的游客三三两两漫步在街头,完全没有那种大城市的喧嚣。旅游业是当地的支柱产业,因而整座城市充满了艺术的气息,一路在街上闲逛就可以参观很多的艺术...

阅读更多

iOS 证书简介:快速了解 iOS 证书体系

在 iOS 开发的过程中,开发者通常将注意力都放在如何编写代码上,而对于 iOS 应用的证书签名部分却只是一知半解。到了真机调试、产品发布的过程,才胡乱折腾一通,最终解决问题的时候其实对证书的构成与机理还是一无所知,不知所以然。 本文首先从 iOS 证书体系入手,一步步解释各模块的内容与注意项,然后通过实例演示证书的实际申请过程。 iOS 证书体系 iOS 的证书体系由以下四个基本构成模块组成: 证书 (Certificates) 标识 (Identifiers) 设备 (Device) 描述文件 (Provisioning Profile) 证书 (Certificates) 代码签名可以让系统确保你的应用来源,并确保你的应用不被修改(执行代码修改后,...

阅读更多

纳粹心灵控制器:Volksempfänger的黑历史

转载自《大揭秘!纳粹心灵控制器——Volksempfänger的黑历史》,作者:中立的手指 为了替德国人民屏蔽境外不良广播信息,纳粹殚精竭虑。 多年以后,当元首站在欢呼的人群面前,准会想起 1918 年 10 月那个遥远的上午。那时这位德国下士正惊恐地趴在前线厕所的屎坑边,目睹了此前战争中从未有过的景象——英国人打来的炮弹里竟然没有炸药,而是装载着一叠叠传单。等到惊魂未定的下士随手抓起一张擦腚时,才发现这擦屁股纸上的内容是如此令人震惊:原来战局远不像己方宣传的那样美好,美国百万大军参战,德军大溃败!可惜这位下士尚未震惊完毕就被一颗毒气弹送进了后方医院,告别了自己的一战生涯。 十多年过去,当年拉屎的下士成长为纳粹德国的最高领袖阿道夫·希特勒,但五彩斑斓的传单在蓝天白云下漫天飞...

阅读更多