主页

Keras 深度学习笔记(二)数学基础:张量运算、微分和梯度下降

要理解深度学习,需要熟悉张量、张量运算、微分、梯度下降等数学概念,本文将使用通俗的语言介绍这些概念。首先给出一个神经网络的示例,引出张量和梯度下降的概念,然后逐个详细介绍。 读完本章后,你会对神经网络的工作原理有一个直观的理解,然后就可以学习神经网络的实际应用了。 初识神经网络 我们来看一个使用 Keras 库构建神经网络来学习手写数字分类的例子,将手写数字的灰度图像(28×28 像素)划分到 10 个类别中(0~9)。 这里我们使用经典的 MNIST 数据集,它包含 60,000 张训练图像和 10,000 张测试图像,下图给出了 MNIST 数据集的一些样本。 在机器学习中,分类问题中的某个类别叫作类 (class)。数据点叫作样本 (sample)。某个样本对...

阅读更多

变分自编码器 VAE

转载自《变分自编码器(一):原来是这么一回事》,作者:苏剑林,更新于 2020-06-17 通常我们会拿 VAE 跟 GAN 比较,的确,它们两个的目标基本是一致的——希望构建一个从隐变量 $Z$ 生成目标数据 $X$ 的模型,但是实现上有所不同。更准确地讲,它们是假设了 $Z$ 服从某些常见的分布(比如正态分布或均匀分布),然后希望训练一个模型 $X=g(Z)$,这个模型能够将原来的概率分布映射到训练集的概率分布,也就是说,它们的目的都是进行分布之间的变换。 生成模型的难题就是判断生成分布与真实分布的相似度,因为我们只知道两者的采样结果,不知道它们的分布表达式 那现在假设 $Z$ 服从标准的正态分布,那么我就可以从中采样得到若干个 $Z_1, Z_2, \dots, Z_...

阅读更多

Keras 深度学习笔记(一)什么是深度学习:人工智能、机器学习以及深度学习

最近几年,人工智能被媒体大肆炒作,我们的未来被渲染成可怕的景象:人类的工作将十分稀少,大部分经济活动都由机器人来完成。但对于机器学习从业者来说,重要的是能够在过度炒作的新闻稿中发现改变世界的重大进展。 本文将介绍关于人工智能、机器学习以及深度学习的背景。 人工智能、机器学习与深度学习 人工智能、机器学习与深度学习之间的关系可以用下图来表示: 人工智能 人工智能诞生于 20 世纪 50 年代,当时少数计算机科学的先驱开始探索“计算机是否能够思考”的问题。人工智能的简洁定义如下:努力将通常由人类完成的智力任务自动化。因此,人工智能是一个综合性的领域,不仅包括机器学习与深度学习,还包括更多不涉及学习的方法。 从 20 世纪 50 年代到 80 年代末,许多专家相信只要人工精心...

阅读更多

美国小镇行:COLING 2018 圣达菲

今年 8 月底借着参加 COLING 2018 会议的机会,我前往美国新墨西哥州的圣达菲逗留了一段时间。虽然没有体验到美国大城市的繁华,但圣达菲美丽的自然环境和独特的乡村风情还是给我留下了很深的印象。 圣达菲是一座非常有特色的城市,根据当地政府的法令,城中所有的建筑都按照具有西班牙特色的 Adobe 风格(泥草墙和木头的结构)建造,因此整座城市呈现出一种统一的美感。城市中心遍布着各种各样的餐厅、衣装点和美术馆,街头也时不时能看到各种艺术雕塑。 圣达菲属于典型的美国乡村小镇,当地居民生活悠闲,街边大多是各类商店、餐厅和艺术馆,来自各地的游客三三两两漫步在街头,完全没有那种大城市的喧嚣。旅游业是当地的支柱产业,因而整座城市充满了艺术的气息,一路在街上闲逛就可以参观很多的艺术...

阅读更多

iOS 证书简介:快速了解 iOS 证书体系

在 iOS 开发的过程中,开发者通常将注意力都放在如何编写代码上,而对于 iOS 应用的证书签名部分却只是一知半解。到了真机调试、产品发布的过程,才胡乱折腾一通,最终解决问题的时候其实对证书的构成与机理还是一无所知,不知所以然。 本文首先从 iOS 证书体系入手,一步步解释各模块的内容与注意项,然后通过实例演示证书的实际申请过程。 iOS 证书体系 iOS 的证书体系由以下四个基本构成模块组成: 证书 (Certificates) 标识 (Identifiers) 设备 (Device) 描述文件 (Provisioning Profile) 证书 (Certificates) 代码签名可以让系统确保你的应用来源,并确保你的应用不被修改(执行代码修改后,...

阅读更多

纳粹心灵控制器:Volksempfänger的黑历史

转载自《大揭秘!纳粹心灵控制器——Volksempfänger的黑历史》,作者:中立的手指 为了替德国人民屏蔽境外不良广播信息,纳粹殚精竭虑。 多年以后,当元首站在欢呼的人群面前,准会想起 1918 年 10 月那个遥远的上午。那时这位德国下士正惊恐地趴在前线厕所的屎坑边,目睹了此前战争中从未有过的景象——英国人打来的炮弹里竟然没有炸药,而是装载着一叠叠传单。等到惊魂未定的下士随手抓起一张擦腚时,才发现这擦屁股纸上的内容是如此令人震惊:原来战局远不像己方宣传的那样美好,美国百万大军参战,德军大溃败!可惜这位下士尚未震惊完毕就被一颗毒气弹送进了后方医院,告别了自己的一战生涯。 十多年过去,当年拉屎的下士成长为纳粹德国的最高领袖阿道夫·希特勒,但五彩斑斓的传单在蓝天白云下漫天飞...

阅读更多

灾后北川残酷一面:汶川大地震最好的记录和纪念

我必须向两位作者致敬,十年后读他们的文字,震撼感仍不减当年。我同时有些伤感,他们所在的那个群星璀璨的新闻团队已经星流云散,他们所在的那个激情燃烧的行业已经面目全非 ——编者 李海鹏 陈江 文 转载自财经十一人《灾后北川残酷一面 汶川大地震最好的记录和纪念》,原文作者:李海鹏 陈江。原载2008年5月22日南方周末,转载自李海鹏博客 声音在消失 死亡的气味是在5月15日下午开始在北川县城里弥漫开来的。那是一种甜、臭和焦糊的味道。地震在北川为害最烈,由于缺少尸袋,仍有大量遗体被摆放在街道上废墟的空隙间等待处理。废墟下面可能仍埋有上万人之多,正在不断死去。几千名军警和消防队员已经又饿又累。傍晚,成都军区某集团军坦克团的士兵们在河边广场上集结,开始吃这一天的第一顿饭:火...

阅读更多

决策树:信息增益、增益率和基尼指数

基本流程 决策树 (decision tree) 是一类常见的机器学习方法,它基于树结构来进行决策。例如,我们要对“这是好瓜吗?”这样的问题进行决策时,通常会进行一系列的判断或“子决策”,如下图所示: 一般的,一棵决策树包含一个根结点、若干个内部结点和若干个叶结点;叶结点对应于决策结果,其他每个结点则对应于一个属性测试;每个结点包含的样本集合根据属性测试的结果被划分到子结点中;根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。 决策树学习的目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树,其基本流程遵循简单且直观的“分而治之” 策略。决策树学习基本算法如下所示 输入:训练集 $D={(\boldsymbol{x}_1,y_1),(\bol...

阅读更多