《 动 手 学 深 度 学 习 》 — 动 手 学 深 度 学 习 2 . 0 . 0 d o c u m e n t a t i o n 《 动 手 学 深 度 学 习 》 s e a r c h Q u i c k s e a r c h c o d e S h o w S o u r c e M X N e t P y T o r c h J u p y t e r 记 事 本 课 程 G i t H u b E n g l i s h T a b l e O f C o n t e n t s 前 言 安 装 符 号 1 . 引 言 2 . 预 备 知 识 2 . 1 . 数 据 操 作 2 . 2 . 数 据 预 处 理 2 . 3 . 线 性 代 数 2 . 4 . 微 积 分 2 . 5 . 自 动 微 分 2 . 6 . 概 率 2 . 7 . 查 阅 文 档 3 . 线 性 神 经 网 络 3 . 1 . 线 性 回 归 3 . 2 . 线 性 回 归 的 从 零 开 始 实 现 3 . 3 . 线 性 回 归 的 简 洁 实 现 3 . 4 . s o f t m a x 回 归 3 . 5 . 图 像 分 类 数 据 集 3 . 6 . s o f t m a x 回 归 的 从 零 开 始 实 现 3 . 7 . s o f t m a x 回 归 的 简 洁 实 现 4 . 多 层 感 知 机 4 . 1 . 多 层 感 知 机 4 . 2 . 多 层 感 知 机 的 从 零 开 始 实 现 4 . 3 . 多 层 感 知 机 的 简 洁 实 现 4 . 4 . 模 型 选 择 、 欠 拟 合 和 过 拟 合 4 . 5 . 权 重 衰 减 4 . 6 . 暂 退 法 （ D r o p o u t ） 4 . 7 . 前 向 传 播 、 反 向 传 播 和 计 算 图 4 . 8 . 数 值 稳 定 性 和 模 型 初 始 化 4 . 9 . 环 境 和 分 布 偏 移 4 . 1 0 . 实 战 K a g g l e 比 赛 ： 预 测 房 价 5 . 深 度 学 习 计 算 5 . 1 . 层 和 块 5 . 2 . 参 数 管 理 5 . 3 . 延 后 初 始 化 5 . 4 . 自 定 义 层 5 . 5 . 读 写 文 件 5 . 6 . G P U 6 . 卷 积 神 经 网 络 6 . 1 . 从 全 连 接 层 到 卷 积 6 . 2 . 图 像 卷 积 6 . 3 . 填 充 和 步 幅 6 . 4 . 多 输 入 多 输 出 通 道 6 . 5 . 汇 聚 层 6 . 6 . 卷 积 神 经 网 络 （ L e N e t ） 7 . 现 代 卷 积 神 经 网 络 7 . 1 . 深 度 卷 积 神 经 网 络 （ A l e x N e t ） 7 . 2 . 使 用 块 的 网 络 （ V G G ） 7 . 3 . 网 络 中 的 网 络 （ N i N ） 7 . 4 . 含 并 行 连 结 的 网 络 （ G o o g L e N e t ） 7 . 5 . 批 量 规 范 化 7 . 6 . 残 差 网 络 （ R e s N e t ） 7 . 7 . 稠 密 连 接 网 络 （ D e n s e N e t ） 8 . 循 环 神 经 网 络 8 . 1 . 序 列 模 型 8 . 2 . 文 本 预 处 理 8 . 3 . 语 言 模 型 和 数 据 集 8 . 4 . 循 环 神 经 网 络 8 . 5 . 循 环 神 经 网 络 的 从 零 开 始 实 现 8 . 6 . 循 环 神 经 网 络 的 简 洁 实 现 8 . 7 . 通 过 时 间 反 向 传 播 9 . 现 代 循 环 神 经 网 络 9 . 1 . 门 控 循 环 单 元 （ G R U ） 9 . 2 . 长 短 期 记 忆 网 络 （ L S T M ） 9 . 3 . 深 度 循 环 神 经 网 络 9 . 4 . 双 向 循 环 神 经 网 络 9 . 5 . 机 器 翻 译 与 数 据 集 9 . 6 . 编 码 器 解 码 器 架 构 9 . 7 . 序 列 到 序 列 学 习 （ s e q 2 s e q ） 9 . 8 . 束 搜 索 1 0 . 注 意 力 机 制 1 0 . 1 . 注 意 力 提 示 1 0 . 2 . 注 意 力 汇 聚 ： N a d a r a y a W a t s o n 核 回 归 1 0 . 3 . 注 意 力 评 分 函 数 1 0 . 4 . B a h d a n a u 注 意 力 1 0 . 5 . 多 头 注 意 力 1 0 . 6 . 自 注 意 力 和 位 置 编 码 1 0 . 7 . T r a n s f o r m e r 1 1 . 优 化 算 法 1 1 . 1 . 优 化 和 深 度 学 习 1 1 . 2 . 凸 性 1 1 . 3 . 梯 度 下 降 1 1 . 4 . 随 机 梯 度 下 降 1 1 . 5 . 小 批 量 随 机 梯 度 下 降 1 1 . 6 . 动 量 法 1 1 . 7 . A d a G r a d 算 法 1 1 . 8 . R M S P r o p 算 法 1 1 . 9 . A d a d e l t a 1 1 . 1 0 . A d a m 算 法 1 1 . 1 1 . 学 习 率 调 度 器 1 2 . 计 算 性 能 1 2 . 1 . 编 译 器 和 解 释 器 1 2 . 2 . 异 步 计 算 1 2 . 3 . 自 动 并 行 1 2 . 4 . 硬 件 1 2 . 5 . 多 G P U 训 练 1 2 . 6 . 多 G P U 的 简 洁 实 现 1 2 . 7 . 参 数 服 务 器 1 3 . 计 算 机 视 觉 1 3 . 1 . 图 像 增 广 1 3 . 2 . 微 调 1 3 . 3 . 目 标 检 测 和 边 界 框 1 3 . 4 . 锚 框 1 3 . 5 . 多 尺 度 目 标 检 测 1 3 . 6 . 目 标 检 测 数 据 集 1 3 . 7 . 单 发 多 框 检 测 （ S S D ） 1 3 . 8 . 区 域 卷 积 神 经 网 络 （ R C N N ） 系 列 1 3 . 9 . 语 义 分 割 和 数 据 集 1 3 . 1 0 . 转 置 卷 积 1 3 . 1 1 . 全 卷 积 网 络 1 3 . 1 2 . 风 格 迁 移 1 3 . 1 3 . 实 战 K a g g l e 比 赛 ： 图 像 分 类 ( C I F A R 1 0 ) 1 3 . 1 4 . 实 战 K a g g l e 比 赛 ： 狗 的 品 种 识 别 （ I m a g e N e t D o g s ） 1 4 . 自 然 语 言 处 理 ： 预 训 练 1 4 . 1 . 词 嵌 入 （ w o r d 2 v e c ） 1 4 . 2 . 近 似 训 练 1 4 . 3 . 用 于 预 训 练 词 嵌 入 的 数 据 集 1 4 . 4 . 预 训 练 w o r d 2 v e c 1 4 . 5 . 全 局 向 量 的 词 嵌 入 （ G l o V e ） 1 4 . 6 . 子 词 嵌 入 1 4 . 7 . 词 的 相 似 性 和 类 比 任 务 1 4 . 8 . 来 自 T r a n s f o r m e r s 的 双 向 编 码 器 表 示 （ B E R T ） 1 4 . 9 . 用 于 预 训 练 B E R T 的 数 据 集 1 4 . 1 0 . 预 训 练 B E R T 1 5 . 自 然 语 言 处 理 ： 应 用 1 5 . 1 . 情 感 分 析 及 数 据 集 1 5 . 2 . 情 感 分 析 ： 使 用 循 环 神 经 网 络 1 5 . 3 . 情 感 分 析 ： 使 用 卷 积 神 经 网 络 1 5 . 4 . 自 然 语 言 推 断 与 数 据 集 1 5 . 5 . 自 然 语 言 推 断 ： 使 用 注 意 力 1 5 . 6 . 针 对 序 列 级 和 词 元 级 应 用 微 调 B E R T 1 5 . 7 . 自 然 语 言 推 断 ： 微 调 B E R T 1 6 . 附 录 ： 深 度 学 习 工 具 1 6 . 1 . 使 用 J u p y t e r N o t e b o o k 1 6 . 2 . 使 用 A m a z o n S a g e M a k e r 1 6 . 3 . 使 用 A m a z o n E C 2 实 例 1 6 . 4 . 选 择 服 务 器 和 G P U 1 6 . 5 . 为 本 书 做 贡 献 1 6 . 6 . d 2 l A P I 文 档 参 考 文 献 T a b l e O f C o n t e n t s 前 言 安 装 符 号 1 . 引 言 2 . 预 备 知 识 2 . 1 . 数 据 操 作 2 . 2 . 数 据 预 处 理 2 . 3 . 线 性 代 数 2 . 4 . 微 积 分 2 . 5 . 自 动 微 分 2 . 6 . 概 率 2 . 7 . 查 阅 文 档 3 . 线 性 神 经 网 络 3 . 1 . 线 性 回 归 3 . 2 . 线 性 回 归 的 从 零 开 始 实 现 3 . 3 . 线 性 回 归 的 简 洁 实 现 3 . 4 . s o f t m a x 回 归 3 . 5 . 图 像 分 类 数 据 集 3 . 6 . s o f t m a x 回 归 的 从 零 开 始 实 现 3 . 7 . s o f t m a x 回 归 的 简 洁 实 现 4 . 多 层 感 知 机 4 . 1 . 多 层 感 知 机 4 . 2 . 多 层 感 知 机 的 从 零 开 始 实 现 4 . 3 . 多 层 感 知 机 的 简 洁 实 现 4 . 4 . 模 型 选 择 、 欠 拟 合 和 过 拟 合 4 . 5 . 权 重 衰 减 4 . 6 . 暂 退 法 （ D r o p o u t ） 4 . 7 . 前 向 传 播 、 反 向 传 播 和 计 算 图 4 . 8 . 数 值 稳 定 性 和 模 型 初 始 化 4 . 9 . 环 境 和 分 布 偏 移 4 . 1 0 . 实 战 K a g g l e 比 赛 ： 预 测 房 价 5 . 深 度 学 习 计 算 5 . 1 . 层 和 块 5 . 2 . 参 数 管 理 5 . 3 . 延 后 初 始 化 5 . 4 . 自 定 义 层 5 . 5 . 读 写 文 件 5 . 6 . G P U 6 . 卷 积 神 经 网 络 6 . 1 . 从 全 连 接 层 到 卷 积 6 . 2 . 图 像 卷 积 6 . 3 . 填 充 和 步 幅 6 . 4 . 多 输 入 多 输 出 通 道 6 . 5 . 汇 聚 层 6 . 6 . 卷 积 神 经 网 络 （ L e N e t ） 7 . 现 代 卷 积 神 经 网 络 7 . 1 . 深 度 卷 积 神 经 网 络 （ A l e x N e t ） 7 . 2 . 使 用 块 的 网 络 （ V G G ） 7 . 3 . 网 络 中 的 网 络 （ N i N ） 7 . 4 . 含 并 行 连 结 的 网 络 （ G o o g L e N e t ） 7 . 5 . 批 量 规 范 化 7 . 6 . 残 差 网 络 （ R e s N e t ） 7 . 7 . 稠 密 连 接 网 络 （ D e n s e N e t ） 8 . 循 环 神 经 网 络 8 . 1 . 序 列 模 型 8 . 2 . 文 本 预 处 理 8 . 3 . 语 言 模 型 和 数 据 集 8 . 4 . 循 环 神 经 网 络 8 . 5 . 循 环 神 经 网 络 的 从 零 开 始 实 现 8 . 6 . 循 环 神 经 网 络 的 简 洁 实 现 8 . 7 . 通 过 时 间 反 向 传 播 9 . 现 代 循 环 神 经 网 络 9 . 1 . 门 控 循 环 单 元 （ G R U ） 9 . 2 . 长 短 期 记 忆 网 络 （ L S T M ） 9 . 3 . 深 度 循 环 神 经 网 络 9 . 4 . 双 向 循 环 神 经 网 络 9 . 5 . 机 器 翻 译 与 数 据 集 9 . 6 . 编 码 器 解 码 器 架 构 9 . 7 . 序 列 到 序 列 学 习 （ s e q 2 s e q ） 9 . 8 . 束 搜 索 1 0 . 注 意 力 机 制 1 0 . 1 . 注 意 力 提 示 1 0 . 2 . 注 意 力 汇 聚 ： N a d a r a y a W a t s o n 核 回 归 1 0 . 3 . 注 意 力 评 分 函 数 1 0 . 4 . B a h d a n a u 注 意 力 1 0 . 5 . 多 头 注 意 力 1 0 . 6 . 自 注 意 力 和 位 置 编 码 1 0 . 7 . T r a n s f o r m e r 1 1 . 优 化 算 法 1 1 . 1 . 优 化 和 深 度 学 习 1 1 . 2 . 凸 性 1 1 . 3 . 梯 度 下 降 1 1 . 4 . 随 机 梯 度 下 降 1 1 . 5 . 小 批 量 随 机 梯 度 下 降 1 1 . 6 . 动 量 法 1 1 . 7 . A d a G r a d 算 法 1 1 . 8 . R M S P r o p 算 法 1 1 . 9 . A d a d e l t a 1 1 . 1 0 . A d a m 算 法 1 1 . 1 1 . 学 习 率 调 度 器 1 2 . 计 算 性 能 1 2 . 1 . 编 译 器 和 解 释 器 1 2 . 2 . 异 步 计 算 1 2 . 3 . 自 动 并 行 1 2 . 4 . 硬 件 1 2 . 5 . 多 G P U 训 练 1 2 . 6 . 多 G P U 的 简 洁 实 现 1 2 . 7 . 参 数 服 务 器 1 3 . 计 算 机 视 觉 1 3 . 1 . 图 像 增 广 1 3 . 2 . 微 调 1 3 . 3 . 目 标 检 测 和 边 界 框 1 3 . 4 . 锚 框 1 3 . 5 . 多 尺 度 目 标 检 测 1 3 . 6 . 目 标 检 测 数 据 集 1 3 . 7 . 单 发 多 框 检 测 （ S S D ） 1 3 . 8 . 区 域 卷 积 神 经 网 络 （ R C N N ） 系 列 1 3 . 9 . 语 义 分 割 和 数 据 集 1 3 . 1 0 . 转 置 卷 积 1 3 . 1 1 . 全 卷 积 网 络 1 3 . 1 2 . 风 格 迁 移 1 3 . 1 3 . 实 战 K a g g l e 比 赛 ： 图 像 分 类 ( C I F A R 1 0 ) 1 3 . 1 4 . 实 战 K a g g l e 比 赛 ： 狗 的 品 种 识 别 （ I m a g e N e t D o g s ） 1 4 . 自 然 语 言 处 理 ： 预 训 练 1 4 . 1 . 词 嵌 入 （ w o r d 2 v e c ） 1 4 . 2 . 近 似 训 练 1 4 . 3 . 用 于 预 训 练 词 嵌 入 的 数 据 集 1 4 . 4 . 预 训 练 w o r d 2 v e c 1 4 . 5 . 全 局 向 量 的 词 嵌 入 （ G l o V e ） 1 4 . 6 . 子 词 嵌 入 1 4 . 7 . 词 的 相 似 性 和 类 比 任 务 1 4 . 8 . 来 自 T r a n s f o r m e r s 的 双 向 编 码 器 表 示 （ B E R T ） 1 4 . 9 . 用 于 预 训 练 B E R T 的 数 据 集 1 4 . 1 0 . 预 训 练 B E R T 1 5 . 自 然 语 言 处 理 ： 应 用 1 5 . 1 . 情 感 分 析 及 数 据 集 1 5 . 2 . 情 感 分 析 ： 使 用 循 环 神 经 网 络 1 5 . 3 . 情 感 分 析 ： 使 用 卷 积 神 经 网 络 1 5 . 4 . 自 然 语 言 推 断 与 数 据 集 1 5 . 5 . 自 然 语 言 推 断 ： 使 用 注 意 力 1 5 . 6 . 针 对 序 列 级 和 词 元 级 应 用 微 调 B E R T 1 5 . 7 . 自 然 语 言 推 断 ： 微 调 B E R T 1 6 . 附 录 ： 深 度 学 习 工 具 1 6 . 1 . 使 用 J u p y t e r N o t e b o o k 1 6 . 2 . 使 用 A m a z o n S a g e M a k e r 1 6 . 3 . 使 用 A m a z o n E C 2 实 例 1 6 . 4 . 选 择 服 务 器 和 G P U 1 6 . 5 . 为 本 书 做 贡 献 1 6 . 6 . d 2 l A P I 文 档 参 考 文 献 《 动 手 学 深 度 学 习 》 ¶ 《 动 手 学 深 度 学 习 》 第 二 版 跳 转 第 一 版 面 向 中 文 读 者 的 能 运 行 、 可 讨 论 的 深 度 学 习 教 科 书 含 P y T o r c h 、 N u m P y / M X N e t 、 T e n s o r F l o w 和 P a d d l e P a d d l e 实 现 被 全 球 7 0 多 个 国 家 5 0 0 多 所 大 学 用 于 教 学 S t a r 公 告 【 重 磅 升 级 ， 新 书 榜 第 一 】 第 二 版 纸 质 书 — — 《 动 手 学 深 度 学 习 （ P y T o r c h 版 ） 》 （ 黑 白 平 装 版 ） 已 在 京 东 、 当 当 上 架 。 纸 质 书 在 内 容 上 与 在 线 版 大 致 相 同 ， 但 力 求 在 样 式 、 术 语 标 注 、 语 言 表 述 、 用 词 规 范 、 标 点 以 及 图 、 表 、 章 节 的 索 引 上 符 合 出 版 标 准 和 学 术 规 范 。 第 二 版 在 线 内 容 新 增 P a d d l e P a d d l e 实 现 。 关 注 本 书 的 中 文 开 源 项 目 和 英 文 开 源 项 目 以 及 时 获 取 最 新 信 息 。 【 第 一 版 纸 质 书 】 可 在 京 东 、 当 当 、 天 猫 购 买 全 彩 精 装 版 ； 或 者 在 京 东 、 当 当 、 天 猫 购 买 黑 白 平 装 版 。 [ 新 书 榜 ] [ 关 于 样 书 ] 【 免 费 资 源 】 课 件 、 作 业 、 教 学 视 频 等 资 源 可 参 考 伯 克 利 “ 深 度 学 习 导 论 ” 课 程 大 纲 中 的 链 接 （ 中 文 版 课 件 ） 。 基 于 本 书 P y T o r c h 版 的 教 学 视 频 在 ： B 站 ； 基 于 本 书 较 早 草 稿 内 容 的 教 学 视 频 在 ： B 站 和 Y o u t u b e 。 作 者 阿 斯 顿 · 张 亚 马 逊 扎 卡 里 C . 立 顿 美 国 卡 内 基 梅 隆 大 学 、 亚 马 逊 李 沐 亚 马 逊 亚 历 山 大 J . 斯 莫 拉 亚 马 逊 第 二 卷 章 节 作 者 布 伦 特 沃 尼 斯 亚 马 逊 深 度 学 习 的 数 学 瑞 潮 儿 · 胡 亚 马 逊 深 度 学 习 的 数 学 张 帅 亚 马 逊 推 荐 系 统 郑 毅 谷 歌 推 荐 系 统 框 架 改 编 者 阿 尼 如 达 格 亚 马 逊 P y T o r c h 改 编 唐 源 A k u i t y T e n s o r F l o w 改 编 吴 高 升 百 度 飞 桨 改 编 胡 刘 俊 百 度 飞 桨 改 编 张 戈 百 度 飞 桨 改 编 谢 杰 航 百 度 飞 桨 改 编 中 文 版 译 者 何 孝 霆 亚 马 逊 瑞 潮 儿 · 胡 亚 马 逊 感 谢 来 自 社 区 的 2 0 0 多 位 贡 献 者 为 本 书 贡 献 每 一 小 节 都 是 可 以 运 行 的 J u p y t e r 记 事 本 你 可 以 自 由 修 改 代 码 和 超 参 数 来 获 取 及 时 反 馈 ， 从 而 积 累 深 度 学 习 的 实 战 经 验 。 本 地 运 行 亚 马 逊 S a g e M a k e r S t u d i o L a b 亚 马 逊 S a g e M a k e r 谷 歌 C o l a b 公 式 + 图 示 + 代 码 我 们 不 仅 结 合 文 字 、 公 式 和 图 示 来 阐 明 深 度 学 习 里 常 用 的 模 型 和 算 法 ， 还 提 供 代 码 来 演 示 如 何 从 零 开 始 实 现 它 们 ， 并 使 用 真 实 数 据 来 提 供 一 个 交 互 式 的 学 习 体 验 。 活 跃 社 区 支 持 你 可 以 通 过 每 个 章 节 最 后 的 链 接 来 同 社 区 的 数 千 名 小 伙 伴 一 起 讨 论 学 习 。 本 书 （ 中 英 文 版 ） 被 用 作 教 材 或 参 考 书 1 2 0 0 i v ) A d j u s t w i d t h ( T o o l s A d j u c t S i z e ) t o 1 2 0 0 [ + ] 点 击 以 显 示 不 完 整 名 单 A b a s y n U n i v e r s i t y , I s l a m a b a d C a m p u s A l e x a n d r i a U n i v e r s i t y A m i r k a b i r U n i v e r s i t y o f T e c h n o l o g y A m i t y U n i v e r s i t y A m r i t a V i s h w a V i d y a p e e t h a m U n i v e r s i t y A n n a U n i v e r s i t y A n n a U n i v e r s i t y R e g i o n a l C a m p u s M a d u r a i A t e n e o d e N a g a U n i v e r s i t y A u s t r a l i a n N a t i o n a l U n i v e r s i t y B a r I l a n U n i v e r s i t y B a r n a r d C o l l e g e B e i j i n g F o r e s t y U n i v e r s i t y B i r l a I n s t i t u t e o f T e c h n o l o g y a n d S c i e n c e , H y d e r a b a d B i r l a I n s t i t u t e o f T e c h n o l o g y a n d S c i e n c e , P i l a n i B M L M u n j a l U n i v e r s i t y B o s t o n C o l l e g e B o s t o n U n i v e r s i t y B r a c U n i v e r s i t y B r a n d e i s U n i v e r s i t y B r o w n U n i v e r s i t y B r u n e l U n i v e r s i t y L o n d o n C a i r o U n i v e r s i t y C a l i f o r n i a S t a t e U n i v e r s i t y , N o r t h r i d g e C a n k a y a U n i v e r s i t y C a r n e g i e M e l l o n U n i v e r s i t y C e n t e r f o r R e s e a r c h a n d A d v a n c e d S t u d i e s o f t h e N a t i o n a l P o l y t e c h n i c I n s t i t u t e C h a l m e r s U n i v e r s i t y o f T e c h n o l o g y C h e n n a i M a t h e m a t i c a l I n s t i t u t e C h o u a i b D o u k k a l i U n i v e r s i t y C h u l a l o n g k o r n U n i v e r s i t y C i t y C o l l e g e o f N e w Y o r k C i t y U n i v e r s i t y o f H o n g K o n g C i t y U n i v e r s i t y o f S c i e n c e a n d I n f o r m a t i o n T e c h n o l o g y C o l l e g e o f E n g i n e e r i n g P u n e C o l u m b i a U n i v e r s i t y C o r n e l l U n i v e r s i t y C y p r u s I n s t i t u t e D e a k i n U n i v e r s i t y D i p o n e g o r o U n i v e r s i t y D r e s d e n U n i v e r s i t y o f T e c h n o l o g y D u k e U n i v e r s i t y D u r b a n U n i v e r s i t y o f T e c h n o l o g y E a s t e r n M e d i t e r r a n e a n U n i v e r s i t y E c o l e N a t i o n a l e S u p é r i e u r e d I n f o r m a t i q u e E c o l e N a t i o n a l e S u p é r i e u r e d e C o g n i t i q u e É c o l e N a t i o n a l e S u p é r i e u r e d e T e c h n i q u e s A v a n c é e s E i n d h o v e n U n i v e r s i t y o f T e c h n o l o g y E m o r y U n i v e r s i t y E ö t v ö s L o r á n d U n i v e r s i t y E s c u e l a P o l i t é c n i c a N a c i o n a l E s c u e l a S u p e r i o r P o l i t e c n i c a d e l L i t o r a l F e d e r a l U n i v e r s i t y L o k o j a F e n g C h i a U n i v e r s i t y F i s k U n i v e r s i t y F l o r i d a A t l a n t i c U n i v e r s i t y F P T U n i v e r s i t y F u d a n U n i v e r s i t y G a n p a t U n i v e r s i t y G a y a t r i V i d y a P a r i s h a d C o l l e g e o f E n g i n e e r i n g ( A u t o n o m o u s ) G a z i Ü n i v e r s i t e s i G d a ń s k U n i v e r s i t y o f T e c h n o l o g y G e o r g e M a s o n U n i v e r s i t y G e o r g e t o w n U n i v e r s i t y G e o r g i a I n s t i t u t e o f T e c h n o l o g y G h e o r g h e A s a c h i T e c h n i c a l U n i v e r s i t y o f I a ş i G o l d e n G a t e U n i v e r s i t y G r e a t L a k e s I n s t i t u t e o f M a n a g e m e n t G w a n g j u I n s t i t u t e o f S c i e n c e a n d T e c h n o l o g y H a b i b U n i v e r s i t y H a m a d B i n K h a l i f a U n i v e r s i t y H a n g z h o u D i a n z i U n i v e r s i t y H a n g z h o u D i a n z i U n i v e r s i t y H a n k u k U n i v e r s i t y o f F o r e i g n S t u d i e s H a r a r e I n s t i t u t e o f T e c h n o l o g y H a r b i n I n s t i t u t e o f T e c h n o l o g y H a r v a r d U n i v e r s i t y H a s s o P l a t t n e r I n s t i t u t H e b r e w U n i v e r s i t y o f J e r u s a l e m H e i n r i c h H e i n e U n i v e r s i t ä t D ü s s e l d o r f H e n a n I n s t i t u t e o f T e c h n o l o g y H e r t i e S c h o o l H i g h e r I n s t i t u t e o f A p p l i e d S c i e n c e a n d T e c h n o l o g y o f S o u s s e H i r o s h i m a U n i v e r s i t y H o C h i M i n h C i t y U n i v e r s i t y o f F o r e i g n L a n g u a g e s a n d I n f o r m a t i o n T e c h n o l o g y H o c h s c h u l e B r e m e n H o c h s c h u l e f ü r T e c h n i k u n d W i r t s c h a f t H o c h s c h u l e H a m m L i p p s t a d t H o n g K o n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y H o u s t o n C o m m u n i t y C o l l e g e H u a z h o n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y H u m b o l d t U n i v e r s i t ä t z u B e r l i n İ b n H a l d u n Ü n i v e r s i t e s i I c a h n S c h o o l o f M e d i c i n e a t M o u n t S i n a i I m p e r i a l C o l l e g e L o n d o n I M T M i n e s A l è s I n d i a n I n s t i t u t e o f T e c h n o l o g y B o m b a y I n d i a n I n s t i t u t e o f T e c h n o l o g y H y d e r a b a d I n d i a n I n s t i t u t e o f T e c h n o l o g y J o d h p u r I n d i a n I n s t i t u t e o f T e c h n o l o g y K a n p u r I n d i a n I n s t i t u t e o f T e c h n o l o g y K h a r a g p u r I n d i a n I n s t i t u t e o f T e c h n o l o g y M a n d i I n d i a n I n s t i t u t e o f T e c h n o l o g y R o p a r I n d i a n S c h o o l o f B u s i n e s s I n d i r a G a n d h i N a t i o n a l O p e n U n i v e r s i t y I n d r a p r a s t h a I n s t i t u t e o f I n f o r m a t i o n T e c h n o l o g y , D e l h i I n s t i t u t c a t h o l i q u e d a r t s e t m é t i e r s ( I C A M ) I n s t i t u t d e r e c h e r c h e e n i n f o r m a t i q u e d e T o u l o u s e I n s t i t u t S u p é r i e u r d I n f o r m a t i q u e e t d e s T e c h n i q u e s d e C o m m u n i c a t i o n I n s t i t u t S u p é r i e u r D e L e l e c t r o n i q u e E t D u N u m é r i q u e I n s t i t u t T e k n o l o g i B a n d u n g I n s t i t u t o F e d e r a l d e E d u c a ç ã o , C i ê n c i a e T e c n o l o g i a d e S ã o P a u l o , C a m p u s S a l t o I n s t i t u t o P o l i t é c n i c o N a c i o n a l I n s t i t u t o T e c n o l ó g i c o A u t ó n o m o d e M é x i c o I n s t i t u t o T e c n o l ó g i c o d e B u e n o s A i r e s I s l a m i c U n i v e r s i t y o f M e d i n a İ s t a n b u l T e k n i k Ü n i v e r s i t e s i I T U n i v e r s i t e t e t i K ø b e n h a v n I v a n F r a n k o N a t i o n a l U n i v e r s i t y o f L v i v J e o n b u k N a t i o n a l U n i v e r i t y J o h n s H o p k i n s U n i v e r s i t y J u l i u s M a x i m i l i a n s U n i v e r s i t ä t W ü r z b u r g K e i o U n i v e r s i t y K i n g A b d u l l a h U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y K i n g F a h d U n i v e r s i t y o f P e t r o l e u m a n d M i n e r a l s K i n g F a i s a l U n i v e r s i t y K o n g u E n g i n e e r i n g C o l l e g e K o r e a A e r o s p a c e U n i v e r s i t y K P R I n s t i t u t e o f E n g i n e e r i n g a n d T e c h n o l o g y K y u n g p o o k N a t i o n a l U n i v e r s i t y L a n c a s t e r U n i v e r s i t y L e a d i n g U n v i e r s i t y L e i b n i z U n i v e r s i t ä t H a n n o v e r L e u p h a n a U n i v e r s i t y o f L ü n e b u r g L o n d o n S c h o o l o f E c o n o m i c s & P o l i t i c a l S c i e n c e M . S . R a m a i a h U n i v e r s i t y o f A p p l i e d S c i e n c e s M a k e S c h o o l M a s a r y k U n i v e r s i t y M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y M a y n o o t h U n i v e r s i t y M c G i l l U n i v e r s i t y M e n o u f i a U n i v e r s i t y M i l w a u k e e S c h o o l o f E n g i n e e r i n g M i n i a U n i v e r s i t y M i s s i s s i p p i S t a t e U n i v e r s i t y M i s s o u r i U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y M o h a m m a d A l i J i n n a h U n i v e r s i t y M o h a m m e d V U n i v e r s i t y i n R a b a t M o n a s h U n i v e r s i t y M u l t i m e d i a U n i v e r s i t y M u r d o c h U n i v e r s i t y N a n c h a n g H a n g k o n g U n i v e r s i t y N a n j i n g M e d i c a l U n i v e r s i t y N a n j i n g U n i v e r s i t y N a t i o n a l I n s t i t u t e o f T e c h n o l o g y T r i c h y N a t i o n a l T e c h n i c a l U n i v e r s i t y o f A t h e n s N a t i o n a l T e c h n i c a l U n i v e r s i t y o f U k r a i n e N a t i o n a l U n i v e r s i t y o f S c i e n c e s a n d T e c h n o l o g y N a t i o n a l U n i v e r s i t y o f S i n g a p o r e N a z a r b a y e v U n i v e r s i t y N e w J e r s e y I n s t i t u t e o f T e c h n o l o g y N e w M e x i c o I n s t i t u t e o f M i n i n g a n d T e c h n o l o g y N e w M e x i c o S t a t e U n i v e r s i t y N e w Y o r k U n i v e r s i t y N e w m a n U n i v e r s i t y N o r t h O s s e t i a n S t a t e U n i v e r s i t y N o r t h C a p U n i v e r s i t y N o r t h e a s t e r n U n i v e r s i t y N o r t h w e s t e r n P o l y t e c h n i c a l U n i v e r s i t y N o r t h w e s t e r n U n i v e r s i t y O h i o U n i v e r s i t y P a k u a n U n i v e r s i t y P e k i n g U n i v e r s i t y P e n n s y l v a n i a S t a t e U n i v e r s i t y P o h a n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y P o l i t e c h n i k a B i a ł o s t o c k a P o l i t e c n i c o d i M i l a n o P o l i t e k n i k N e g e r i S e m a r a n g P o m o n a C o l l e g e P o n t i f i c i a U n i v e r s i d a d C a t ó l i c a d e C h i l e P o n t i f i c i a U n i v e r s i d a d C a t ó l i c a d e l P e r ú P o r t l a n d S t a t e U n i v e r s i t y P u n j a b i U n i v e r s i t y P u r d u e U n i v e r s i t y P u r d u e U n i v e r s i t y N o r t h w e s t Q u a i d e A z a m U n i v e r s i t y Q u e e n M a r y U n i v e r s i t y o f L o n d o n Q u e e n s U n i v e r s i t y R a d b o u d U n i v e r s i t e i t R a d b o u d U n i v e r s i t y R a j i v G a n d h i I n s t i t u t e o f P e t r o l e u m T e c h n o l o g y R e n s s e l a e r P o l y t e c h n i c I n s t i t u t e R o w a n U n i v e r s i t y R u t g e r s , T h e S t a t e U n i v e r s i t y o f N e w J e r s e y R V S I n s t i t u t e o f M a n a g e m e n t S t u d i e s a n d R e s e a r c h R W T H A a c h e n U n i v e r s i t y S a n t L o n g o w a l I n s t i t u t e o f E n g i n e e r i n g T e c h n o l o g y S a n t a C l a r a U n i v e r s i t y S a p i e n z a U n i v e r s i t à d i R o m a S e o u l N a t i o n a l U n i v e r s i t y S e o u l N a t i o n a l U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y S h a n g h a i J i a o T o n g U n i v e r s i t y S h a n g h a i U n i v e r s i t y o f E l e c t r i c P o w e r S h a n g h a i U n i v e r s i t y o f F i n a n c e a n d E c o n o m i c s S h a n t i l a l S h a h E n g i n e e r i n g C o l l e g e S h a r i f U n i v e r s i t y o f T e c h n o l o g y S h e n z h e n U n i v e r s i t y S h i v a j i U n i v e r s i t y , K o l h a p u r S i m o n F r a s e r U n i v e r s i t y S i n g a p o r e U n i v e r s i t y o f T e c h n o l o g y a n d D e s i g n S o g a n g U n i v e r s i t y S o o k m y u n g W o m e n s U n i v e r s i t y S o u t h e r n C o n n e c t i c u t S t a t e U n i v e r s i t y S o u t h e r n N e w H a m p s h i r e U n i v e r s i t y S t . P ö l t e n U n i v e r s i t y o f A p p l i e d S c i e n c e s S t a n f o r d U n i v e r s i t y S t a t e U n i v e r s i t y o f N e w Y o r k a t A l b a n y S t a t e U n i v e r s i t y o f N e w Y o r k a t B i n g h a m t o n S t a t e U n i v e r s i t y o f N e w Y o r k a t F r e d o n i a S t e l l e n b o s c h U n i v e r s i t y S t e v e n s I n s t i t u t e o f T e c h n o l o g y S u n g k y u n k w a n U n i v e r s i t y T e c h n i o n I s r a e l I n s t i t u t e o f T e c h n o l o g y T e c h n i s c h e U n i v e r s i t ä t B e r l i n T e c h n i s c h e U n i v e r s i t ä t M ü n c h e n T e c h n i s c h e U n i v e r s i t e i t D e l f t T e c n o l ó g i c o d e M o n t e r r e y , C a m p u s G u a d a l a j a r a T e k i r d a ğ N a m ı k K e m a l Ü n i v e r s i t e s i T é l é c o m P a r i s T e l k o m U n i v e r s i t y T e x a s A & M U n i v e r s i t y T h a p a r I n s t i t u t e o f E n g i n e e r i n g a n d T e c h n o l o g y T s i n g h u a U n i v e r s i t y T u f t s U n i v e r s i t y U m e å U n i v e r s i t y U n i v e r s i d a d C a r l o s I I I d e M a d r i d U n i v e r s i d a d d e I b a g u é U n i v e r s i d a d d e I n g e n i e r í a y T e c n o l o g í a U T E C U n i v e r s i d a d d e S a l a m a n c a U n i v e r s i d a d d e Z a r a g o z a U n i v e r s i d a d d e l N o r t e , C o l o m b i a U n i v e r s i d a d I c e s i U n i v e r s i d a d M i l i t a r N u e v a G r a n a d a U n i v e r s i d a d N a c i o n a l A g r a r i a L a M o l i n a U n i v e r s i d a d N a c i o n a l A u t ó n o m a d e M é x i c o U n i v e r s i d a d N a c i o n a l d e C o l o m b i a S e d e M a n i z a l e s U n i v e r s i d a d N a c i o n a l d e T i e r r a d e l F u e g o U n i v e r s i d a d P o l i t é c n i c a d e C h i a p a s U n i v e r s i d a d P o l i t é c n i c a d e V a l e n c i a U n i v e r s i d a d P o l i t é c n i c a S a l e s i a n a , C u e n c a U n i v e r s i d a d R a f a e l L a n d i v a r U n i v e r s i d a d R e y J u a n C a r l o s U n i v e r s i d a d S a n F r a n c i s c o d e Q u i t o U n i v e r s i d a d T e c n o l ó g i c a d e P e r e i r a U n i v e r s i d a d T e c n o l ó g i c a N a c i o n a l U n i v e r s i d a d e C a t ó l i c a d e B r a s í l i a U n i v e r s i d a d e E s t a d u a l d e C a m p i n a s U n i v e r s i d a d e F e d e r a l d e G o i á s U n i v e r s i d a d e F e d e r a l d e M i n a s G e r a i s U n i v e r s i d a d e F e d e r a l d e O u r o P r e t o U n i v e r s i d a d e F e d e r a l d e P e r n a m b u c o U n i v e r s i d a d e F e d e r a l d e S ã o C a r l o s U n i v e r s i d a d e F e d e r a l d e V i ç o s a U n i v e r s i d a d e F e d e r a l d o P a m p a U n i v e r s i d a d e F e d e r a l d o R i o G r a n d e U n i v e r s i d a d e N O V A d e L i s b o a U n i v e r s i d a d e P r e s b i t e r i a n a M a c k e n z i e U n i v e r s i d a d e T e c n o l ó g i c a F e d e r a l d o P a r a n á U n i v e r s i t à C a t t o l i c a d e l S a c r o C u o r e U n i v e r s i t à d e g l i S t u d i d i B a r i A l d o M o r o U n i v e r s i t à d e g l i S t u d i d i B r e s c i a U n i v e r s i t à d e g l i S t u d i d i C a t a n i a U n i v e r s i t à d e g l i S t u d i d i P a d o v a U n i v e r s i t a s A n d a l a s , P a d a n g U n i v e r s i t a s I n d o n e s i a U n i v e r s i t a s N e g e r i Y o g y a k a r t a U n i v e r s i t a s U d a y a n a U n i v e r s i t ä t B r e m e n U n i v e r s i t a t d e B a r c e l o n a U n i v e r s i t a t d e V a l è n c i a U n i v e r s i t ä t H e i d e l b e r g U n i v e r s i t ä t L e i p z i g U n i v e r s i t a t P o l i t è c n i c a d e C a t a l u n y a U n i v e r s i t a t e a B a b e ș B o l y a i U n i v e r s i t a t e a d e V e s t d i n T i m i ș o a r a U n i v e r s i t é A b d e r r a h m a n e M i r a d e B é j a ï a U n i v e r s i t é C l e r m o n t A u v e r g n e U n i v e r s i t é C ô t e d A z u r U n i v e r s i t é d e C a e n N o r m a n d i e U n i v e r s i t é d e R o u e n N o r m a n d i e U n i v e r s i t é d e t e c h n o l o g i e d e C o m p i è g n e U n i v e r s i t é P a r i s S a c l a y U n i v e r s i t é T o u l o u s e 1 C a p i t o l e U n i v e r s i t y o f A k r o n U n i v e r s i t y o f A l a b a m a i n H u n t s v i l l e U n i v e r s i t y o f A l l a h a b a d U n i v e r s i t y o f A p p l i e d S c i e n c e s W ü r z b u r g S c h w e i n f u r t U n i v e r s i t y o f A r k a n s a s U n i v e r s i t y o f A u g s b u r g U n i v e r s i t y o f B a g h d a d U n i v e r s i t y o f B a t h U n i v e r s i t y o f B o r d j B o u A r r e r i d j U n i v e r s i t y o f B r i t i s h C o l u m b i a U n i v e r s i t y o f C a l i f o r n i a , B e r k e l e y U n i v e r s i t y o f C a l i f o r n i a , I r v i n e U n i v e r s i t y o f C a l i f o r n i a , L o s A n g e l e s U n i v e r s i t y o f C a l i f o r n i a , S a n D i e g o U n i v e r s i t y o f C a l i f o r n i a , S a n t a B a r b a r a U n i v e r s i t y o f C a l i f o r n i a , S a n t a C r u z U n i v e r s i t y o f C a m b r i d g e U n i v e r s i t y o f C a n b e r r a U n i v e r s i t y o f C a t a n i a U n i v e r s i t y o f C i n c i n n a t i U n i v e r s i t y o f C o l o r a d o B o u l d e r U n i v e r s i t y o f C o n n e c t i c u t U n i v e r s i t y o f C o p e n h a g e n U n i v e r s i t y o f D e r b y U n i v e r s i t y o f F l o r i d a U n i v e r s i t y o f G e n o a U n i v e r s i t y o f G h a n a U n i v e r s i t y o f G r o n i n g e n U n i v e r s i t y o f H a m b u r g U n i v e r s i t y o f H o u s t o n U n i v e r s i t y o f H u l l U n i v e r s i t y o f I c e l a n d U n i v e r s i t y o f I d a h o U n i v e r s i t y o f I l l i n o i s a t U r b a n a C h a m p a i g n U n i v e r s i t y o f I n t e r n a t i o n a l B u s i n e s s a n d E c o n o m i c s U n i v e r s i t y o f K l a g e n f u r t U n i v e r s i t y o f L i è g e U n i v e r s i t y o f L o u i s i a n a a t L a f a y e t t e U n i v e r s i t y o f M a r y l a n d U n i v e r s i t y o f M a r y l a n d B a l t i m o r e C o u n t y U n i v e r s i t y o f M a s s a c h u s e t t s L o w e l l U n i v e r s i t y o f M i c h i g a n U n i v e r s i t y o f M i c h i g a n D e a r b o r n U n i v e r s i t y o f M i l a n o B i c o c c a U n i v e r s i t y o f M i n n e s o t a , T w i n C i t i e s U n i v e r s i t y o f M o r a t u w a U n i v e r s i t y o f N e b r a s k a O m a h a U n i v e r s i t y o f N e w H a m p s h i r e U n i v e r s i t y o f N e w c a s t l e U n i v e r s i t y o f N o r t h C a r o l i n a a t C h a p e l H i l l U n i v e r s i t y o f N o r t h T e x a s U n i v e r s i t y o f N o r t h e r n P h i l i p p i n e s U n i v e r s i t y o f N o t t i n g h a m U n i v e r s i t y o f O s l o U n i v e r s i t y o f P e n n s y l v a n i a U n i v e r s i t y o f P i t t s b u r g h U n i v e r s i t y o f R o s t o c k U n i v e r s i t y o f S ã o P a u l o U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y o f C h i n a U n i v e r s i t y o f S o u t h e r n C a l i f o r n i a U n i v e r s i t y o f S o u t h e r n M a i n e U n i v e r s i t y o f S t A n d r e w s U n i v e r s i t y o f S t . T h o m a s U n i v e r s i t y o f S u f f o l k U n i v e r s i t y o f S y d n e y U n i v e r s i t y o f S z e g e d U n i v e r s i t y o f T e c h n o l o g y S y d n e y U n i v e r s i t y o f T e h r a n U n i v e r s i t y o f T e x a s a t A u s t i n U n i v e r s i t y o f T e x a s a t D a l l a s U n i v e r s i t y o f T e x a s R i o G r a n d e V a l l e y U n i v e r s i t y o f U d i n e U n i v e r s i t y o f W a r s a w U n i v e r s i t y o f W a s h i n g t o n U n i v e r s i t y o f W a t e r l o o U n i v e r s i t y o f W i s c o n s i n M a d i s o n U n i v e r z i t a K o m e n s k é h o v B r a t i s l a v e U n i w e r s y t e t J a g i e l l o ń s k i V a r d h a m a n C o l l e g e o f E n g i n e e r i n g V a r d h m a n M a h a v e e r O p e n U n i v e r s i t y V i e t n a m e s e G e r m a n U n i v e r s i t y V i g n a n a J y o t h i I n s t i t u t e O f M a n a g e m e n t V i l n i u s U n i v e r s i t y W a g e n i n g e n U n i v e r s i t y W e s t V i r g i n i a U n i v e r s i t y W e s t e r n U n i v e r s i t y W i c h i t a S t a t e U n i v e r s i t y X a v i e r U n i v e r s i t y B h u b a n e s w a r X i a n J i a o t o n g L i v e r p o o l U n i v e r s i t y X i a m e n U n i v e r s i t y X i a n n i n g V o c a t i o n a l T e c h n i c a l C o l l e g e Y a l e U n i v e r s i t y Y e s h i v a U n i v e r s i t y Y ı l d ı z T e k n i k Ü n i v e r s i t e s i Y o n s e i U n i v e r s i t y Y u n n a n U n i v e r s i t y Z h e j i a n g U n i v e r s i t y 英 文 版 引 用 @ b o o k , a u t h o r = , p u b l i s h e r = , n o t e = } , y e a r = } 目 录 前 言 安 装 符 号 1 . 引 言 1 . 1 . 日 常 生 活 中 的 机 器 学 习 1 . 2 . 机 器 学 习 中 的 关 键 组 件 1 . 3 . 各 种 机 器 学 习 问 题 1 . 4 . 起 源 1 . 5 . 深 度 学 习 的 发 展 1 . 6 . 深 度 学 习 的 成 功 案 例 1 . 7 . 特 点 1 . 8 . 小 结 1 . 9 . 练 习 2 . 预 备 知 识 2 . 1 . 数 据 操 作 2 . 2 . 数 据 预 处 理 2 . 3 . 线 性 代 数 2 . 4 . 微 积 分 2 . 5 . 自 动 微 分 2 . 6 . 概 率 2 . 7 . 查 阅 文 档 3 . 线 性 神 经 网 络 3 . 1 . 线 性 回 归 3 . 2 . 线 性 回 归 的 从 零 开 始 实 现 3 . 3 . 线 性 回 归 的 简 洁 实 现 3 . 4 . s o f t m a x 回 归 3 . 5 . 图 像 分 类 数 据 集 3 . 6 . s o f t m a x 回 归 的 从 零 开 始 实 现 3 . 7 . s o f t m a x 回 归 的 简 洁 实 现 4 . 多 层 感 知 机 4 . 1 . 多 层 感 知 机 4 . 2 . 多 层 感 知 机 的 从 零 开 始 实 现 4 . 3 . 多 层 感 知 机 的 简 洁 实 现 4 . 4 . 模 型 选 择 、 欠 拟 合 和 过 拟 合 4 . 5 . 权 重 衰 减 4 . 6 . 暂 退 法 （ D r o p o u t ） 4 . 7 . 前 向 传 播 、 反 向 传 播 和 计 算 图 4 . 8 . 数 值 稳 定 性 和 模 型 初 始 化 4 . 9 . 环 境 和 分 布 偏 移 4 . 1 0 . 实 战 K a g g l e 比 赛 ： 预 测 房 价 5 . 深 度 学 习 计 算 5 . 1 . 层 和 块 5 . 2 . 参 数 管 理 5 . 3 . 延 后 初 始 化 5 . 4 . 自 定 义 层 5 . 5 . 读 写 文 件 5 . 6 . G P U 6 . 卷 积 神 经 网 络 6 . 1 . 从 全 连 接 层 到 卷 积 6 . 2 . 图 像 卷 积 6 . 3 . 填 充 和 步 幅 6 . 4 . 多 输 入 多 输 出 通 道 6 . 5 . 汇 聚 层 6 . 6 . 卷 积 神 经 网 络 （ L e N e t ） 7 . 现 代 卷 积 神 经 网 络 7 . 1 . 深 度 卷 积 神 经 网 络 （ A l e x N e t ） 7 . 2 . 使 用 块 的 网 络 （ V G G ） 7 . 3 . 网 络 中 的 网 络 （ N i N ） 7 . 4 . 含 并 行 连 结 的 网 络 （ G o o g L e N e t ） 7 . 5 . 批 量 规 范 化 7 . 6 . 残 差 网 络 （ R e s N e t ） 7 . 7 . 稠 密 连 接 网 络 （ D e n s e N e t ） 8 . 循 环 神 经 网 络 8 . 1 . 序 列 模 型 8 . 2 . 文 本 预 处 理 8 . 3 . 语 言 模 型 和 数 据 集 8 . 4 . 循 环 神 经 网 络 8 . 5 . 循 环 神 经 网 络 的 从 零 开 始 实 现 8 . 6 . 循 环 神 经 网 络 的 简 洁 实 现 8 . 7 . 通 过 时 间 反 向 传 播 9 . 现 代 循 环 神 经 网 络 9 . 1 . 门 控 循 环 单 元 （ G R U ） 9 . 2 . 长 短 期 记 忆 网 络 （ L S T M ） 9 . 3 . 深 度 循 环 神 经 网 络 9 . 4 . 双 向 循 环 神 经 网 络 9 . 5 . 机 器 翻 译 与 数 据 集 9 . 6 . 编 码 器 解 码 器 架 构 9 . 7 . 序 列 到 序 列 学 习 （ s e q 2 s e q ） 9 . 8 . 束 搜 索 1 0 . 注 意 力 机 制 1 0 . 1 . 注 意 力 提 示 1 0 . 2 . 注 意 力 汇 聚 ： N a d a r a y a W a t s o n 核 回 归 1 0 . 3 . 注 意 力 评 分 函 数 1 0 . 4 . B a h d a n a u 注 意 力 1 0 . 5 . 多 头 注 意 力 1 0 . 6 . 自 注 意 力 和 位 置 编 码 1 0 . 7 . T r a n s f o r m e r 1 1 . 优 化 算 法 1 1 . 1 . 优 化 和 深 度 学 习 1 1 . 2 . 凸 性 1 1 . 3 . 梯 度 下 降 1 1 . 4 . 随 机 梯 度 下 降 1 1 . 5 . 小 批 量 随 机 梯 度 下 降 1 1 . 6 . 动 量 法 1 1 . 7 . A d a G r a d 算 法 1 1 . 8 . R M S P r o p 算 法 1 1 . 9 . A d a d e l t a 1 1 . 1 0 . A d a m 算 法 1 1 . 1 1 . 学 习 率 调 度 器 1 2 . 计 算 性 能 1 2 . 1 . 编 译 器 和 解 释 器 1 2 . 2 . 异 步 计 算 1 2 . 3 . 自 动 并 行 1 2 . 4 . 硬 件 1 2 . 5 . 多 G P U 训 练 1 2 . 6 . 多 G P U 的 简 洁 实 现 1 2 . 7 . 参 数 服 务 器 1 3 . 计 算 机 视 觉 1 3 . 1 . 图 像 增 广 1 3 . 2 . 微 调 1 3 . 3 . 目 标 检 测 和 边 界 框 1 3 . 4 . 锚 框 1 3 . 5 . 多 尺 度 目 标 检 测 1 3 . 6 . 目 标 检 测 数 据 集 1 3 . 7 . 单 发 多 框 检 测 （ S S D ） 1 3 . 8 . 区 域 卷 积 神 经 网 络 （ R C N N ） 系 列 1 3 . 9 . 语 义 分 割 和 数 据 集 1 3 . 1 0 . 转 置 卷 积 1 3 . 1 1 . 全 卷 积 网 络 1 3 . 1 2 . 风 格 迁 移 1 3 . 1 3 . 实 战 K a g g l e 比 赛 ： 图 像 分 类 ( C I F A R 1 0 ) 1 3 . 1 4 . 实 战 K a g g l e 比 赛 ： 狗 的 品 种 识 别 （ I m a g e N e t D o g s ） 1 4 . 自 然 语 言 处 理 ： 预 训 练 1 4 . 1 . 词 嵌 入 （ w o r d 2 v e c ） 1 4 . 2 . 近 似 训 练 1 4 . 3 . 用 于 预 训 练 词 嵌 入 的 数 据 集 1 4 . 4 . 预 训 练 w o r d 2 v e c 1 4 . 5 . 全 局 向 量 的 词 嵌 入 （ G l o V e ） 1 4 . 6 . 子 词 嵌 入 1 4 . 7 . 词 的 相 似 性 和 类 比 任 务 1 4 . 8 . 来 自 T r a n s f o r m e r s 的 双 向 编 码 器 表 示 （ B E R T ） 1 4 . 9 . 用 于 预 训 练 B E R T 的 数 据 集 1 4 . 1 0 . 预 训 练 B E R T 1 5 . 自 然 语 言 处 理 ： 应 用 1 5 . 1 . 情 感 分 析 及 数 据 集 1 5 . 2 . 情 感 分 析 ： 使 用 循 环 神 经 网 络 1 5 . 3 . 情 感 分 析 ： 使 用 卷 积 神 经 网 络 1 5 . 4 . 自 然 语 言 推 断 与 数 据 集 1 5 . 5 . 自 然 语 言 推 断 ： 使 用 注 意 力 1 5 . 6 . 针 对 序 列 级 和 词 元 级 应 用 微 调 B E R T 1 5 . 7 . 自 然 语 言 推 断 ： 微 调 B E R T 1 6 . 附 录 ： 深 度 学 习 工 具 1 6 . 1 . 使 用 J u p y t e r N o t e b o o k 1 6 . 2 . 使 用 A m a z o n S a g e M a k e r 1 6 . 3 . 使 用 A m a z o n E C 2 实 例 1 6 . 4 . 选 择 服 务 器 和 G P U 1 6 . 5 . 为 本 书 做 贡 献 1 6 . 6 . d 2 l A P I 文 档 参 考 文 献 N e x t 前 言

域名(zh-v2.d2l.ai)由网友主动性提交被自动秒收录整理收录的，本页最后更新时间为：2024-06-19 22:42:20，自动秒收录仅提供zh-v2.d2l.ai的基础信息并免费向广大游客展示，该站IP地址为99.84.133.118 [日本东京 亚马逊云]，该站打开速度为875毫秒，该站的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、zh-v2.d2l.ai的备案号是-、备案人叫-、被百度收录的关键词有4个、手机端关键词有0个、迄今为止已经创建未知，其内容不代表本站赞成被显示该站点的内容或立场，相关资料: txt下载、docx下载、pdf下载、rar下载、zip下载，本页地址：http://www.aidhw.com/wangluodh/c89347a7e1f56b20a642.html。