网站编号：4599

网站URL： http://www.zhuanzhi.ai

最后点入：2024-11-29 15:32:51 · 加入时间：2024-11-29 15:32:50

网站关键词(121个字符):
Artificial、 Intelligence、 (AI)、 人工智能、 知识服务、 专业可信、 知识链路、 知识荟萃、 主题定制、 主题链路、 搜索发现、 机器学习、 深度学习、 自然语言处理、 计算机视觉、 编程、 算法、 代码、 数据、 课程、 视频、 论文、 模型、 教程、 开源、

网站描述词(108个字符):
专知（www.zhuanzhi.ai），一个新的认知方式！专业可信的人工智能知识分发平台！我们致力于为AI从业者提供一个优质纯粹、专业可信的AI知识分发服务平台，与AI从业者一起学习、交流与成长！专业信用，创享美好！

关于www.zhuanzhi.ai说明：
www.zhuanzhi.ai由网友主动性提交被前卫目录网整理收录的，前卫目录网仅提供www.zhuanzhi.ai的基础信息并免费向大众网友展示，www.zhuanzhi.ai的是IP地址：118.194.35.10 [中国北京北京 电信&联通&移动]，www.zhuanzhi.ai的百度权重为1、百度手机权重为1、百度收录为899478条、360收录为31800条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在91之间、百度手机端来访流量大约在44之间、www.zhuanzhi.ai的备案号是登录可见、备案人叫登录可见、被百度收录的关键词有513个、手机端关键词有38个、迄今为止已经创建未知。

下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载

本页地址: http://dy.qianwe.com/links/4599.html

SEO信息	百度来访IP：91 | 移动端来访IP：44 | 出站链接：16 | 站内链接：21
IP网速：	IP地址：118.194.35.10 [中国北京北京 电信&联通&移动] | 网速：554毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	登录可见 | 名称：登录可见 | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	899478	31800	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
513	38	电脑端优秀	0	0	0

协议类型HTTP/1.1 200 OK 页面类型text/html; charset=utf-8 服务器类型nginx/1.14.0 (Ubuntu) 是否压缩是 原网页大小552325 压缩后大小143952 压缩比73.94%

专 知 , 为 人 工 智 能 从 业 者 服 务 ! 成 为 V I P 会 员 查 看 完 整 内 容 V I P 会 员 码 认 证 首 页 主 题 发 现 会 员 服 务 注 册 · 登 录 专 业 可 信 的 知 识 分 发 专 知 一 下 高 级 搜 索 推 荐 最 新 最 热 论 文 资 讯 基 金 人 工 智 能 深 度 学 习 博 士 论 文 《 人 工 智 能 和 机 器 学 习 对 网 络 安 全 的 影 响 》 最 新 2 7 3 页 专 知 会 员 服 务 5 + 阅 读 · 今 天 2 : 5 4 【 阿 姆 斯 特 丹 博 士 论 文 】 探 索 低 资 源 神 经 机 器 翻 译 的 解 决 方 案 专 知 会 员 服 务 2 + 阅 读 · 1 1 月 2 8 日 《 提 高 决 策 支 持 系 统 透 明 度 的 可 解 释 人 工 智 能 》 最 新 1 0 0 页 专 知 会 员 服 务 1 9 + 阅 读 · 1 1 月 2 8 日 人 机 协 作 《 牛 头 人 ， 不 是 半 人 马 ： 有 人 与 无 人 编 队 协 同 作 战 的 未 来 》 专 知 会 员 服 务 1 4 + 阅 读 · 1 1 月 2 8 日 《 利 用 自 适 应 交 互 增 强 有 人 无 人 编 队 协 同 》 2 1 7 页 专 知 会 员 服 务 3 4 + 阅 读 · 1 1 月 2 3 日 《 战 术 行 动 中 人 工 智 能 驱 动 的 人 机 协 作 ： 拟 议 框 架 、 挑 战 和 未 来 方 向 》 专 知 会 员 服 务 2 1 + 阅 读 · 1 1 月 2 3 日 A I 与 军 事 关 注 1 1 3 3 人 工 智 能 在 军 事 中 可 用 于 多 项 任 务 ， 例 如 目 标 识 别 、 大 数 据 处 理 、 作 战 系 统 、 网 络 安 全 、 后 勤 运 输 、 战 争 医 疗 、 威 胁 和 安 全 监 测 以 及 战 斗 模 拟 和 训 练 。 美 国 海 军 下 一 代 驱 逐 舰 D D G X ： 面 向 未 来 海 战 《 人 工 智 能 和 机 器 学 习 对 网 络 安 全 的 影 响 》 最 新 2 7 3 页 《 联 合 作 战 中 的 数 字 化 转 型 ： 数 字 孪 生 应 用 案 例 》 《 北 约 涡 扇 动 力 飞 行 器 的 低 噪 音 航 空 声 学 设 计 》 最 新 1 1 2 页 《 旅 战 斗 队 城 市 作 战 》 美 陆 军 最 新 条 令 3 0 4 页 A I 与 军 事 · 人 工 智 能 · 决 策 · 1 1 月 1 5 日 《 你 所 需 要 知 道 的 理 论 ： 人 工 智 能 、 人 类 认 知 与 决 策 》 牛 津 大 学 最 新 5 3 页 报 告 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 现 在 ， 人 工 智 能 （ A I ） 在 一 系 列 涉 及 高 层 次 推 理 和 思 考 的 游 戏 、 测 试 和 认 知 任 务 中 ， 都 能 与 人 类 智 能 相 媲 美 ， 甚 至 更 胜 一 筹 。 许 多 人 认 为 ， 在 涉 及 高 层 次 认 知 、 判 断 和 决 策 的 情 况 下 ， 人 类 应 该 或 者 很 快 就 会 被 人 工 智 能 所 取 代 。 我 们 不 同 意 这 种 观 点 。 在 本 文 中 ， 我 们 首 先 追 溯 了 人 工 智 能 和 人 类 认 知 作 为 计 算 形 式 这 一 观 点 的 历 史 渊 源 。 本 文 以 大 型 语 言 模 型 为 例 ， 强 调 了 将 计 算 机 和 思 维 类 比 为 输 入 输 出 设 备 所 存 在 的 问 题 。 人 类 认 知 最 好 被 概 念 化 为 一 种 理 论 化 形 式 ， 而 不 是 信 息 处 理 、 基 于 数 据 库 的 预 测 或 贝 叶 斯 更 新 。 人 工 智 能 使 用 基 于 频 率 或 概 率 的 方 法 来 获 取 知 识 ， 在 很 大 程 度 上 是 后 视 的 和 模 仿 的 ， 而 人 类 的 认 知 是 前 视 的 ， 能 够 产 生 真 正 的 新 颖 性 。 本 文 认 为 ， 人 工 智 能 基 于 数 据 的 预 测 不 同 于 人 类 基 于 理 论 的 因 果 逻 辑 。 本 文 引 入 了 “ 数 据 信 念 不 对 称 ” 的 概 念 ， 以 “ 比 空 气 更 重 的 飞 行 ” 为 例 说 明 两 者 的 区 别 。 理 论 为 人 类 提 供 了 一 种 识 别 新 数 据 的 认 知 机 制 ， 一 种 介 入 世 界 、 进 行 实 验 和 解 决 问 题 的 方 式 。 在 整 篇 文 章 中 ， 本 文 将 讨 论 所 提 出 的 论 点 对 不 确 定 情 况 下 的 战 略 和 决 策 制 定 的 影 响 。 现 在 ， 人 工 智 能 （ A I ） 在 涉 及 高 层 次 思 维 和 战 略 推 理 的 各 种 游 戏 、 标 准 化 测 试 和 认 知 任 务 中 ， 都 能 与 人 类 匹 敌 或 胜 过 人 类 。 例 如 ， 人 工 智 能 引 擎 可 以 在 国 际 象 棋 中 轻 松 击 败 人 类 ， 而 国 际 象 棋 几 十 年 来 一 直 是 人 工 智 能 能 力 的 重 要 基 准 （ B o r y ， 2 0 1 9 ； S i m o n ， 1 9 8 5 ） 。 现 在 ， 人 工 智 能 系 统 在 复 杂 的 游 戏 （ 如 外 交 或 战 略 ） 中 也 表 现 出 色 ， 这 些 游 戏 涉 及 复 杂 的 谈 判 、 与 他 人 的 复 杂 互 动 、 结 盟 、 欺 骗 以 及 理 解 其 他 玩 家 的 意 图 （ 如 A n a n t h a s w a m y ， 2 0 2 2 年 ） 。 目 前 的 人 工 智 能 模 型 在 各 种 专 业 资 格 考 试 中 的 表 现 也 超 过 了 人 类 的 9 0 % ， 如 法 律 方 面 的 律 师 资 格 考 试 和 会 计 方 面 的 注 册 会 计 师 考 试 （ A c h i a m 等 人 ， 2 0 2 3 年 ） 。 人 工 智 能 在 医 疗 诊 断 方 面 也 取 得 了 长 足 进 步 ， 在 诊 断 某 些 疾 病 方 面 击 败 了 训 练 有 素 的 医 疗 专 业 人 员 （ 例 如 ， Z h o u 等 人 ， 2 0 2 3 年 ） 。 这 些 突 飞 猛 进 的 进 步 让 一 些 人 工 智 能 学 者 认 为 ， 即 使 是 最 像 人 类 的 特 征 ， 如 意 识 ， 原 则 上 也 将 很 快 被 机 器 复 制 （ 如 B u t l i n 等 人 ， 2 0 2 3 年 ； G o y a l 和 B e n g i o ， 2 0 2 2 年 ） 。 总 之 ， 人 工 智 能 正 在 迅 速 设 计 出 “ 人 性 化 思 考 ” 、 “ 理 性 思 考 ” 、 “ 人 性 化 行 动 ” 和 “ 理 性 行 动 ” 的 算 法 （ C s a s z a r a n d S t e i n b e r g e r , 2 0 2 2 ） 。 鉴 于 人 工 智 能 的 惊 人 进 步 ， 丹 尼 尔 卡 尼 曼 （ D a n i e l K a h n e m a n ） 提 出 （ 并 回 答 ） 了 一 个 合 乎 逻 辑 的 下 一 个 问 题 ： “ 会 有 什 么 东 西 是 人 类 的 专 利 吗 ？ 坦 率 地 说 ， 我 看 不 出 有 什 么 理 由 要 对 人 工 智 能 所 能 做 的 事 情 设 限 . . . . . . 因 此 ， 很 难 想 象 在 数 据 充 足 的 情 况 下 ， 仍 然 会 存 在 只 有 人 类 才 能 做 的 事 情 . . . . . . 只 要 有 可 能 ， 你 就 应 该 用 算 法 取 代 人 类 （ 2 0 1 8 ： 6 0 9 6 1 0 ， 着 重 号 为 作 者 所 加 ） 。 卡 尼 曼 并 不 是 唯 一 这 样 评 价 的 人 。 达 文 波 特 和 柯 比 认 为 ， “ 我 们 已 经 知 道 ， 分 析 和 算 法 比 大 多 数 人 类 更 善 于 从 数 据 中 创 造 洞 察 力 ” ， 而 且 “ 这 种 人 类 / 机 器 的 性 能 差 距 只 会 越 来 越 大 ” （ 2 0 1 6 ： 2 9 ） 。 许 多 学 者 声 称 ， 人 工 智 能 很 可 能 在 大 多 数 如 果 不 是 全 部 推 理 和 决 策 形 式 上 胜 过 人 类 （ 例 如 ， G r a c e 等 人 ， 2 0 2 4 年 ； L e g g 和 H u t t e r ， 2 0 0 7 年 ； M o r r i s 等 人 ， 2 0 2 3 年 ） 。 一 些 人 认 为 ， 战 略 决 策 也 可 能 被 人 工 智 能 接 管 （ C s a s z a r , K e t k a r a n d K i m , 2 0 2 4 ） ， 甚 至 科 学 本 身 也 将 “ 自 动 化 ” （ Z h u a n d H o r t o n , 2 0 2 4 ； 相 关 论 点 见 A g r a w a l e t a l . ） 人 工 智 能 的 先 驱 之 一 杰 弗 里 辛 顿 （ G e o f f r e y H i n t o n ） 认 为 ， 大 型 语 言 模 型 是 有 知 觉 和 智 能 的 ， “ 数 字 智 能 ” 将 不 可 避 免 地 超 越 人 类 的 “ 生 物 智 能 ” 如 果 它 还 没 有 做 到 的 话 （ 见 辛 顿 ， 2 0 2 3 年 ； 另 见 本 吉 奥 等 人 ， 2 0 2 3 年 ） 。 与 机 器 相 比 ， 人 类 在 认 知 和 计 算 方 面 的 局 限 性 显 而 易 见 。 人 类 具 有 偏 见 和 有 限 理 性 （ 综 述 见 C h a t e r 等 人 ， 2 0 1 8 年 ； 另 见 K a h n e m a n ， 2 0 0 3 年 ； K a h n e m a n ， 2 0 1 1 年 ） 。 人 类 会 选 择 性 地 关 注 和 采 样 哪 些 数 据 ， 而 且 容 易 受 到 确 认 和 其 他 数 百 种 认 知 偏 差 的 影 响 （ 根 据 最 近 的 统 计 ， 有 近 两 百 种 ） 。 简 而 言 之 ， 人 类 是 “ 有 限 理 性 ” 的 他 们 计 算 和 处 理 信 息 的 能 力 受 到 严 重 阻 碍 （ 西 蒙 ， 1 9 5 5 年 ） ， 尤 其 是 与 计 算 机 相 比 （ 参 见 西 蒙 ， 1 9 9 0 年 ） 。 而 使 人 类 理 性 受 限 、 决 策 能 力 低 下 的 原 因 ， 似 乎 正 是 计 算 机 在 认 知 任 务 上 表 现 出 色 的 原 因 。 计 算 机 和 人 工 智 能 的 优 势 在 于 ， 它 们 可 以 处 理 大 量 数 据 ， 并 以 强 大 的 方 式 快 速 处 理 这 些 数 据 。 在 本 文 中 ， 对 人 工 智 能 与 人 类 认 知 的 关 系 包 括 其 对 不 确 定 情 况 下 的 战 略 和 决 策 制 定 的 影 响 提 出 了 相 反 的 看 法 。 首 先 重 温 了 将 计 算 等 同 于 人 类 认 知 这 一 说 法 的 历 史 渊 源 。 人 工 智 能 建 立 在 认 知 是 信 息 处 理 的 一 般 形 式 ， 是 一 种 “ 输 入 输 出 设 备 ” 的 理 念 之 上 。 为 了 说 明 人 类 与 计 算 机 在 认 知 方 面 的 差 异 ， 以 大 型 语 言 模 型 与 人 类 语 言 学 习 为 例 。 基 于 这 些 差 异 ， 认 为 人 类 的 认 知 在 重 要 的 情 况 下 是 以 前 瞻 性 的 方 式 运 作 的 从 理 论 到 数 据 。 以 “ 比 空 气 重 ” 的 飞 行 为 例 ， 介 绍 了 “ 数 据 信 念 （ a ） 对 称 ” 的 概 念 ， 以 及 这 一 概 念 在 解 释 人 工 智 能 和 人 类 认 知 时 分 别 发 挥 的 作 用 。 人 类 的 认 知 是 前 瞻 性 的 ， 这 就 要 求 数 据 信 念 不 对 称 ， 这 种 不 对 称 体 现 在 理 论 以 及 人 类 的 因 果 推 理 和 实 验 中 。 人 类 认 知 由 基 于 理 论 的 因 果 逻 辑 驱 动 ， 这 与 人 工 智 能 强 调 基 于 数 据 的 预 测 不 同 。 理 论 能 够 产 生 新 的 、 相 反 的 数 据 、 观 察 和 实 验 。 本 文 强 调 了 这 些 论 点 对 不 确 定 性 条 件 下 决 策 制 定 的 影 响 ， 同 时 简 要 强 调 了 考 虑 人 类 人 工 智 能 混 合 系 统 的 机 会 。 基 于 理 论 的 因 果 逻 辑 和 认 知 在 上 述 数 据 与 信 念 不 对 称 的 基 础 上 ， 要 讨 论 的 是 人 类 参 与 前 瞻 性 理 论 研 究 和 因 果 推 理 的 认 知 与 实 践 过 程 ， 这 使 得 人 类 在 本 质 上 能 够 “ 超 越 数 据 ” 或 者 更 具 体 地 说 ， 超 越 现 有 数 据 ， 进 行 实 验 并 产 生 新 的 数 据 和 新 奇 事 物 。 我 们 特 别 强 调 了 这 种 形 式 的 认 知 和 实 践 活 动 如 何 不 同 于 计 算 、 数 据 驱 动 和 信 息 处 理 导 向 的 认 知 形 式 我 们 在 上 文 讨 论 过 的 人 工 智 能 和 计 算 人 工 智 能 的 标 志 并 允 许 人 类 以 前 瞻 性 的 方 式 “ 干 预 ” 世 界 。 那 些 专 注 于 数 据 驱 动 预 测 的 方 法 会 按 照 世 界 的 现 状 进 行 分 析 ， 却 没 有 认 识 到 人 类 有 能 力 进 行 实 验 并 理 解 原 因 （ 参 见 P e a r l 和 M a c k e n z i e ， 2 0 1 8 年 ） 以 及 实 现 那 些 由 于 （ 目 前 ） 缺 乏 数 据 和 证 据 而 在 目 前 看 来 难 以 置 信 的 信 念 。 我 们 以 比 空 气 重 的 飞 行 为 例 ， 为 这 一 点 提 供 了 一 个 实 际 的 例 子 ， 努 力 为 我 们 所 谓 的 “ 基 于 理 论 的 因 果 逻 辑 ” 提 供 一 个 独 特 的 窗 口 ， 让 我 们 了 解 一 个 更 加 普 遍 和 无 处 不 在 的 过 程 。 以 F e l i n 和 Z e n g e r （ 2 0 1 7 年 ） 为 基 础 的 出 发 点 是 ， 认 知 活 动 是 一 种 理 论 或 科 学 活 动 。 也 就 是 说 ， 人 类 会 产 生 前 瞻 性 理 论 来 指 导 他 们 的 感 知 、 搜 索 和 行 动 。 正 如 皮 尔 斯 所 指 出 的 ， 人 类 的 心 智 对 于 想 象 某 种 正 确 的 理 论 具 有 天 然 的 适 应 性 （ . . . . . . ） 。 如 果 人 类 没 有 适 应 其 要 求 的 天 赋 思 维 ， 他 就 不 可 能 获 得 任 何 知 识 （ 1 9 5 7 : 7 1 ） 。 正 如 我 们 以 语 言 为 例 所 强 调 的 那 样 ， 儿 童 微 薄 的 语 言 输 入 几 乎 无 法 解 释 巨 大 的 输 出 ， 这 说 明 了 人 类 理 论 化 的 生 成 能 力 。 人 类 的 理 论 化 能 力 参 与 新 问 题 的 解 决 和 实 验 起 源 于 进 化 ， 为 进 化 的 飞 跃 和 技 术 的 出 现 提 供 了 一 个 非 常 合 理 的 解 释 （ F e l i n 和 K a u f f m a n ， 2 0 2 3 年 ） 。 重 要 的 是 ， 基 于 理 论 的 认 知 使 人 类 能 够 做 事 。 这 也 是 儿 童 发 展 中 所 谓 “ 核 心 知 识 ” 论 点 的 基 础 （ 如 C a r e y 和 S p e l k e ， 1 9 9 6 ； S p e l k e 等 人 ， 1 9 9 2 ） 。 人 类 像 科 学 家 一 样 ， 通 过 猜 想 、 假 设 和 实 验 的 过 程 来 发 展 知 识 。 认 知 的 计 算 方 法 侧 重 于 数 据 和 环 境 输 入 的 首 要 地 位 ， 而 基 于 理 论 的 认 知 观 点 则 侧 重 于 人 类 的 积 极 作 用 ， 人 类 不 仅 要 了 解 周 围 环 境 ， 还 要 在 实 验 、 生 成 新 知 识 和 创 新 方 面 发 挥 积 极 作 用 （ F e l i n a n d Z e n g e r , 2 0 1 7 ） 。 如 果 没 有 理 论 化 的 这 种 主 动 性 、 生 成 性 和 前 瞻 性 ， 很 难 想 象 知 识 会 如 何 增 长 无 论 我 们 谈 论 的 是 个 人 知 识 、 集 体 知 识 还 是 科 学 知 识 。 发 展 心 理 学 一 篇 文 章 的 标 题 很 好 地 体 现 了 这 一 点 ： “ 如 果 你 想 出 人 头 地 ， 就 得 有 一 套 理 论 （ K a r m i l o f f S m i t h 和 I n h e l d e r ， 1 9 7 4 年 ） 。 这 也 呼 应 了 库 尔 特 勒 温 的 格 言 ： “ 没 有 什 么 比 好 的 理 论 更 实 用 ” （ 1 9 4 3 : 1 1 8 ） 。 这 里 的 核 心 要 点 是 ， 理 论 不 仅 仅 是 科 学 家 的 专 利 。 理 论 对 于 任 何 试 图 理 解 和 影 响 周 围 环 境 的 人 来 说 都 是 实 用 的 理 论 帮 助 我 们 做 事 。 理 论 化 是 人 类 认 知 和 实 践 活 动 的 一 个 核 心 方 面 。 因 此 ， 正 如 杜 威 所 言 ， “ 科 学 的 实 体 不 仅 来 自 科 学 家 ” ， “ 人 类 各 行 各 业 的 个 人 都 应 该 是 实 验 家 ” （ 1 9 1 6 : 4 3 8 4 4 2 ） 。 以 这 种 直 觉 为 基 础 ， 将 其 扩 展 到 新 颖 的 领 域 ， 并 将 其 与 以 人 工 智 能 为 基 础 的 认 知 模 型 进 行 对 比 。 基 于 理 论 的 观 点 在 决 策 和 战 略 的 背 景 下 扩 展 了 上 述 逻 辑 ， 强 调 了 理 论 化 和 理 论 在 经 济 背 景 下 的 重 要 性 ， 并 对 认 知 产 生 了 广 泛 影 响 （ F e l i n 和 Z e n g e r ， 2 0 1 7 年 ） 。 基 于 理 论 的 观 点 背 后 的 核 心 思 想 是 ， 经 济 行 为 者 可 以 （ 也 需 要 ） 发 展 独 特 的 、 针 对 特 定 企 业 的 理 论 。 理 论 并 不 试 图 描 绘 现 有 的 现 实 ， 而 是 要 产 生 未 知 的 未 来 可 能 性 。 在 经 济 学 中 ， “ 反 向 贝 叶 斯 主 义 ” （ r e v e r s e B a y e s i a n i s m ） 的 观 点 与 之 大 致 相 同 （ 见 K a r n i a n d V i e r ø , 2 0 1 3 ） 。 理 论 可 被 视 为 “ 入 侵 ” 竞 争 性 要 素 市 场 的 机 制 （ 参 见 B a r n e y ， 1 9 8 6 年 ） ， 使 经 济 行 为 者 能 够 以 不 同 的 方 式 看 待 和 探 索 世 界 。 对 新 可 能 性 的 认 识 是 自 上 而 下 形 成 的 （ F e l i n 和 K o e n d e r i n k ， 2 0 2 2 年 ） 。 这 些 理 论 对 于 如 何 有 效 地 组 织 或 管 理 实 现 新 事 物 的 过 程 也 具 有 重 要 意 义 （ W u e b k e r 等 人 ， 2 0 2 3 年 ） 。 这 种 方 法 已 经 过 实 证 检 验 和 验 证 （ 如 A g a r w a l 等 人 ， 2 0 2 3 年 ； C a m u f f o 等 人 ， 2 0 2 1 年 ； N o v e l l i 和 S p i n a ， 2 0 2 2 年 ） ， 包 括 重 要 的 理 论 延 伸 （ 如 E h r i g 和 S c h m i d t ， 2 0 2 2 年 ； Z e l l w e g e r 和 Z e n g e r ， 2 0 2 2 年 ） 。 基 于 理 论 的 观 点 所 产 生 的 实 际 影 响 也 促 进 了 管 理 工 具 的 发 展 ， 以 帮 助 初 创 企 业 、 经 济 参 与 者 和 组 织 创 造 经 济 价 值 （ F e l i n 、 G a m b a r d e l l a 和 Z e n g e r ， 2 0 2 1 年 ） 。 本 节 的 目 标 不 是 详 尽 回 顾 基 于 理 论 的 观 点 。 相 反 ， 现 在 的 目 标 是 进 一 步 阐 述 基 于 理 论 的 观 点 的 认 知 方 面 ， 并 将 其 与 以 数 据 为 重 点 的 落 后 认 知 和 人 工 智 能 方 法 进 行 对 比 。 本 文 强 调 人 类 的 理 论 化 和 因 果 推 理 能 力 与 人 工 智 能 强 调 数 据 驱 动 的 预 测 有 何 不 同 。 基 于 理 论 的 认 知 观 允 许 人 类 在 给 定 数 据 之 外 干 预 世 界 ， 而 不 仅 仅 是 处 理 、 表 示 或 推 断 现 有 数 据 。 理 论 能 够 通 过 实 验 产 生 非 显 而 易 见 的 数 据 和 新 知 识 。 我 们 强 调 了 我 们 的 认 知 方 法 与 计 算 、 贝 叶 斯 和 人 工 智 能 启 发 的 认 知 方 法 所 提 出 的 论 点 和 处 方 有 何 显 著 不 同 。 仔 细 确 定 这 些 差 异 非 常 重 要 ， 因 为 基 于 人 工 智 能 的 方 法 和 计 算 方 法 正 如 本 文 开 头 广 泛 讨 论 的 那 样 据 说 会 取 代 人 类 的 判 断 和 认 知 （ 例 如 ， 卡 尼 曼 ， 2 0 1 8 ） 。 未 来 研 究 机 遇 上 述 论 点 提 出 了 许 多 研 究 机 会 ， 尤 其 是 在 理 解 不 确 定 情 况 下 的 战 略 和 决 策 时 。 首 先 ， 我 们 有 机 会 研 究 人 类 （ 如 经 济 行 为 者 ） 何 时 以 及 如 何 利 用 人 工 智 能 相 关 工 具 创 造 新 价 值 或 辅 助 决 策 。 人 工 智 能 作 为 一 种 认 知 工 具 ， 要 想 成 为 竞 争 优 势 的 源 泉 ， 就 必 须 以 独 特 或 公 司 特 有 的 方 式 加 以 利 用 。 使 用 普 遍 可 用 的 训 练 数 据 的 人 工 智 能 必 然 会 产 生 通 用 和 非 特 定 的 产 出 。 现 成 的 人 工 智 能 解 决 方 案 有 可 能 陷 入 信 息 技 术 的 “ 生 产 力 悖 论 ” （ B r y n j o l f f s o n 和 H i t t ， 1 9 9 8 年 ） ， 即 对 人 工 智 能 的 投 资 实 际 上 不 会 给 购 买 这 些 工 具 的 人 带 来 任 何 收 益 （ 相 反 ， 只 会 给 出 售 这 些 技 术 的 人 ） 。 因 此 ， 我 们 有 机 会 研 究 特 定 决 策 者 比 如 公 司 自 身 的 价 值 理 论 如 何 推 动 人 工 智 能 的 发 展 和 采 用 。 要 使 人 工 智 能 真 正 成 为 战 略 和 决 策 制 定 的 有 用 工 具 ， 就 需 要 对 人 工 智 能 进 行 定 制 、 目 的 训 练 和 微 调 ， 使 其 与 企 业 等 决 策 者 的 理 论 、 数 据 集 和 专 有 文 件 相 匹 配 。 例 如 ， 在 战 略 决 策 中 使 用 人 工 智 能 时 ， “ 检 索 增 强 生 成 ” 技 术 的 进 步 似 乎 为 提 高 特 异 性 提 供 了 一 条 大 有 可 为 的 途 径 。 在 寻 求 独 特 的 人 工 智 能 驱 动 输 出 时 ， 任 何 人 工 智 能 的 采 用 都 应 慎 重 考 虑 使 用 （ 或 不 使 用 ） 哪 些 语 料 库 和 训 练 数 据 。 毕 竟 ， 人 工 智 能 为 使 用 特 定 数 据 而 定 制 的 输 出 结 果 也 是 人 类 代 理 的 产 物 ， 人 类 代 理 会 决 定 哪 些 数 据 与 当 前 决 策 相 关 （ 哪 些 不 相 关 ） 。 正 是 在 这 里 ， 我 们 看 到 了 一 个 机 会 ， 可 以 了 解 人 类 如 何 与 人 工 智 能 进 行 独 特 的 互 动 ， 以 生 成 这 些 工 具 和 相 关 的 人 类 人 工 智 能 界 面 。 早 期 工 作 已 开 始 研 究 企 业 如 何 利 用 人 工 智 能 来 提 高 创 新 能 力 ， 或 各 种 人 类 人 工 智 能 混 合 解 决 方 案 如 何 实 现 更 好 的 决 策 （ 例 如 ， B a b i n a 等 人 ， 2 0 2 4 年 ； B e l l 等 人 ， 2 0 2 4 年 ； C h o u d h a r y 、 M a r c h e t t i 、 S h r e s t h a 和 P u r a n a m ， 2 0 2 3 年 ； G i r o t r a 等 人 ， 2 0 2 3 年 ； G r e g o r y 等 人 ， 2 0 2 1 年 ； K e m p ， 2 0 2 3 年 ； K i m 等 人 ， 2 0 2 3 年 ； R a i s c h 和 F o m i n a ， 2 0 2 3 年 ） 。 但 是 ， 研 究 特 定 经 济 行 为 者 或 企 业 自 身 的 理 论 和 因 果 逻 辑 以 及 其 独 特 或 企 业 特 有 的 数 据 和 信 息 来 源 如 何 影 响 执 行 战 略 和 决 策 的 人 工 智 能 相 关 工 具 的 开 发 或 采 用 ， 也 是 大 有 可 为 的 。 其 次 ， 在 涉 及 不 同 类 型 的 任 务 、 问 题 和 决 策 时 ， 有 机 会 对 人 类 与 人 工 智 能 各 自 的 能 力 进 行 研 究 并 制 定 分 类 标 准 。 对 于 人 工 智 能 全 面 取 代 人 类 的 前 景 ， 有 很 多 兴 奋 、 炒 作 和 恐 惧 的 说 法 （ 参 见 G r a c e 等 人 ， 2 0 2 4 年 ） 。 然 而 ， 在 现 实 中 ， 人 类 和 人 工 智 能 之 间 可 能 会 有 分 工 各 自 专 注 于 最 适 合 自 己 的 任 务 、 问 题 和 决 策 类 型 。 我 们 有 机 会 研 究 像 企 业 这 样 的 经 济 行 为 体 如 何 将 人 类 （ 及 其 认 知 能 力 、 工 作 、 角 色 ） 与 算 法 （ 或 人 工 智 能 相 关 工 具 ） 与 正 确 的 任 务 和 决 策 进 行 随 机 “ 匹 配 ” 。 目 前 ， 人 工 智 能 显 然 非 常 适 合 重 复 性 、 计 算 密 集 型 和 直 接 根 据 过 去 数 据 推 断 的 任 务 和 决 策 。 人 类 所 做 的 大 量 决 策 都 是 相 对 常 规 的 ， 适 合 算 法 处 理 （ A m a y a 和 H o l w e g ， 2 0 2 4 年 ； H o l m s t r ö m 、 H o l w e g 、 L a w s o n 、 P i l 和 W a g n e r ， 2 0 1 9 年 ） 。 因 此 ， 人 工 智 能 无 疑 将 在 许 多 管 理 领 域 发 挥 关 键 作 用 ， 尤 其 是 流 程 重 复 的 领 域 ， 如 运 营 （ A m a y a 和 H o l w e g ， 2 0 2 4 年 ； H o l m s t r ö m 、 H o l w e g 、 L a w s o n 、 P i l 和 W a g n e r ， 2 0 1 9 年 ） 。 然 而 ， 有 些 决 策 更 低 频 、 更 罕 见 （ C a m u f f o 等 人 ， 2 0 2 2 年 ） ， 因 此 不 适 合 人 工 智 能 。 在 此 ， 我 们 预 计 人 类 将 继 续 发 挥 核 心 作 用 ， 因 为 他 们 有 能 力 进 行 前 瞻 性 的 理 论 研 究 ， 并 发 展 出 超 越 现 有 数 据 的 因 果 逻 辑 。 尽 管 如 此 ， 在 常 规 决 策 与 非 常 规 决 策 之 间 自 然 存 在 一 个 “ 滑 动 尺 度 ” （ 和 界 面 ） 。 即 使 在 罕 见 且 影 响 巨 大 的 决 策 制 定 中 ， 人 工 智 能 也 可 能 发 挥 作 用 ， 也 许 是 在 信 息 收 集 、 处 理 或 汇 总 方 面 增 强 人 类 的 能 力 。 正 如 我 们 在 本 文 中 所 讨 论 的 ， 人 工 智 能 和 人 类 各 有 其 优 势 和 局 限 性 。 现 有 的 工 作 倾 向 于 在 相 同 的 基 准 上 比 较 人 工 智 能 和 人 类 ， 而 不 是 认 识 到 两 者 各 自 的 优 势 。 研 究 人 工 智 能 和 人 类 的 比 较 能 力 它 们 各 自 的 能 力 、 局 限 性 和 持 续 发 展 是 未 来 工 作 的 一 个 重 要 机 遇 。 第 三 ， 我 们 的 论 点 指 向 的 也 许 是 有 关 人 类 本 质 的 更 为 “ 基 础 性 ” 的 问 题 ， 尤 其 是 与 人 类 认 知 的 所 谓 计 算 本 质 相 关 的 问 题 。 虽 然 关 于 认 知 本 质 的 问 题 听 起 来 可 能 过 于 抽 象 和 哲 学 化 ， 但 它 们 却 至 关 重 要 ， 因 为 它 们 会 对 我 们 的 假 设 、 我 们 采 用 的 方 法 以 及 我 们 研 究 的 方 式 和 内 容 产 生 下 游 影 响 。 在 此 ， 我 们 赞 同 赫 伯 特 西 蒙 （ H e r b e r t S i m o n ） 的 观 点 ， 他 认 为 “ 在 制 定 我 们 的 研 究 议 程 和 指 导 我 们 的 研 究 方 法 时 ， 没 有 什 么 比 我 们 对 所 研 究 行 为 的 人 类 本 质 的 看 法 更 重 要 的 了 ” （ 1 9 8 5 : 3 0 3 ； 着 重 部 分 由 作 者 标 明 ） 。 那 么 ， 在 人 工 智 能 和 认 知 科 学 领 域 （ 以 及 经 济 学 和 战 略 学 领 域 ） ， 关 于 人 类 认 知 的 主 流 观 点 是 什 么 呢 ？ 对 人 类 的 主 要 看 法 是 ， 人 类 是 从 事 信 息 处 理 的 输 入 输 出 设 备 ， 类 似 于 计 算 机 。 七 十 多 年 来 ， 计 算 机 一 直 是 人 类 认 知 的 核 心 组 织 隐 喻 从 阿 兰 图 灵 和 赫 伯 特 西 蒙 的 研 究 到 人 工 神 经 网 络 、 预 测 处 理 和 贝 叶 斯 大 脑 的 现 代 实 例 （ 如 C o s m i d e s 和 T o o b y ， 2 0 1 3 年 ； K n i l l 和 P o u g e t ， 2 0 0 4 年 ； G o l d s t e i n 和 G i g e r e n z e r ， 2 0 2 4 年 ； K o t s e r u b a 和 T o t s o s ， 2 0 2 0 年 ； R u s s e l l 和 N o r v i g ， 2 0 2 2 年 ； S u n ， 2 0 2 3 年 ） 。 然 而 ， 认 知 的 通 用 计 算 方 法 并 不 考 虑 所 研 究 生 物 的 比 较 性 质 ， 因 为 人 类 、 生 物 和 机 器 都 被 视 为 “ 不 变 的 ” （ 见 S i m o n , 1 9 9 0 ; c f . G e r s h m a n e t a l . , 2 0 1 5 ; S i m o n , 1 9 8 0 ） 。 研 究 这 些 差 异 是 未 来 工 作 的 一 个 重 要 机 遇 。 认 知 存 在 显 著 差 异 ， 这 些 差 异 值 得 仔 细 关 注 。 例 如 ， 计 算 机 无 法 有 意 义 地 决 定 哪 些 输 入 可 能 相 关 ， 哪 些 不 相 关 （ 也 无 法 有 意 义 地 识 别 新 的 输 入 ） ， 而 人 类 却 可 以 控 制 他 们 可 能 首 先 选 择 或 “ 生 成 ” 的 输 入 （ 例 如 ， B r e m b s ， 2 0 2 1 ； F e l i n 和 K o e n d e r i n k ， 2 0 2 2 ； Y i n ， 2 0 2 0 ） 。 人 类 认 知 是 一 种 以 实 验 和 解 决 问 题 为 导 向 的 前 瞻 性 理 论 。 请 注 意 ， 我 们 并 不 是 要 论 证 某 种 人 类 例 外 论 ， 因 为 这 些 能 力 以 不 同 的 方 式 在 更 广 泛 的 生 物 有 机 体 中 体 现 出 来 （ R i e d l , 1 9 8 4 ; c f . P o p p e r , 1 9 9 1 ） 。 研 究 使 生 物 有 机 体 和 经 济 行 为 主 体 能 够 理 论 化 、 解 决 问 题 和 进 行 实 验 的 内 生 和 比 较 因 素 并 将 各 种 形 式 的 生 物 智 能 与 人 工 智 能 和 非 生 物 智 能 进 行 比 较 是 一 个 重 要 的 研 究 机 会 （ 参 见 L e v i n , 2 0 2 4 ） 。 把 所 有 智 能 都 视 为 广 义 计 算 ， 会 不 必 要 地 缩 小 理 论 和 实 证 工 作 的 范 围 ， 从 根 本 上 忽 略 了 智 能 在 不 同 系 统 中 表 现 出 来 的 丰 富 多 样 的 方 式 。 此 外 ， 生 物 和 非 生 物 形 式 的 智 能 之 间 的 界 面 正 如 人 类 在 进 化 过 程 中 对 技 术 和 工 具 的 使 用 （ F e l i n a n d K a u f f m a n , 2 0 2 3 ） 为 未 来 的 工 作 提 供 了 引 人 入 胜 的 机 会 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 3 6 暂 时 没 有 读 者 6 9 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 多 模 态 大 型 语 言 模 型 · 视 觉 语 言 模 型 · 1 1 月 1 2 日 1 1 6 页 最 新 《 多 模 态 大 型 语 言 模 型 》 全 面 综 述 与 指 南 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 本 多 模 态 大 型 语 言 模 型 （ M L L M s ） 的 综 述 和 应 用 指 南 探 讨 了 M L L M s 这 一 快 速 发 展 的 领 域 ， 深 入 分 析 了 其 架 构 、 应 用 及 其 对 人 工 智 能 和 生 成 模 型 的 影 响 。 首 先 介 绍 了 基 础 概 念 ， 详 细 阐 述 了 M L L M s 如 何 整 合 多 种 数 据 类 型 ， 包 括 文 本 、 图 像 、 视 频 和 音 频 ， 以 实 现 复 杂 的 跨 模 态 理 解 和 生 成 能 力 的 A I 系 统 。 内 容 涵 盖 了 训 练 方 法 、 架 构 组 成 以 及 在 各 个 领 域 中 的 实 际 应 用 ， 如 视 觉 故 事 讲 述 和 增 强 无 障 碍 访 问 。 通 过 详 细 的 案 例 研 究 和 技 术 分 析 ， 本 书 考 察 了 当 前 重 要 的 M L L M 实 现 方 案 ， 同 时 关 注 在 扩 展 性 、 稳 健 性 和 跨 模 态 学 习 方 面 的 关 键 挑 战 。 最 后 ， 对 伦 理 问 题 、 负 责 任 的 A I 开 发 和 未 来 发 展 方 向 进 行 了 讨 论 。 这 本 权 威 资 源 既 提 供 了 理 论 框 架 ， 也 带 来 了 实 际 见 解 ， 为 对 自 然 语 言 处 理 与 计 算 机 视 觉 交 叉 领 域 感 兴 趣 的 研 究 人 员 、 从 业 者 和 学 生 提 供 了 平 衡 的 视 角 ， 对 M L L M s 的 开 发 和 部 署 中 的 机 遇 与 挑 战 进 行 了 全 面 的 阐 述 。 1 . 1 M L L M s 的 定 义 与 重 要 性 多 模 态 大 型 语 言 模 型 （ M L L M s ） 代 表 了 人 工 智 能 （ A I ） 领 域 的 一 项 重 要 进 化 ， 使 得 对 多 种 输 入 类 型 （ 如 文 本 、 图 像 、 音 频 和 视 频 ） 的 整 合 和 理 解 成 为 可 能 。 不 同 于 仅 处 理 单 一 输 入 类 型 的 单 模 态 模 型 ， M L L M s 可 以 同 时 处 理 多 种 模 态 ， 从 而 提 供 更 全 面 的 理 解 ， 反 映 出 真 实 世 界 的 交 互 方 式 。 M L L M s 的 关 键 特 性 和 重 要 性 包 括 ： 跨 模 态 学 习 ： M L L M s 在 包 含 文 本 、 视 觉 、 听 觉 ， 有 时 甚 至 是 传 感 数 据 的 大 规 模 数 据 集 上 进 行 训 练 。 此 功 能 使 其 能 够 在 不 同 模 态 之 间 建 立 联 系 ， 从 而 支 持 需 要 跨 多 种 数 据 类 型 理 解 和 生 成 内 容 的 任 务 。 例 如 ： * 文 本 生 成 图 像 ： M L L M s 能 够 根 据 文 本 描 述 生 成 详 细 图 像 ， 革 新 了 图 形 设 计 和 广 告 等 创 意 行 业 。 设 想 描 述 “ 黄 昏 时 的 未 来 城 市 景 观 ” ， 并 让 A I 生 成 相 应 的 图 像 。 * 视 觉 问 答 ： 这 些 模 型 可 以 分 析 图 像 并 准 确 回 答 自 然 语 言 问 题 ， 增 强 了 教 育 工 具 和 无 障 碍 技 术 。 例 如 ， M L L M 可 以 回 答 关 于 照 片 内 容 的 问 题 ， 如 “ 这 张 图 片 中 的 狗 是 什 么 品 种 ？ ” * 多 模 态 内 容 创 作 ： M L L M s 促 进 了 整 合 文 本 、 视 觉 和 音 频 内 容 的 创 作 ， 如 插 画 故 事 或 多 媒 体 展 示 。 这 可 能 包 括 基 于 简 要 提 示 生 成 具 有 匹 配 插 图 的 连 贯 故 事 。 统 一 表 示 ： M L L M s 通 过 统 一 的 编 码 库 和 联 合 嵌 入 空 间 ， 实 现 了 多 模 态 数 据 的 集 成 表 示 ， 从 而 能 够 无 缝 处 理 不 同 模 态 。 这 种 架 构 设 计 提 供 了 几 项 关 键 能 力 ： * 模 态 之 间 的 无 缝 转 换 （ 如 描 述 照 片 或 从 文 本 生 成 图 像 ） 。 * 跨 模 态 检 索 ， 模 型 可 以 根 据 文 本 查 询 找 到 相 关 图 像 ， 或 将 声 音 与 视 觉 内 容 匹 配 。 * 提 供 更 自 然 和 直 观 的 人 机 交 互 方 式 。 要 理 解 统 一 表 示 ， 可 以 想 象 一 个 图 书 馆 ， 其 中 书 籍 、 图 像 和 音 频 记 录 都 使 用 相 同 的 系 统 进 行 分 类 ， 这 样 便 可 以 轻 松 找 到 跨 不 同 媒 体 类 型 的 相 关 内 容 。 增 强 的 上 下 文 理 解 ： 通 过 整 合 多 种 模 态 ， M L L M s 能 够 生 成 更 准 确 和 具 备 上 下 文 意 识 的 响 应 。 这 一 能 力 在 以 下 领 域 尤 为 重 要 ： * 医 疗 ： 结 合 医 学 影 像 、 患 者 记 录 和 医 生 笔 记 以 提 供 更 精 确 的 诊 断 。 例 如 ， M L L M 可 以 将 患 者 的 X 光 片 、 病 史 和 症 状 结 合 在 一 起 ， 提 出 可 能 的 诊 断 建 议 。 * 安 防 ： 结 合 视 频 监 控 和 音 频 数 据 以 实 现 全 面 的 情 境 感 知 。 这 可 能 涉 及 分 析 视 频 流 和 音 频 记 录 以 检 测 潜 在 的 安 全 威 胁 。 * 电 子 商 务 ： 通 过 理 解 文 本 查 询 和 视 觉 产 品 特 征 来 增 强 产 品 搜 索 功 能 。 M L L M 可 以 帮 助 客 户 找 到 “ 蓝 色 花 卉 夏 季 连 衣 裙 ” ， 既 理 解 文 本 描 述 ， 也 识 别 产 品 的 视 觉 特 征 。 跨 模 态 的 泛 化 能 力 ： M L L M s 展 现 了 在 不 同 模 态 中 处 理 多 种 任 务 的 灵 活 性 ， 包 括 ： * 图 像 描 述 生 成 和 视 觉 问 答 。 * 跨 模 态 检 索 和 内 容 生 成 。 * 音 视 频 整 合 用 于 视 频 字 幕 或 口 型 同 步 任 务 。 * 多 模 态 翻 译 ， 例 如 将 视 频 内 容 转 换 为 文 本 摘 要 。 * 通 过 同 时 解 读 手 势 、 面 部 表 情 、 语 音 和 文 本 ， 提 升 人 机 交 互 体 验 。 机 器 人 与 具 身 A I 的 进 步 ： 在 机 器 人 领 域 ， M L L M s 帮 助 系 统 更 有 效 地 感 知 和 交 互 环 境 。 通 过 处 理 视 觉 、 听 觉 和 传 感 数 据 ， M L L M s 支 持 的 机 器 人 可 以 执 行 复 杂 任 务 ， 如 物 体 操 作 、 导 航 和 人 机 交 互 。 例 如 ， 家 用 机 器 人 可 以 结 合 语 言 理 解 、 视 觉 识 别 和 空 间 导 航 ， 执 行 “ 请 从 厨 房 柜 台 拿 来 红 色 杯 子 ” 这 样 的 口 头 指 令 。 现 实 应 用 潜 力 ： M L L M s 处 理 多 种 数 据 类 型 的 能 力 使 其 在 信 息 形 式 多 样 的 实 际 应 用 中 具 有 重 要 价 值 。 例 如 ： * 在 自 动 驾 驶 车 辆 中 ， 这 些 模 型 可 以 整 合 来 自 摄 像 头 的 视 觉 数 据 与 地 图 和 交 通 报 告 的 文 本 信 息 ， 从 而 增 强 导 航 和 安 全 功 能 。 M L L M 可 以 帮 助 自 动 驾 驶 汽 车 识 别 路 标 、 解 释 其 含 义 并 相 应 调 整 车 辆 行 为 。 * 在 科 学 研 究 中 ， M L L M s 可 以 同 时 分 析 分 子 结 构 、 研 究 论 文 和 实 验 数 据 ， 以 识 别 潜 在 的 新 药 物 化 合 物 。 这 将 通 过 识 别 人 工 可 能 忽 略 的 跨 多 数 据 集 模 式 ， 加 速 寻 找 新 疗 法 的 过 程 。 弥 合 A I 与 人 类 认 知 之 间 的 差 距 ： M L L M s 处 理 多 模 态 数 据 的 能 力 更 贴 近 人 类 的 认 知 过 程 ， 优 于 单 模 态 模 型 。 这 种 与 人 类 认 知 的 契 合 有 助 于 构 建 更 直 观 、 能 够 理 解 复 杂 上 下 文 的 A I 系 统 。 例 如 ， 基 于 M L L M 的 虚 拟 助 手 可 以 根 据 用 户 的 语 气 、 面 部 表 情 和 用 词 选 择 来 理 解 和 回 应 用 户 的 情 绪 ， 就 像 人 类 一 样 。 1 . 2 自 然 语 言 处 理 （ N L P ） 与 计 算 机 视 觉 的 融 合 ： M L L M s 的 崛 起 自 然 语 言 处 理 （ N L P ） 和 计 算 机 视 觉 的 融 合 彻 底 改 变 了 A I 的 发 展 ， 催 生 了 多 模 态 大 型 语 言 模 型 （ M L L M s ） 。 这 种 融 合 使 机 器 能 够 跨 模 态 进 行 推 理 ， 从 而 对 世 界 有 更 全 面 的 理 解 。 关 键 历 史 里 程 碑 ： * 图 像 描 述 生 成 （ 2 0 1 5 至 今 ） ： 早 期 模 型 如 “ S h o w , A t t e n d , a n d T e l l ” 将 卷 积 神 经 网 络 （ C N N ） 用 于 图 像 分 析 ， 并 结 合 循 环 神 经 网 络 （ R N N ） 生 成 文 本 。 这 标 志 着 机 器 能 够 “ 描 述 ” 它 们 “ 看 到 ” 的 内 容 的 开 端 。 * 视 觉 问 答 （ V Q A ） ： 这 些 任 务 要 求 模 型 结 合 视 觉 和 文 本 输 入 生 成 有 意 义 的 答 案 。 例 如 ， 模 型 可 能 被 问 到 “ 汽 车 是 什 么 颜 色 ？ ” 并 看 到 一 张 红 色 汽 车 的 图 片 。 * 视 觉 语 言 T r a n s f o r m e r （ 2 0 1 9 至 今 ） ： 诸 如 V i L B E R T 、 C L I P 和 D A L L E 的 模 型 展 示 了 T r a n s f o r m e r 架 构 可 以 扩 展 到 多 模 态 应 用 。 这 些 模 型 能 够 执 行 从 文 本 描 述 生 成 图 像 或 从 文 本 查 询 找 到 相 关 图 像 等 任 务 。 理 论 基 础 ： N L P 和 计 算 机 视 觉 的 融 合 基 于 以 下 几 个 关 键 理 论 基 础 ： * 表 示 学 习 ： 这 使 M L L M s 能 够 创 建 跨 模 态 的 联 合 嵌 入 ， 捕 捉 语 义 关 系 。 简 而 言 之 ， 它 使 模 型 能 够 理 解 语 言 中 的 概 念 与 视 觉 元 素 的 关 系 。 例 如 ， 模 型 会 学 习 到 “ 猫 ” 这 个 词 与 胡 须 、 尖 耳 朵 和 毛 茸 茸 的 身 体 等 视 觉 特 征 相 关 联 。 * 迁 移 学 习 ： 这 种 技 术 使 模 型 能 够 将 从 一 项 任 务 中 获 得 的 知 识 应 用 于 新 的 相 关 任 务 。 对 于 M L L M s ， 这 意 味 着 它 们 可 以 利 用 从 大 数 据 集 获 得 的 通 用 知 识 ， 以 最 少 的 额 外 训 练 在 特 定 任 务 中 表 现 良 好 。 类 似 于 人 类 会 将 骑 自 行 车 的 平 衡 和 协 调 技 能 应 用 于 学 习 骑 摩 托 车 。 * 注 意 力 机 制 ： 最 初 为 N L P 开 发 的 注 意 力 机 制 使 模 型 能 够 关 注 输 入 的 相 关 部 分 。 在 M L L M s 中 ， 这 种 机 制 扩 展 为 关 注 不 同 模 态 中 的 相 关 方 面 ， 使 多 模 态 数 据 的 处 理 更 加 有 效 。 可 以 将 其 类 比 为 人 在 嘈 杂 环 境 中 听 懂 讲 话 者 的 声 音 时 集 中 注 意 力 在 说 话 者 嘴 唇 上 的 过 程 。 架 构 创 新 ： 几 项 关 键 的 架 构 创 新 推 动 了 M L L M s 的 发 展 ： * 编 码 器 解 码 器 框 架 ： 此 架 构 用 于 诸 如 D A L L E 等 模 型 ， 允 许 文 本 和 图 像 域 之 间 的 映 射 。 编 码 器 处 理 输 入 （ 如 文 本 ） ， 解 码 器 生 成 输 出 （ 如 图 像 ） 。 类 似 于 一 个 将 文 字 故 事 转 换 为 绘 画 的 翻 译 者 。 * 跨 模 态 T r a n s f o r m e r ： 这 些 模 型 为 每 种 模 态 使 用 单 独 的 T r a n s f o r m e r ， 并 通 过 跨 模 态 注 意 力 层 融 合 信 息 。 模 型 可 以 先 分 别 处 理 文 本 和 图 像 ， 然 后 将 信 息 结 合 起 来 。 这 类 似 于 人 们 先 阅 读 书 籍 再 看 插 图 ， 然 后 结 合 这 些 信 息 以 更 全 面 地 理 解 。 * 视 觉 T r a n s f o r m e r （ V i T ） ： 这 些 将 T r a n s f o r m e r 架 构 直 接 应 用 于 图 像 块 ， 使 视 觉 和 语 言 模 型 的 整 合 更 加 无 缝 。 V i T 将 图 像 分 解 为 较 小 的 块 并 依 次 处 理 ， 类 似 于 T r a n s f o r m e r 处 理 句 子 中 的 单 词 。 对 A I 应 用 的 影 响 ： N L P 和 计 算 机 视 觉 的 融 合 使 得 M L L M s 在 各 种 A I 应 用 中 展 现 了 新 能 力 ： * 多 模 态 聊 天 机 器 人 ， 可 以 理 解 和 生 成 文 本 和 图 像 。 例 如 ， 一 个 客 户 服 务 机 器 人 能 够 理 解 产 品 图 片 ， 并 提 供 文 字 解 释 和 视 觉 辅 助 。 * 内 容 审 核 系 统 能 够 同 时 分 析 文 本 和 图 像 ， 为 社 交 媒 体 平 台 提 供 更 具 上 下 文 意 识 的 不 当 内 容 过 滤 。 * 为 视 障 用 户 生 成 图 像 描 述 的 无 障 碍 工 具 ， 使 他 们 通 过 详 细 的 文 字 描 述 “ 看 到 ” 图 像 。 * 增 强 自 动 驾 驶 系 统 中 的 人 机 交 互 ， 车 辆 能 够 理 解 来 自 环 境 的 语 言 命 令 和 视 觉 提 示 。 挑 战 与 未 来 方 向 ： 尽 管 M L L M s 取 得 了 显 著 进 展 ， 仍 然 面 临 一 些 挑 战 ： * 偏 见 与 公 平 性 ： M L L M s 可 能 会 延 续 或 放 大 训 练 数 据 中 存 在 的 偏 见 ， 特 别 是 在 文 本 和 视 觉 域 中 。 例 如 ， 由 于 训 练 数 据 不 平 衡 ， 它 们 可 能 在 图 像 识 别 中 错 误 地 识 别 个 体 。 解 决 此 问 题 需 要 仔 细 的 数 据 集 筛 选 、 多 样 化 的 数 据 表 示 ， 以 及 对 模 型 输 出 的 持 续 监 控 和 调 整 。 研 究 人 员 正 在 探 索 对 抗 去 偏 技 术 和 公 平 性 学 习 等 方 法 来 缓 解 这 些 问 题 。 * 可 解 释 性 ： 理 解 M L L M s 如 何 在 不 同 模 态 间 进 行 决 策 对 于 建 立 信 任 至 关 重 要 。 这 涉 及 开 发 解 释 模 型 决 策 的 技 术 ， 创 建 能 够 有 效 表 示 不 同 模 态 在 模 型 推 理 过 程 中 的 相 互 作 用 的 可 视 化 工 具 。 例 如 ， 注 意 力 可 视 化 和 显 著 性 映 射 等 技 术 正 被 应 用 于 多 模 态 环 境 ， 以 提 供 对 模 型 决 策 过 程 的 洞 察 。 * 效 率 ： 当 前 M L L M s 通 常 需 要 大 量 计 算 资 源 。 研 究 者 正 在 积 极 研 究 更 高 效 的 架 构 和 训 练 方 法 。 潜 在 的 解 决 方 案 包 括 ： 模 型 剪 枝 ： 删 除 不 必 要 的 参 数 ， 创 建 更 小 、 更 快 的 模 型 ， 同 时 性 能 损 失 较 小 。 * 知 识 蒸 馏 ： 创 建 较 小 的 模 型 模 仿 较 大 模 型 的 行 为 ， 类 似 于 学 生 从 老 师 那 里 学 习 。 * 量 化 ： 减 少 模 型 参 数 的 精 度 以 降 低 内 存 和 计 算 要 求 。 * 伦 理 考 量 ： 随 着 M L L M s 变 得 更 强 大 ， 一 些 伦 理 挑 战 出 现 了 ： 与 多 模 态 个 人 数 据 的 处 理 和 潜 在 滥 用 相 关 的 隐 私 问 题 。 研 究 人 员 正 在 探 索 如 联 邦 学 习 和 差 分 隐 私 等 隐 私 保 护 技 术 来 应 对 这 些 问 题 。 * 对 透 明 决 策 过 程 的 需 求 ， 特 别 是 在 医 疗 和 自 动 化 系 统 等 关 键 应 用 中 。 这 涉 及 开 发 可 解 释 的 A I 技 术 ， 提 供 清 晰 的 M L L M 决 策 理 由 。 * 可 能 用 于 创 建 深 度 伪 造 或 其 他 误 导 性 内 容 ， 混 合 操 控 文 本 和 图 像 。 为 此 ， 正 在 开 发 对 抗 合 成 媒 体 的 检 测 系 统 ， 并 建 立 关 于 M L L M s 在 内 容 创 作 中 使 用 的 伦 理 准 则 。 * 跨 模 态 一 致 性 ： 确 保 不 同 模 态 之 间 的 一 致 性 是 一 个 重 大 挑 战 。 这 包 括 开 发 在 生 成 文 本 和 图 像 之 间 保 持 语 义 一 致 性 的 方 法 ， 并 解 决 多 模 态 信 息 整 合 时 可 能 产 生 的 冲 突 。 研 究 人 员 正 在 探 索 如 一 致 性 正 则 化 和 多 任 务 学 习 等 技 术 ， 以 提 高 M L L M 输 出 的 跨 模 态 一 致 性 。 随 着 该 领 域 研 究 的 进 展 ， M L L M s 在 理 解 和 生 成 跨 多 模 态 内 容 方 面 的 能 力 将 变 得 更 强 ， 这 有 可 能 导 致 A I 系 统 在 人 类 般 的 世 界 理 解 上 取 得 更 大 进 展 。 M L L M s 的 持 续 进 步 不 断 推 动 A I 的 创 新 和 应 用 边 界 ， 在 不 同 领 域 中 开 启 了 新 的 发 展 机 遇 。 1 . 3 结 论 与 未 来 展 望 多 模 态 大 型 语 言 模 型 （ M L L M s ） 代 表 了 人 工 智 能 技 术 的 重 大 飞 跃 ， 弥 合 了 不 同 信 息 处 理 模 式 之 间 的 差 距 ， 使 我 们 更 接 近 于 开 发 出 能 够 更 像 人 类 一 样 理 解 和 与 世 界 互 动 的 A I 系 统 。 M L L M s 同 时 整 合 和 处 理 多 种 类 型 数 据 的 能 力 ， 拓 展 了 其 在 各 个 行 业 和 领 域 中 的 广 泛 应 用 前 景 。 展 望 未 来 ， M L L M s 的 潜 在 影 响 广 泛 且 具 变 革 性 ： * 在 医 疗 领 域 ， M L L M s 能 够 通 过 整 合 视 觉 医 学 数 据 、 文 本 化 的 患 者 病 史 和 最 新 研 究 成 果 ， 彻 底 革 新 诊 断 和 治 疗 规 划 。 例 如 ， M L L M 可 以 分 析 患 者 的 M R I 扫 描 、 病 史 和 最 新 的 医 学 文 献 ， 以 建 议 个 性 化 的 治 疗 方 案 。 * 在 教 育 领 域 ， 这 些 模 型 可 以 通 过 根 据 学 生 的 多 模 态 互 动 来 调 整 内 容 ， 创 造 更 加 引 人 入 胜 和 个 性 化 的 学 习 体 验 。 基 于 M L L M 的 辅 导 系 统 可 以 根 据 学 生 的 口 头 回 应 、 面 部 表 情 和 在 视 觉 任 务 中 的 表 现 来 调 整 教 学 风 格 。 * 在 科 学 研 究 中 ， M L L M s 可 以 通 过 分 析 复 杂 的 多 模 态 数 据 集 并 识 别 可 能 被 人 类 研 究 者 忽 略 的 模 式 ， 加 速 科 学 发 现 。 例 如 ， 在 气 候 科 学 领 域 ， M L L M 可 以 整 合 卫 星 图 像 、 气 象 数 据 和 科 学 论 文 ， 以 识 别 气 候 变 化 中 的 新 模 式 。 * 在 创 意 产 业 中 ， M L L M s 可 以 成 为 内 容 创 作 的 强 大 工 具 ， 推 动 互 动 性 和 沉 浸 式 叙 事 的 新 形 式 。 设 想 一 款 能 够 根 据 玩 家 的 行 为 和 偏 好 生 成 独 特 故 事 情 节 和 视 觉 内 容 的 视 频 游 戏 。 然 而 ， 在 我 们 拥 抱 M L L M s 的 潜 力 的 同 时 ， 也 必 须 警 惕 其 带 来 的 挑 战 。 解 决 偏 见 问 题 、 确 保 道 德 使 用 、 提 高 效 率 和 增 强 可 解 释 性 将 是 充 分 实 现 这 些 强 大 模 型 潜 力 的 关 键 。 对 研 究 人 员 和 实 践 者 的 行 动 呼 吁 ： * 开 发 强 有 力 的 技 术 来 减 轻 多 模 态 数 据 集 和 模 型 输 出 中 的 偏 见 。 * 创 建 更 高 效 的 M L L M 架 构 ， 以 减 少 计 算 需 求 和 环 境 影 响 。 * 探 索 改 进 M L L M 输 出 的 跨 模 态 一 致 性 和 连 贯 性 的 新 方 法 。 * 研 究 M L L M s 与 其 他 新 兴 技 术 （ 如 增 强 现 实 和 物 联 网 ） 的 集 成 。 * 制 定 跨 行 业 开 发 和 部 署 M L L M s 的 伦 理 准 则 和 最 佳 实 践 。 M L L M s 的 发 展 不 仅 是 技 术 进 步 ， 还 代 表 了 我 们 在 人 工 智 能 领 域 方 法 的 根 本 转 变 。 通 过 模 仿 人 类 处 理 和 整 合 多 种 信 息 类 型 的 能 力 ， M L L M s 正 使 我 们 更 接 近 于 创 建 真 正 智 能 的 系 统 ， 这 些 系 统 能 够 以 更 细 致 全 面 的 方 式 理 解 和 互 动 世 界 。 随 着 该 领 域 研 究 的 不 断 发 展 ， 我 们 可 以 期 待 更 加 复 杂 的 M L L M s ， 它 们 将 进 一 步 突 破 A I 的 可 能 性 。 未 来 的 道 路 充 满 了 激 动 人 心 的 可 能 性 和 挑 战 ， 而 M L L M s 的 持 续 发 展 无 疑 将 在 塑 造 人 工 智 能 的 未 来 及 其 对 社 会 的 影 响 中 发 挥 关 键 作 用 。 研 究 人 员 、 从 业 者 和 政 策 制 定 者 有 责 任 以 负 责 任 的 方 式 引 导 这 一 发 展 ， 确 保 M L L M s 的 利 益 得 到 实 现 ， 同 时 减 轻 潜 在 的 风 险 和 伦 理 问 题 。 成 为 V I P 会 员 查 看 完 整 内 容 A C o m p r e h e n s i v e S u r v e y a n d G u i d e t o M u l t i m o d a l L a r g e L a n g u a g e M o d e l s i n V i s i o n L a n g u a g e T a s k s 点 赞 并 收 藏 3 1 暂 时 没 有 读 者 4 8 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 联 合 火 力 · 资 源 分 配 · 武 器 目 标 分 配 · 1 1 月 1 9 日 《 武 器 目 标 分 配 ： 联 合 火 力 自 动 化 中 效 应 器 分 配 问 题 的 求 解 方 法 》 最 新 4 3 页 报 告 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 联 合 火 力 自 动 化 （ J F A ） 项 目 旨 在 将 联 合 火 力 指 挥 与 控 制 （ C 2 ） 数 字 化 ， 以 支 持 联 合 目 标 定 位 周 期 。 联 合 目 标 定 位 周 期 中 的 一 个 重 要 步 骤 是 为 目 标 分 配 武 器 ， 以 最 大 限 度 地 提 高 总 体 效 果 。 在 科 学 文 献 中 ， 这 一 问 题 被 称 为 武 器 目 标 分 配 （ W T A ） 问 题 。 虽 然 有 一 些 算 法 可 以 解 决 这 个 问 题 ， 但 它 们 并 没 有 考 虑 移 动 武 器 。 近 年 来 ， 随 着 无 人 驾 驶 航 空 系 统 （ U A S ） 的 发 展 ， 移 动 武 器 的 使 用 变 得 更 加 便 利 ， 从 一 个 目 标 移 动 到 另 一 个 目 标 的 时 间 不 再 可 以 忽 略 不 计 。 本 科 学 报 告 介 绍 了 一 种 算 法 ， 该 算 法 在 为 武 器 分 配 目 标 时 考 虑 到 了 武 器 的 移 动 。 对 新 问 题 进 行 了 正 式 定 义 ， 并 开 发 了 一 种 启 发 式 方 法 。 还 开 发 了 一 个 数 据 生 成 器 ， 用 于 生 成 与 现 实 生 活 类 似 的 实 例 。 结 果 表 明 ， 所 开 发 的 算 法 可 以 在 可 接 受 的 时 间 内 解 决 生 成 的 实 例 。 本 科 学 报 告 介 绍 了 一 种 为 目 标 分 配 武 器 的 算 法 的 开 发 情 况 。 所 解 决 的 问 题 适 用 于 陆 地 目 标 定 位 周 期 。 它 符 合 联 合 火 力 现 代 化 （ J F M ） 资 本 项 目 ， 该 项 目 旨 在 开 发 传 感 器 到 射 击 的 概 念 和 原 型 。 简 而 言 之 ， 所 提 出 的 算 法 利 用 从 传 感 器 获 得 的 信 息 ， 以 集 中 的 方 式 有 效 地 将 目 标 分 配 给 武 器 。 报 告 的 主 要 成 果 之 一 是 介 绍 了 为 在 分 配 质 量 和 执 行 计 算 所 需 时 间 之 间 找 到 适 当 平 衡 而 进 行 的 战 略 探 索 。 这 些 成 果 将 指 导 今 后 在 这 一 主 题 上 的 发 展 。 尽 管 主 要 是 探 索 性 的 ， 但 本 报 告 强 调 了 在 设 计 这 些 算 法 时 必 须 做 出 的 一 些 权 衡 。 在 使 用 决 策 支 持 工 具 时 ， 这 些 取 舍 会 产 生 重 大 影 响 ， 用 户 应 予 以 理 解 。 报 告 概 述 如 下 ： 第 2 节 回 顾 了 科 学 文 献 中 的 类 似 问 题 。 第 3 节 对 问 题 进 行 了 正 式 描 述 。 第 4 节 介 绍 了 一 些 解 决 策 略 和 数 据 生 成 器 。 第 5 节 介 绍 并 评 论 了 所 获 得 的 结 果 。 第 6 节 为 结 束 语 。 在 整 个 报 告 中 ， 使 用 了 标 准 符 号 。 读 者 可 参 阅 表 9 了 解 所 用 符 号 的 说 明 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 3 0 暂 时 没 有 读 者 4 3 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 多 智 能 体 强 化 学 习 · 博 士 论 文 · 1 1 月 1 8 日 《 多 智 能 体 强 化 学 习 的 深 度 合 作 策 略 》 最 新 1 5 4 页 博 士 论 文 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 人 类 是 天 生 的 社 会 性 动 物 ， 彼 此 不 断 互 动 。 一 个 没 有 这 些 互 动 的 世 界 将 缺 乏 意 义 。 在 我 们 日 常 生 活 中 的 各 种 互 动 中 ， 有 一 些 情 况 需 要 多 人 合 作 才 能 实 现 共 同 目 标 。 例 如 ， 观 察 建 筑 工 人 合 作 建 造 一 栋 大 楼 ， 或 者 在 街 上 漫 步 时 司 机 为 了 安 全 导 航 而 相 互 让 路 ， 就 是 这 种 合 作 的 例 证 。 这 些 场 景 都 可 以 被 视 为 合 作 的 实 例 。 在 机 器 和 人 工 智 能 领 域 ， 可 以 将 这 些 场 景 建 模 为 多 智 能 体 系 统 。 多 智 能 体 强 化 学 习 （ M A R L ） 是 解 决 多 智 能 体 系 统 内 复 杂 问 题 的 一 种 流 行 的 机 器 学 习 范 式 。 虽 然 现 实 世 界 中 的 多 智 能 体 问 题 往 往 可 以 被 框 定 为 M A R L 问 题 ， 但 由 于 M A R L 带 来 的 影 响 ， 最 近 提 出 的 方 法 的 全 部 潜 力 主 要 是 通 过 计 算 机 模 拟 来 实 现 的 。 例 如 ， 在 真 实 场 景 中 ， 智 能 体 通 常 只 能 获 得 其 对 环 境 的 局 部 观 察 结 果 ， 而 无 法 看 到 任 何 其 他 全 局 信 息 。 另 一 方 面 ， 在 模 拟 中 ， 在 智 能 体 的 训 练 阶 段 ， 可 以 利 用 一 个 掌 握 系 统 所 有 信 息 的 中 央 数 据 库 。 这 种 运 行 模 式 被 称 为 “ 分 散 执 行 的 集 中 训 练 ” （ C T D E ） 。 在 这 种 模 式 下 ， 价 值 函 数 因 式 分 解 方 法 构 成 了 M A R L 算 法 系 列 ， 可 将 联 合 行 动 价 值 函 数 分 解 为 智 能 体 策 略 进 行 学 习 。 尽 管 最 近 提 出 了 几 种 这 样 的 方 法 ， 但 其 中 一 些 方 法 仍 然 无 法 解 决 某 些 难 以 权 衡 的 复 杂 任 务 ， 而 且 还 需 要 使 用 额 外 的 状 态 信 息 ， 而 这 些 信 息 并 不 总 是 可 用 的 。 在 本 论 文 中 ， 我 们 介 绍 了 一 种 称 为 残 差 Q 网 络 的 值 函 数 因 式 分 解 方 法 ， 它 在 因 式 分 解 过 程 中 不 需 要 额 外 的 状 态 信 息 。 从 理 论 上 讲 ， 这 种 方 法 能 够 对 任 何 环 境 系 列 进 行 因 式 分 解 ， 特 别 是 在 对 非 合 作 行 为 有 严 重 惩 罚 的 场 景 中 ， 具 有 优 势 。 懒 惰 智 能 体 的 出 现 是 M A R L 中 另 一 个 常 见 问 题 。 这 是 指 在 一 个 由 多 个 智 能 体 组 成 的 团 队 中 ， 一 些 智 能 体 没 有 为 实 现 团 队 的 总 体 目 标 而 合 作 ， 而 是 选 择 等 待 队 友 完 成 所 有 工 作 。 这 个 问 题 是 由 于 在 团 队 成 员 之 间 分 配 共 享 奖 励 的 功 劳 时 存 在 误 差 造 成 的 。 为 了 解 决 这 个 问 题 ， 我 们 在 本 论 文 中 提 出 了 一 种 基 于 因 果 关 系 的 方 法 ， 旨 在 找 到 智 能 体 的 个 体 观 察 结 果 与 团 队 奖 励 之 间 的 因 果 关 系 。 直 觉 是 ， 当 团 队 获 得 奖 励 时 ， 每 个 智 能 体 只 有 在 对 实 现 团 队 奖 励 有 任 何 影 响 的 情 况 下 才 应 该 接 受 奖 励 。 此 外 ， 我 们 还 从 单 纯 的 C T D E 学 习 过 渡 到 探 索 智 能 体 如 何 在 不 共 享 网 络 参 数 的 情 况 下 ， 通 过 使 用 我 们 基 于 因 果 关 系 的 方 法 来 增 强 其 合 作 行 为 ， 从 而 实 现 独 立 学 习 。 独 立 学 习 被 认 为 是 一 种 更 现 实 的 方 法 ， 因 为 智 能 体 被 视 为 自 成 一 体 的 实 体 ， 每 个 智 能 体 都 有 自 己 的 策 略 ， 并 且 不 依 赖 于 集 中 式 甲 骨 文 进 行 学 习 。 在 多 种 情 况 下 ， 具 备 通 信 能 力 有 利 于 改 善 合 作 行 为 。 在 许 多 M A R L 应 用 场 景 中 ， 都 可 能 存 在 可 以 进 行 通 信 的 情 况 ， 这 在 多 个 实 际 应 用 中 都 很 常 见 。 为 此 ， 本 论 文 提 出 了 一 种 名 为 “ 注 意 正 则 化 通 信 （ A R C O M M ） ” 的 通 信 方 法 。 让 智 能 体 进 行 交 谈 可 能 是 学 习 某 些 复 杂 任 务 的 关 键 ， 而 要 想 取 得 成 功 ， 就 必 须 学 习 高 效 的 信 息 。 此 外 ， 还 探 索 了 完 全 独 立 的 学 习 者 （ 不 共 享 网 络 参 数 、 仅 依 靠 本 地 化 观 测 的 智 能 体 ） 之 间 的 通 信 。 这 种 探 索 包 括 不 同 层 次 的 网 络 容 量 、 参 数 共 享 和 通 信 ， 并 研 究 它 们 之 间 的 相 互 作 用 。 总 之 ， 本 论 文 提 出 的 方 法 为 M A R L 目 前 存 在 的 一 些 问 题 带 来 了 重 要 的 解 决 方 案 ， 为 该 领 域 提 供 了 改 进 合 作 的 新 方 法 ， 并 允 许 创 建 能 力 更 强 的 智 能 体 。 同 时 ， 还 提 出 了 一 些 观 点 ， 并 启 发 了 一 些 讨 论 ， 以 尽 量 缩 小 模 拟 与 现 实 之 间 的 差 距 。 最 后 ， 概 述 了 未 来 研 究 的 潜 在 途 径 ， 阐 明 了 可 从 本 文 介 绍 的 研 究 成 果 中 获 益 的 其 他 应 用 ， 以 此 结 束 本 论 文 。 图 3 . 1 ： 拟 议 R Q N 方 法 中 的 集 中 训 练 分 散 执 行 范 例 说 明 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 2 5 暂 时 没 有 读 者 4 0 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 作 战 规 划 过 程 · 1 1 月 1 1 日 《 作 战 规 划 过 程 手 册 》 加 拿 大 陆 军 1 0 0 页 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 本 手 册 旨 在 为 加 拿 大 陆 军 规 划 人 员 提 供 战 术 层 面 上 的 作 战 规 划 过 程 （ O P P ） 便 捷 指 南 。 作 战 规 划 过 程 是 加 拿 大 武 装 部 队 （ C A F ） 规 划 重 大 行 动 的 标 准 方 法 。 它 是 一 个 结 构 化 的 过 程 ， 按 照 逻 辑 循 序 渐 进 ： 确 定 和 分 析 问 题 ； 制 定 解 决 问 题 的 备 选 方 案 ； 以 及 将 概 念 方 案 转 化 为 指 挥 官 可 以 执 行 的 计 划 。 本 手 册 围 绕 “ O P P ” 的 五 个 阶 段 编 排 ， 其 他 章 节 还 提 供 了 其 他 辅 助 材 料 。 五 个 阶 段 中 的 每 一 个 阶 段 都 以 如 下 方 式 进 行 解 释 ： 解 释 该 阶 段 如 何 与 O P P 相 结 合 ； 说 明 该 阶 段 的 组 成 部 分 或 子 活 动 ； 该 阶 段 产 生 的 分 析 和 决 策 成 果 ； 指 挥 官 （ C o m d ） 的 作 用 ； 以 及 参 谋 人 员 的 职 能 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 2 5 暂 时 没 有 读 者 3 8 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 多 智 能 体 决 策 · 博 士 论 文 · 1 1 月 2 0 日 《 信 息 在 多 智 能 体 决 策 中 的 作 用 》 2 1 4 页 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 网 络 化 多 智 能 体 系 统 已 成 为 许 多 工 程 系 统 不 可 或 缺 的 一 部 分 。 多 智 能 体 系 统 中 的 协 同 决 策 面 临 许 多 挑 战 。 本 文 将 研 究 信 息 及 其 对 智 能 体 的 可 用 性 对 多 智 能 体 系 统 中 协 同 决 策 的 影 响 。 本 文 考 虑 了 使 用 两 个 观 测 器 从 观 测 数 据 中 检 测 马 尔 可 夫 模 型 和 高 斯 模 型 的 问 题 。 考 虑 两 个 马 尔 可 夫 链 和 两 个 观 察 者 。 每 个 观 察 者 观 察 真 实 未 知 马 尔 可 夫 链 状 态 的 不 同 函 数 。 给 定 观 察 结 果 后 ， 目 标 是 找 出 两 个 马 尔 可 夫 链 中 哪 一 个 产 生 了 观 察 结 果 。 本 文 为 每 个 观 察 者 提 出 了 块 二 元 假 设 检 验 问 题 ， 并 证 明 每 个 观 察 者 的 决 策 是 局 部 似 然 比 的 函 数 。 本 文 提 出 了 一 种 共 识 方 案 ， 让 观 察 者 就 其 信 念 达 成 一 致 ， 并 证 明 了 共 识 决 策 对 真 实 假 设 的 渐 近 收 敛 性 。 使 用 两 个 观 测 者 检 测 高 斯 模 型 时 ， 也 考 虑 了 类 似 的 问 题 框 架 。 为 每 个 观 测 者 提 出 了 序 列 假 设 检 验 问 题 ， 并 使 用 局 部 似 然 比 求 解 。 考 虑 到 观 察 者 随 机 和 不 对 称 的 停 止 时 间 ， 提 出 了 一 种 共 识 方 案 。 本 文 引 入 了 “ 信 息 价 值 ” 的 概 念 ， 以 理 解 为 达 成 共 识 而 交 换 的 信 息 的 “ 有 用 性 ” 。 接 下 来 ， 考 虑 有 两 个 观 察 者 的 二 元 假 设 检 验 问 题 。 自 然 界 有 两 种 可 能 的 状 态 。 有 两 个 观 察 者 ， 他 们 收 集 的 观 察 结 果 在 统 计 学 上 与 真 实 的 自 然 状 态 相 关 。 假 设 这 两 个 观 察 者 是 同 步 的 。 观 测 者 的 目 标 是 根 据 观 测 结 果 ， 共 同 找 出 真 实 的 自 然 状 态 。 考 虑 采 用 集 中 式 和 分 散 式 方 法 来 解 决 问 题 。 每 种 方 法 都 分 为 两 个 阶 段 ： ( 1 ) 构 建 概 率 空 间 ： 已 知 真 实 假 设 ， 收 集 观 测 数 据 以 建 立 假 设 与 观 测 数 据 之 间 的 经 验 联 合 分 布 ； ( 2 ) 给 定 一 组 新 的 观 测 数 据 ， 为 观 测 者 制 定 假 设 检 验 问 题 ， 以 找 到 他 们 各 自 对 真 实 假 设 的 信 念 。 提 出 了 让 观 察 者 就 其 对 真 实 假 设 的 信 念 达 成 一 致 的 共 识 方 案 。 比 较 了 集 中 式 方 法 中 错 误 概 率 的 衰 减 率 和 分 散 式 方 法 中 就 错 误 信 念 达 成 一 致 的 概 率 的 衰 减 率 。 比 较 了 集 中 式 方 法 和 分 散 式 方 法 的 数 值 结 果 。 多 智 能 体 系 统 中 一 个 智 能 体 的 事 件 集 中 的 所 有 命 题 可 能 无 法 同 时 验 证 。 研 究 了 文 献 中 的 事 件 状 态 运 行 结 构 和 不 相 容 关 系 的 概 念 ， 并 将 其 作 为 研 究 事 件 集 结 构 的 工 具 。 举 了 一 个 多 智 能 体 假 设 检 验 的 例 子 ， 在 这 个 例 子 中 ， 事 件 集 并 不 构 成 布 尔 代 数 ， 而 是 构 成 了 一 个 正 晶 格 。 还 讨 论 了 “ 非 交 换 概 率 空 间 ” 的 可 能 构 造 ， 其 中 包 含 不 相 容 事 件 （ 无 法 同 时 验 证 的 事 件 ） 。 作 为 这 种 概 率 空 间 中 可 能 存 在 的 决 策 问 题 ， 考 虑 了 二 元 假 设 检 验 问 题 。 提 出 了 解 决 这 一 决 策 问 题 的 两 种 方 法 。 在 第 一 种 方 法 中 ， 将 可 用 数 据 表 示 为 来 自 通 过 投 影 估 值 度 量 （ P V M ） 建 模 的 测 量 结 果 ， 并 检 索 使 用 经 典 概 率 模 型 求 解 的 底 层 检 测 问 题 的 结 果 。 在 第 二 种 方 法 中 ， 使 用 正 算 子 估 值 方 法 （ P O V M ） 来 表 示 测 量 结 果 。 证 明 ， 第 二 种 方 法 实 现 的 最 小 错 误 概 率 与 第 一 种 方 法 相 同 。 最 后 ， 考 虑 了 学 习 经 验 分 布 的 二 元 假 设 检 验 问 题 。 在 任 一 假 设 下 ， 观 测 值 的 真 实 分 布 都 是 未 知 的 。 经 验 分 布 是 从 观 测 数 据 中 估 计 出 来 的 。 利 用 经 验 分 布 序 列 解 决 一 系 列 检 测 问 题 。 经 验 分 布 下 的 信 息 状 态 和 最 优 检 测 成 本 向 真 实 分 布 下 的 信 息 状 态 和 最 优 检 测 成 本 的 收 敛 情 况 如 图 所 示 。 还 给 出 了 最 佳 检 测 成 本 收 敛 的 数 值 结 果 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 2 2 暂 时 没 有 读 者 4 0 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 世 界 模 型 · 视 频 生 成 模 型 · 1 1 月 2 6 日 理 解 世 界 还 是 预 测 未 来 ？ 世 界 模 型 的 综 合 综 述 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 世 界 模 型 的 概 念 因 多 模 态 大 型 语 言 模 型 （ 如 G P T 4 ） 和 视 频 生 成 模 型 （ 如 S o r a ） 的 进 展 而 受 到 了 广 泛 关 注 ， 这 些 技 术 在 追 求 通 用 人 工 智 能 的 过 程 中 具 有 核 心 地 位 。 本 综 述 提 供 了 关 于 世 界 模 型 文 献 的 全 面 回 顾 。 一 般 来 说 ， 世 界 模 型 被 视 为 理 解 当 前 世 界 状 态 或 预 测 其 未 来 动 态 的 工 具 。 本 综 述 系 统 地 分 类 了 世 界 模 型 ， 重 点 讨 论 了 两 个 主 要 功 能 ： （ 1 ） 构 建 内 部 表 征 以 理 解 世 界 的 机 制 ； （ 2 ） 预 测 未 来 状 态 以 模 拟 和 指 导 决 策 。 首 先 ， 我 们 回 顾 了 这 两 个 类 别 的 当 前 进 展 。 接 着 ， 我 们 探 讨 了 世 界 模 型 在 关 键 领 域 中 的 应 用 ， 包 括 自 动 驾 驶 、 机 器 人 技 术 和 社 会 模 拟 ， 重 点 分 析 每 个 领 域 如 何 利 用 这 些 功 能 。 最 后 ， 我 们 概 述 了 关 键 挑 战 ， 并 提 供 了 未 来 研 究 方 向 的 见 解 。 1 引 言 科 学 界 长 期 以 来 一 直 致 力 于 开 发 一 个 统 一 的 模 型 ， 以 复 制 世 界 的 基 本 动 态 ， 从 而 实 现 通 用 人 工 智 能 （ A G I ） [ 9 8 ] 。 2 0 2 4 年 ， 多 模 态 大 型 语 言 模 型 （ L L M s ） 和 S o r a [ 1 3 0 ] 的 出 现 ， 加 剧 了 关 于 世 界 模 型 的 讨 论 。 尽 管 这 些 模 型 展 示 了 捕 捉 世 界 知 识 方 面 的 新 能 力 — — 例 如 S o r a 生 成 的 视 频 ， 似 乎 完 美 遵 循 物 理 定 律 — — 但 关 于 它 们 是 否 真 正 符 合 全 面 世 界 模 型 的 标 准 ， 仍 然 存 在 疑 问 。 因 此 ， 对 世 界 模 型 研 究 中 近 期 进 展 、 应 用 和 未 来 方 向 的 系 统 回 顾 ， 既 是 及 时 的 ， 也 是 必 要 的 ， 尤 其 是 在 人 工 智 能 时 代 迎 来 新 的 突 破 时 。 世 界 模 型 的 定 义 仍 然 是 一 个 持 续 争 论 的 话 题 ， 通 常 可 以 分 为 两 个 主 要 视 角 ： 理 解 世 界 和 预 测 未 来 。 如 图 1 所 示 ， H a 和 S c h m i d h u b e r [ 5 9 ] 的 早 期 工 作 专 注 于 抽 象 化 外 部 世 界 ， 以 深 入 理 解 其 内 在 机 制 。 与 此 相 对 ， L e C u n [ 9 8 ] 认 为 ， 世 界 模 型 不 仅 应 当 感 知 和 建 模 现 实 世 界 ， 还 应 具 备 展 望 可 能 未 来 状 态 的 能 力 ， 从 而 为 决 策 提 供 指 导 。 像 S o r a 这 样 的 生 成 视 频 模 型 代 表 了 一 种 更 加 侧 重 于 模 拟 未 来 世 界 演 变 的 方 式 ， 因 此 ， 它 们 与 世 界 模 型 的 预 测 性 方 面 更 为 契 合 。 这 引 发 了 一 个 问 题 ： 世 界 模 型 应 优 先 理 解 当 前 世 界 ， 还 是 预 测 未 来 状 态 ？ 本 文 将 从 这 两 个 视 角 出 发 ， 提 供 关 于 世 界 模 型 文 献 的 全 面 回 顾 ， 突 出 关 键 方 法 和 挑 战 。 世 界 模 型 的 潜 在 应 用 遍 及 多 个 领 域 ， 每 个 领 域 对 理 解 能 力 和 预 测 能 力 的 要 求 各 不 相 同 。 例 如 ， 在 自 动 驾 驶 中 ， 世 界 模 型 需 要 实 时 感 知 道 路 状 况 [ 1 9 5 , 1 7 7 ] 并 准 确 预 测 其 演 变 [ 1 2 7 , 1 6 7 , 2 4 1 ] ， 特 别 注 重 即 时 环 境 感 知 和 复 杂 趋 势 的 预 测 。 在 机 器 人 技 术 中 ， 世 界 模 型 对 导 航 [ 1 6 0 ] 、 物 体 检 测 [ 1 8 3 ] 和 任 务 规 划 [ 6 2 ] 等 任 务 至 关 重 要 ， 需 要 精 确 理 解 外 部 动 态 [ 4 7 ] 并 能 够 生 成 交 互 式 和 具 身 的 环 境 [ 1 3 2 ] 。 在 虚 拟 社 会 系 统 模 拟 领 域 ， 世 界 模 型 必 须 捕 捉 和 预 测 更 为 抽 象 的 行 为 动 态 ， 例 如 社 会 互 动 和 人 类 决 策 过 程 。 因 此 ， 全 面 回 顾 这 些 能 力 的 进 展 ， 并 探 索 未 来 研 究 方 向 和 趋 势 ， 是 非 常 及 时 且 必 要 的 。 现 有 的 世 界 模 型 综 述 大 致 可 分 为 两 类 ， 如 表 1 所 示 。 第 一 类 综 述 主 要 集 中 在 描 述 世 界 模 型 在 特 定 领 域 的 应 用 ， 如 视 频 处 理 与 生 成 [ 2 3 , 2 4 2 ] 、 自 动 驾 驶 [ 5 4 , 1 0 0 , 2 0 9 ] 和 基 于 代 理 的 应 用 [ 2 4 2 ] 。 第 二 类 综 述 [ 1 1 6 ] 则 侧 重 于 多 模 态 模 型 向 世 界 模 型 的 技 术 过 渡 ， 这 些 模 型 能 够 处 理 跨 多 种 模 态 的 数 据 。 然 而 ， 这 些 论 文 往 往 缺 乏 对 世 界 模 型 究 竟 是 什 么 以 及 不 同 实 际 应 用 对 这 些 模 型 的 需 求 的 系 统 性 探 讨 。 在 本 文 中 ， 我 们 旨 在 正 式 定 义 和 分 类 世 界 模 型 ， 回 顾 近 期 的 技 术 进 展 ， 并 探 索 它 们 广 泛 的 应 用 。 本 综 述 的 主 要 贡 献 如 下 ： （ 1 ） 我 们 提 出 了 一 种 新 的 世 界 模 型 分 类 体 系 ， 围 绕 两 个 主 要 功 能 进 行 结 构 化 ： 构 建 隐 性 表 征 以 理 解 外 部 世 界 的 机 制 ， 以 及 预 测 外 部 世 界 的 未 来 状 态 。 第 一 类 主 要 关 注 开 发 学 习 并 内 化 世 界 知 识 的 模 型 ， 以 支 持 随 后 的 决 策 ； 而 第 二 类 则 强 调 从 视 觉 感 知 中 增 强 对 物 理 世 界 的 预 测 和 模 拟 能 力 。 （ 2 ） 基 于 这 一 分 类 体 系 ， 我 们 对 自 动 驾 驶 、 机 器 人 和 社 会 模 拟 等 关 键 应 用 领 域 如 何 强 调 世 界 模 型 的 不 同 方 面 进 行 了 分 类 。 （ 3 ） 我 们 强 调 了 能 够 适 应 更 广 泛 实 际 应 用 的 世 界 模 型 未 来 研 究 方 向 和 趋 势 。 本 文 的 其 余 部 分 安 排 如 下 ： 第 二 节 介 绍 世 界 模 型 的 背 景 ， 并 提 出 我 们 的 分 类 体 系 ； 第 三 节 和 第 四 节 分 别 详 细 阐 述 了 当 前 关 于 两 类 世 界 模 型 的 研 究 进 展 ； 第 五 节 介 绍 世 界 模 型 在 三 个 关 键 研 究 领 域 中 的 应 用 ； 第 六 节 概 述 了 世 界 模 型 的 开 放 问 题 和 未 来 方 向 。 2 背 景 与 分 类 在 本 节 中 ， 我 们 探 讨 了 世 界 模 型 概 念 在 文 献 中 的 发 展 ， 并 将 构 建 世 界 模 型 的 工 作 分 为 两 个 不 同 的 分 支 ： 内 部 表 征 和 未 来 预 测 。 世 界 模 型 的 概 念 首 次 由 H a 等 人 于 2 0 1 8 年 系 统 地 引 入 人 工 智 能 领 域 [ 5 8 , 5 9 ] 。 这 篇 文 章 将 世 界 模 型 概 念 的 起 源 追 溯 到 1 9 7 1 年 提 出 的 “ 心 理 模 型 ” [ 4 3 ] 的 心 理 学 原 理 ， 该 原 理 认 为 人 类 将 外 部 世 界 抽 象 为 简 单 元 素 及 其 相 互 关 系 ， 以 此 来 感 知 世 界 。 这 个 原 理 表 明 ， 从 深 层 次 的 内 部 视 角 来 看 ， 我 们 对 世 界 的 描 述 通 常 涉 及 构 建 一 种 抽 象 表 征 ， 这 种 表 征 在 不 需 要 详 细 描 述 的 情 况 下 也 足 以 表 达 世 界 。 基 于 这 一 概 念 框 架 ， 作 者 引 入 了 一 个 受 人 类 认 知 系 统 启 发 的 代 理 模 型 ， 如 图 1 所 示 。 在 这 个 开 创 性 的 模 型 中 ， 代 理 从 现 实 世 界 环 境 中 获 取 反 馈 ， 并 将 其 转 化 为 一 系 列 输 入 来 训 练 模 型 。 该 模 型 能 够 模 拟 特 定 行 动 后 ， 外 部 环 境 可 能 发 生 的 结 果 。 本 质 上 ， 它 创 建 了 对 未 来 世 界 演 变 的 心 理 模 拟 ， 基 于 对 这 些 状 态 预 测 结 果 的 决 策 进 行 行 动 。 该 方 法 与 基 于 模 型 的 强 化 学 习 （ M B R L ） 方 法 非 常 相 似 ， 两 个 策 略 都 涉 及 模 型 生 成 外 部 世 界 的 内 部 表 征 。 这 些 表 征 有 助 于 在 现 实 世 界 中 进 行 导 航 和 解 决 各 种 决 策 任 务 。 在 2 0 2 2 年 关 于 自 主 机 器 智 能 发 展 的 远 见 性 文 章 中 [ 9 8 ] ， Y a n n L e C u n 介 绍 了 联 合 嵌 入 预 测 架 构 （ J E P A ） ， 这 是 一 个 模 仿 人 脑 结 构 的 框 架 。 如 图 1 所 示 ， J E P A 包 括 一 个 感 知 模 块 ， 处 理 感 官 数 据 ， 接 着 是 一 个 认 知 模 块 ， 用 于 评 估 这 些 信 息 ， 从 而 有 效 地 体 现 了 世 界 模 型 。 这 个 模 型 使 大 脑 能 够 评 估 行 动 并 确 定 最 合 适 的 应 对 措 施 ， 应 用 于 现 实 世 界 。 L e C u n 的 框 架 之 所 以 引 人 注 目 ， 是 因 为 它 融 入 了 双 系 统 概 念 ， 模 仿 了 “ 快 速 ” 与 “ 慢 速 ” 思 维 。 系 统 1 涉 及 直 觉 和 本 能 反 应 ： 无 需 世 界 模 型 的 快 速 决 策 ， 例 如 本 能 地 躲 避 迎 面 而 来 的 人 。 相 反 ， 系 统 2 则 采 用 深 思 熟 虑 的 、 经 过 计 算 的 推 理 ， 考 虑 到 世 界 的 未 来 状 态 。 它 超 越 了 即 时 的 感 官 输 入 ， 模 拟 潜 在 的 未 来 场 景 ， 比 如 预 测 房 间 里 未 来 十 分 钟 内 可 能 发 生 的 事 件 ， 并 相 应 地 调 整 行 动 。 这 种 前 瞻 性 思 维 要 求 构 建 一 个 世 界 模 型 ， 以 有 效 地 根 据 环 境 的 预 期 动 态 和 演 变 来 指 导 决 策 。 在 这 个 框 架 中 ， 世 界 模 型 对 于 理 解 和 表 征 外 部 世 界 至 关 重 要 。 它 使 用 潜 在 变 量 来 建 模 世 界 状 态 ， 捕 捉 关 键 信 息 ， 同 时 过 滤 掉 冗 余 数 据 。 这 种 方 法 使 得 世 界 的 表 征 高 度 高 效 且 极 简 ， 有 助 于 在 未 来 场 景 中 做 出 最 优 决 策 和 规 划 。 模 型 捕 捉 世 界 知 识 的 能 力 对 于 它 们 在 各 种 现 实 任 务 中 的 有 效 性 至 关 重 要 。 在 2 0 2 3 年 开 始 的 关 于 大 型 语 言 模 型 （ L L M s ） 的 研 究 浪 潮 中 ， 许 多 研 究 展 示 了 潜 在 世 界 知 识 的 存 在 。 换 句 话 说 ， 这 些 模 型 捕 捉 了 直 观 的 知 识 ， 包 括 空 间 和 时 间 理 解 ， 使 它 们 能 够 对 现 实 场 景 做 出 预 测 [ 5 7 , 1 1 9 ] 。 此 外 ， L L M s 还 能 够 通 过 认 知 地 图 对 外 部 世 界 进 行 建 模 ， 近 期 的 研 究 揭 示 了 它 们 中 嵌 入 的 类 脑 结 构 [ 1 0 4 ] 。 这 些 模 型 甚 至 能 够 基 于 先 前 的 经 验 预 测 未 来 事 件 ， 从 而 增 强 它 们 在 现 实 情 境 中 的 效 用 和 适 用 性 。 上 述 世 界 模 型 主 要 代 表 了 对 外 部 世 界 的 隐 性 理 解 。 然 而 ， 在 2 0 2 4 年 2 月 ， O p e n A I 推 出 了 S o r a 模 型 [ 1 3 0 ] ， 这 是 一 个 被 广 泛 认 为 是 世 界 模 拟 器 的 视 频 生 成 模 型 。 S o r a 输 入 现 实 世 界 的 视 觉 数 据 ， 并 输 出 预 测 未 来 世 界 演 变 的 视 频 帧 。 值 得 注 意 的 是 ， 它 展 示 了 卓 越 的 建 模 能 力 ， 例 如 在 相 机 移 动 和 旋 转 过 程 中 保 持 3 D 视 频 模 拟 的 一 致 性 。 它 还 能 够 生 成 物 理 上 合 理 的 结 果 ， 如 在 汉 堡 包 上 留 下 咬 痕 ， 并 模 拟 数 字 环 境 ， 如 渲 染 M i n e c r a f t 游 戏 中 的 第 一 人 称 视 角 。 这 些 能 力 表 明 ， S o r a 不 仅 模 仿 了 世 界 的 外 观 ， 还 在 模 拟 场 景 中 建 模 了 真 实 世 界 的 动 态 ， 专 注 于 真 实 模 拟 动 态 世 界 的 变 化 ， 而 不 仅 仅 是 表 示 静 态 世 界 状 态 。 无 论 是 专 注 于 学 习 外 部 世 界 的 内 部 表 征 ， 还 是 模 拟 其 操 作 原 理 ， 这 些 概 念 都 凝 聚 成 一 个 共 同 的 共 识 ： 世 界 模 型 的 核 心 目 的 是 理 解 世 界 的 动 态 并 预 测 未 来 的 场 景 。 从 这 个 角 度 出 发 ， 我 们 对 世 界 模 型 的 近 期 进 展 进 行 了 深 入 的 审 视 ， 并 从 以 下 几 个 方 面 进 行 分 析 ， 如 图 1 所 示 。 * 外 部 世 界 的 隐 性 表 征 （ 第 3 节 ） ： 这 一 研 究 类 别 构 建 了 环 境 变 化 的 模 型 ， 以 便 做 出 更 有 根 据 的 决 策 ， 最 终 目 标 是 预 测 未 来 状 态 的 演 变 。 它 通 过 将 外 部 现 实 转 化 为 潜 在 变 量 的 模 型 来 促 进 隐 性 理 解 。 此 外 ， 随 着 大 型 语 言 模 型 （ L L M s ） 的 出 现 ， 传 统 决 策 任 务 中 的 努 力 得 到 了 这 些 模 型 在 世 界 知 识 描 述 能 力 上 的 显 著 提 升 。 我 们 进 一 步 关 注 将 世 界 知 识 融 入 现 有 模 型 的 进 展 。 外 部 世 界 的 未 来 预 测 （ 第 4 节 ） ： 我 们 首 先 探 讨 了 模 拟 外 部 世 界 的 生 成 模 型 ， 主 要 使 用 视 觉 视 频 数 据 。 这 些 工 作 强 调 了 生 成 的 视 频 与 未 来 物 理 世 界 状 态 的 真 实 性 。 随 着 近 期 研 究 将 焦 点 转 向 开 发 真 正 互 动 的 物 理 世 界 ， 我 们 进 一 步 研 究 了 从 视 觉 到 空 间 表 征 的 过 渡 ， 以 及 从 视 频 到 具 身 环 境 的 转 变 。 这 包 括 全 面 探 讨 与 生 成 具 身 环 境 相 关 的 研 究 ， 这 些 环 境 能 够 模 拟 外 部 世 界 。 世 界 模 型 的 应 用 （ 第 5 节 ） ： 世 界 模 型 在 多 个 领 域 中 有 着 广 泛 的 应 用 ， 包 括 自 动 驾 驶 、 机 器 人 技 术 和 社 会 模 拟 等 。 我 们 探 讨 了 世 界 模 型 在 这 些 领 域 中 的 整 合 如 何 推 动 理 论 研 究 和 实 际 应 用 的 进 展 ， 强 调 其 在 现 实 应 用 中 的 变 革 潜 力 。 成 为 V I P 会 员 查 看 完 整 内 容 U n d e r s t a n d i n g W o r l d o r P r e d i c t i n g F u t u r e ? A C o m p r e h e n s i v e S u r v e y o f W o r l d M o d e l s 点 赞 并 收 藏 2 4 暂 时 没 有 读 者 3 7 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 S L A M ( S i m u l t a n e o u s L o c a l i z a t i o n a n d M a p p i n g ) · 空 间 智 能 · 1 1 月 1 6 日 【 新 书 】 S L A M 手 册 从 定 位 与 建 图 到 空 间 智 能 ， 1 9 4 页 p d f 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 本 章 介 绍 了 同 步 定 位 与 建 图 （ S L A M ） 问 题 ， 展 示 了 构 成 典 型 S L A M 系 统 的 模 块 ， 并 解 释 了 S L A M 在 自 主 系 统 架 构 中 的 作 用 。 本 章 还 对 该 主 题 提 供 了 简 短 的 历 史 回 顾 ， 并 讨 论 了 传 统 S L A M 概 念 如 何 随 着 新 技 术 趋 势 和 机 遇 的 出 现 而 不 断 发 展 。 本 章 的 最 终 目 标 是 引 入 基 本 术 语 和 动 机 ， 并 描 述 本 手 册 的 范 围 和 结 构 。 1 . 1 什 么 是 S L A M ？ 机 器 人 在 未 知 环 境 中 安 全 高 效 运 行 的 必 要 前 提 是 能 够 形 成 其 周 围 环 境 的 内 部 表 示 。 这 类 表 示 可 以 用 来 支 持 避 障 、 低 层 控 制 、 规 划 ， 以 及 更 广 泛 的 决 策 过 程 ， 以 完 成 分 配 给 机 器 人 的 任 务 。 执 行 简 单 任 务 （ 例 如 跟 随 车 道 或 保 持 与 前 方 物 体 一 定 距 离 ） 可 能 仅 需 要 在 传 感 器 数 据 流 中 跟 踪 感 兴 趣 的 实 体 ， 而 复 杂 任 务 （ 例 如 大 规 模 导 航 或 移 动 操 作 ） 则 需 要 构 建 和 维 护 环 境 的 持 久 表 示 （ 地 图 ） 。 这 样 的 地 图 描 述 了 障 碍 物 、 物 体 和 其 他 感 兴 趣 实 体 的 存 在 及 其 相 对 于 机 器 人 位 姿 （ 位 置 和 方 向 ） 的 相 对 位 置 。 例 如 ， 地 图 可 以 用 来 指 导 机 器 人 到 达 感 兴 趣 的 地 点 、 抓 取 某 个 物 体 或 支 持 对 初 始 未 知 环 境 的 探 索 。 图 1 . 1 展 示 了 一 些 现 实 场 景 中 同 步 定 位 与 建 图 （ S L A M ） 的 实 际 应 用 。 对 于 在 初 始 未 知 环 境 中 运 行 的 机 器 人 ， 构 建 环 境 地 图 的 同 时 估 计 其 相 对 于 该 地 图 的 位 姿 的 任 务 被 称 为 同 步 定 位 与 建 图 （ S L A M ） 。 如 果 地 图 已 知 ， S L A M 问 题 简 化 为 定 位 问 题 ， 此 时 机 器 人 只 需 估 计 其 相 对 于 地 图 的 位 姿 。 另 一 方 面 ， 如 果 机 器 人 的 位 姿 已 知 ， 例 如 通 过 绝 对 定 位 系 统 （ 例 如 差 分 G P S 或 动 作 捕 捉 ） 确 定 ， 则 S L A M 问 题 简 化 为 建 图 问 题 ， 此 时 机 器 人 只 需 使 用 传 感 器 数 据 对 周 围 环 境 进 行 建 模 。 S L A M 在 机 器 人 研 究 中 的 核 心 地 位 源 于 实 际 应 用 中 机 器 人 位 姿 很 少 已 知 。 差 分 G P S 和 动 作 捕 捉 系 统 成 本 高 昂 且 仅 限 于 小 范 围 区 域 ， 因 此 不 适 用 于 大 规 模 机 器 人 部 署 。 消 费 级 G P S 虽 然 更 广 泛 可 用 ， 但 其 精 度 （ 通 常 误 差 在 米 级 ） 和 可 用 性 （ 受 限 于 户 外 且 需 要 卫 星 直 视 线 ） 使 其 往 往 不 适 合 作 为 定 位 的 唯 一 来 源 ； 消 费 级 G P S 通 常 用 作 S L A M 的 附 加 信 息 源 ， 而 非 S L A M 中 定 位 功 能 的 替 代 品 。 同 样 ， 在 许 多 机 器 人 应 用 中 ， 机 器 人 通 常 无 法 获 得 先 验 地 图 ， 因 此 需 要 执 行 S L A M 而 不 是 简 单 定 位 。 实 际 上 ， 在 某 些 应 用 中 ， 构 建 地 图 本 身 就 是 机 器 人 部 署 的 目 标 。 例 如 ， 在 支 持 灾 害 响 应 和 搜 救 行 动 时 ， 机 器 人 可 能 被 部 署 以 绘 制 灾 区 地 图 以 帮 助 第 一 响 应 者 。 在 其 他 情 况 下 ， 地 图 可 能 已 经 陈 旧 或 缺 乏 足 够 的 细 节 。 例 如 ， 家 用 机 器 人 可 能 获 得 其 操 作 公 寓 的 平 面 图 ， 但 这 样 的 平 面 图 可 能 未 描 述 实 际 环 境 中 的 家 具 和 物 体 ， 且 这 些 元 素 每 天 可 能 重 新 布 置 。 类 似 地 ， 火 星 探 测 车 可 以 获 取 低 分 辨 率 的 火 星 表 面 卫 星 地 图 ， 但 仍 需 要 执 行 局 部 建 图 以 指 导 避 障 和 运 动 规 划 。 S L A M 问 题 的 重 要 性 促 使 研 究 界 和 实 践 者 对 这 一 主 题 给 予 了 极 大 的 关 注 ， 这 些 技 术 在 多 个 应 用 领 域 中 （ 从 机 器 人 到 虚 拟 现 实 和 增 强 现 实 ） 得 到 了 广 泛 应 用 。 同 时 ， S L A M 仍 然 是 一 个 令 人 兴 奋 的 研 究 领 域 ， 拥 有 许 多 开 放 问 题 和 新 的 机 遇 。 1 . 2 现 代 S L A M 系 统 的 结 构 S L A M 的 最 终 目 标 是 根 据 传 感 器 数 据 推 断 地 图 表 示 和 机 器 人 位 姿 （ 即 轨 迹 ） 。 这 些 传 感 器 数 据 包 括 内 感 知 传 感 器 （ 例 如 轮 式 里 程 计 或 惯 性 测 量 单 元 （ I M U ） ） 和 外 感 知 传 感 器 （ 例 如 摄 像 头 、 激 光 雷 达 （ L i D A R ） 和 雷 达 ） 。 从 数 学 上 讲 ， 这 可 以 理 解 为 一 个 逆 问 题 ： 给 定 一 组 测 量 值 ， 确 定 一 个 能 够 生 成 这 些 测 量 值 的 世 界 模 型 （ 地 图 ） 和 机 器 人 位 姿 （ 轨 迹 ） 。 解 决 S L A M 问 题 有 两 种 主 要 策 略 ： 间 接 方 法 和 直 接 方 法 。 绝 大 多 数 S L A M 方 法 倾 向 于 对 原 始 传 感 器 数 据 进 行 预 处 理 ， 以 提 取 “ 中 间 表 示 ” ， 这 些 表 示 紧 凑 且 更 易 于 数 学 描 述 。 这 些 方 法 不 使 用 图 像 中 的 每 个 像 素 ， 而 是 提 取 少 量 的 二 维 特 征 点 （ 或 关 键 点 ） ， 并 仅 对 这 些 关 键 点 的 几 何 与 相 机 位 姿 及 场 景 几 何 的 关 系 进 行 建 模 。 相 比 之 下 ， 直 接 方 法 则 直 接 从 原 始 传 感 器 数 据 中 计 算 定 位 和 建 图 ， 而 不 计 算 中 间 抽 象 。 这 种 分 类 在 视 觉 S L A M 中 尤 为 显 著 ， 但 不 限 于 此 ， 如 第 9 章 和 第 1 0 章 将 进 一 步 探 讨 。 间 接 和 直 接 方 法 各 有 优 缺 点 。 间 接 方 法 通 常 更 快 且 更 节 省 内 存 。 例 如 ， 它 们 仅 处 理 少 量 关 键 点 ， 而 不 是 处 理 每 幅 图 像 中 的 每 个 像 素 。 因 此 ， 实 时 视 觉 S L A M 的 间 接 方 法 在 2 0 0 0 年 左 右 已 成 为 现 实 。 迄 今 为 止 ， 间 接 方 法 仍 是 计 算 能 力 有 限 的 平 台 上 实 时 机 器 人 视 觉 的 首 选 。 此 外 ， 一 旦 确 定 了 中 间 表 示 ， 后 续 的 计 算 通 常 在 数 学 上 更 简 单 ， 从 而 使 得 推 断 问 题 更 易 于 解 决 。 例 如 ， 在 视 觉 S L A M 中 ， 一 旦 在 多 幅 图 像 中 识 别 出 一 组 对 应 点 ， 定 位 和 建 图 问 题 可 归 结 为 经 典 的 束 调 整 问 题 ， 而 针 对 该 问 题 已 存 在 多 种 强 大 的 求 解 器 和 近 似 方 法 。 反 之 ， 直 接 方 法 有 潜 力 提 供 更 高 的 精 度 ， 因 为 它 们 利 用 了 所 有 可 用 的 输 入 信 息 。 然 而 ， 处 理 所 有 输 入 信 息 （ 例 如 每 幅 图 像 的 所 有 像 素 ） 的 计 算 开 销 较 大 ， 且 在 将 关 注 量 （ 定 位 和 建 图 ） 与 原 始 输 入 数 据 （ 例 如 每 个 像 素 的 亮 度 ） 建 立 复 杂 关 系 时 ， 可 能 会 在 整 体 损 失 函 数 中 引 入 更 多 的 非 凸 性 问 题 。 然 而 ， 通 过 高 效 的 近 似 和 推 断 策 略 ， 第 一 批 实 时 可 用 的 直 接 视 觉 S L A M 方 法 在 2 0 1 0 年 代 问 世 。 正 如 在 第 二 部 分 和 第 三 部 分 中 所 见 ， 通 过 使 用 图 形 处 理 单 元 （ G P U ） 并 行 化 计 算 ， 可 大 大 提 高 大 量 输 入 数 据 的 处 理 效 率 。 在 直 接 和 间 接 方 法 中 ， 测 量 值 均 用 于 推 断 机 器 人 位 姿 和 地 图 表 示 。 在 估 计 理 论 中 ， 有 一 套 成 熟 的 文 献 描 述 了 如 何 根 据 观 测 值 推 断 感 兴 趣 的 量 （ 在 S L A M 中 即 为 机 器 人 位 姿 和 周 围 地 图 ） 。 本 书 特 别 关 注 基 于 概 率 推 断 的 估 计 理 论 工 具 — — 在 第 2 章 和 第 3 章 中 对 这 些 工 具 进 行 了 回 顾 并 针 对 S L A M 问 题 进 行 了 定 制 化 处 理 ， 这 些 工 具 将 估 计 重 新 表 述 为 优 化 问 题 的 求 解 。 间 接 方 法 自 然 在 常 见 的 S L A M 架 构 中 形 成 了 模 块 分 工 （ 图 1 . 2 ） ： 原 始 传 感 器 数 据 首 先 传 递 给 一 组 算 法 （ S L A M 前 端 ） 以 提 取 中 间 表 示 ； 然 后 将 这 些 中 间 表 示 传 递 给 估 计 器 （ S L A M 后 端 ） ， 由 后 端 估 计 感 兴 趣 的 量 。 前 端 通 常 还 负 责 构 建 初 始 猜 测 ： 这 是 后 端 用 于 迭 代 优 化 的 初 始 估 计 ， 从 而 减 轻 非 凸 性 引 发 的 收 敛 问 题 。 以 下 将 通 过 几 个 例 子 进 一 步 澄 清 S L A M 前 端 和 后 端 之 间 的 区 别 。 示 例 1 . 1 （ 视 觉 S L A M ： 从 像 素 到 地 标 ） 视 觉 S L A M 使 用 摄 像 头 图 像 估 计 机 器 人 的 轨 迹 并 生 成 稀 疏 的 三 维 点 云 地 图 。 视 觉 S L A M 系 统 的 典 型 前 端 通 过 提 取 二 维 关 键 点 并 在 不 同 帧 之 间 进 行 匹 配 ， 使 得 每 组 匹 配 （ 称 为 特 征 轨 迹 ） 对 应 于 在 不 同 相 机 视 角 下 对 同 一 三 维 点 （ 称 为 地 标 ） 的 重 新 观 测 。 前 端 还 将 利 用 一 种 计 算 机 视 觉 技 术 （ 称 为 最 小 解 算 器 ） 计 算 相 机 位 姿 和 三 维 地 标 位 置 的 粗 略 估 计 。 随 后 ， 由 后 端 负 责 通 过 解 决 一 个 称 为 束 调 整 的 优 化 问 题 ， 估 计 （ 或 精 化 ） 未 知 地 标 的 三 维 位 置 以 及 观 测 这 些 地 标 的 机 器 人 位 姿 。 这 种 模 型 形 成 了 一 种 基 于 地 标 （ 或 基 于 特 征 ） 的 S L A M 模 型 ， 如 图 1 . 3 ( a ) 所 示 。 第 8 章 将 对 视 觉 S L A M 进 行 详 细 讨 论 。 示 例 1 . 2 （ 激 光 雷 达 S L A M ： 从 扫 描 到 里 程 计 和 回 环 检 测 ） 激 光 雷 达 S L A M 使 用 激 光 雷 达 扫 描 来 估 计 机 器 人 轨 迹 和 地 图 。 激 光 雷 达 S L A M 的 常 见 前 端 使 用 扫 描 匹 配 算 法 （ 例 如 迭 代 最 近 点 算 法 ， I C P ） 计 算 两 次 激 光 雷 达 扫 描 之 间 的 相 对 位 姿 。 具 体 来 说 ， 前 端 会 匹 配 连 续 时 间 点 的 扫 描 ， 以 估 计 机 器 人 在 它 们 之 间 的 相 对 运 动 （ 即 所 谓 的 里 程 计 ） ， 并 匹 配 对 应 于 同 一 地 点 的 多 次 扫 描 （ 即 所 谓 的 回 环 检 测 ） 。 然 后 ， 里 程 计 和 回 环 检 测 的 测 量 结 果 会 传 递 给 后 端 ， 后 端 通 过 解 决 一 个 称 为 位 姿 图 优 化 的 优 化 问 题 ， 优 化 机 器 人 的 轨 迹 。 这 种 模 型 形 成 了 一 种 基 于 位 姿 图 的 S L A M 模 型 ， 如 图 1 . 3 ( b ) 所 示 。 第 9 章 将 详 细 讨 论 激 光 雷 达 S L A M 。 前 端 生 成 的 中 间 表 示 上 述 示 例 展 示 了 S L A M 系 统 前 端 生 成 并 传 递 给 后 端 的 三 种 常 见 “ 中 间 表 示 ” （ 或 伪 测 量 ） （ 图 1 . 2 ） ： 地 标 观 测 、 里 程 计 和 回 环 检 测 。 在 复 杂 的 S L A M 系 统 中 ， 这 些 表 示 可 以 组 合 使 用 。 例 如 ， 在 某 些 视 觉 S L A M 系 统 中 ， 可 以 提 取 对 应 于 三 维 地 标 的 关 键 点 ， 并 进 一 步 处 理 它 们 以 计 算 对 应 于 里 程 计 和 回 环 检 测 的 相 对 位 姿 ， 最 终 使 用 基 于 位 姿 图 的 后 端 。 前 端 和 后 端 的 划 分 需 要 在 计 算 效 率 和 精 度 之 间 做 出 权 衡 。 提 取 更 简 单 的 表 示 可 以 显 著 加 快 后 端 求 解 器 的 速 度 （ 例 如 ， 执 行 位 姿 图 优 化 通 常 比 束 调 整 快 得 多 ） ； 但 同 时 ， 对 测 量 值 的 抽 象 会 在 后 端 的 测 量 建 模 中 引 入 近 似 ， 从 而 导 致 一 定 程 度 的 小 误 差 （ 例 如 ， 束 调 整 通 常 比 位 姿 图 优 化 更 精 确 ） 。 回 环 检 测 的 重 要 性 需 要 指 出 的 是 ， 回 环 检 测 是 S L A M 的 关 键 方 面 。 如 果 仅 使 用 里 程 计 进 行 轨 迹 估 计 ， 累 积 里 程 计 运 动 估 计 会 导 致 轨 迹 估 计 随 着 时 间 的 推 移 出 现 漂 移 ， 从 而 导 致 严 重 的 轨 迹 变 形 。 回 到 已 经 访 问 过 的 地 方 对 于 将 轨 迹 估 计 误 差 限 制 在 一 定 范 围 内 并 生 成 全 局 一 致 的 地 图 至 关 重 要 。 需 要 注 意 的 是 ， 在 基 于 地 标 的 S L A M 中 ， 回 环 检 测 隐 含 地 体 现 在 对 先 前 观 察 到 的 地 标 的 新 观 测 中 。 跨 学 科 的 S L A M 研 究 我 们 最 后 观 察 到 ， S L A M 研 究 贯 穿 多 个 学 科 领 域 。 S L A M 的 前 端 从 原 始 传 感 器 数 据 中 提 取 特 征 ， 涉 及 信 号 处 理 、 几 何 学 、 二 维 计 算 机 视 觉 和 机 器 学 习 等 领 域 。 S L A M 的 后 端 基 于 前 端 的 测 量 进 行 估 计 ， 涉 及 估 计 理 论 、 优 化 和 应 用 数 学 等 领 域 。 这 种 跨 学 科 的 思 想 和 影 响 使 S L A M 成 为 一 个 令 人 着 迷 且 多 面 复 杂 的 问 题 。 1 . 3 S L A M 在 自 主 架 构 中 的 作 用 S L A M 的 作 用 是 为 下 游 任 务 提 供 支 持 。 例 如 ， 机 器 人 的 位 姿 估 计 可 以 用 于 控 制 机 器 人 沿 着 预 定 轨 迹 移 动 ， 而 地 图 （ 结 合 当 前 机 器 人 的 位 姿 ） 可 以 用 于 运 动 规 划 （ 如 图 1 . 4 所 示 ） 。 在 这 里 ， 运 动 规 划 被 广 义 地 使 用 ： 虽 然 S L A M 通 常 用 于 构 建 大 规 模 地 图 以 支 持 导 航 任 务 ， 但 它 也 可 以 支 持 构 建 局 部 三 维 地 图 以 实 现 操 作 和 抓 取 。 尽 管 可 能 将 S L A M 看 作 一 个 将 传 感 器 数 据 作 为 输 入 并 即 时 输 出 机 器 人 位 姿 和 地 图 的 单 一 系 统 ， 但 实 际 上 ， 这 些 系 统 的 实 现 以 及 它 们 在 自 主 架 构 中 的 集 成 更 加 复 杂 。 这 是 因 为 机 器 人 需 要 闭 合 不 同 的 控 制 和 决 策 环 路 ， 而 这 些 环 路 具 有 不 同 的 延 迟 要 求 。 例 如 ， 参 考 图 1 . 4 ， 机 器 人 需 要 在 其 轨 迹 上 闭 合 低 级 控 制 环 路 （ 这 是 图 中 右 上 角 的 标 准 反 馈 控 制 环 路 ） ， 这 可 能 需 要 较 高 的 频 率 和 低 延 迟 以 保 持 稳 定 性 ； 例 如 ， 一 架 高 速 飞 行 的 无 人 机 可 能 需 要 前 端 在 几 毫 秒 的 延 迟 内 生 成 里 程 计 估 计 。 另 一 方 面 ， 闭 合 运 动 规 划 环 路 （ 图 1 . 4 中 的 外 环 ） 可 以 容 忍 更 高 的 延 迟 ， 因 为 全 局 规 划 通 常 以 较 低 的 频 率 运 行 ； 因 此 ， 后 端 可 能 以 秒 级 的 延 迟 提 供 全 局 轨 迹 和 地 图 估 计 。 基 于 这 些 原 因 ， 典 型 的 S L A M 系 统 实 现 通 常 涉 及 多 个 并 行 运 行 的 进 程 ， 并 且 较 慢 的 进 程 （ 例 如 后 端 的 全 局 位 姿 和 地 图 优 化 ） 不 会 影 响 较 快 的 进 程 （ 例 如 里 程 计 估 计 ） 。 我 们 还 注 意 到 ， S L A M 系 统 中 涉 及 的 各 个 进 程 具 有 复 杂 的 交 互 （ 如 图 1 . 4 中 双 向 边 所 强 调 的 ） ： 例 如 ， 前 端 将 里 程 计 数 据 传 递 给 后 端 ， 而 后 端 会 周 期 性 地 对 里 程 计 轨 迹 应 用 全 局 修 正 ， 修 正 后 的 轨 迹 随 后 传 递 给 运 动 控 制 器 ； 同 样 ， 前 端 计 算 的 回 环 检 测 数 据 被 传 递 给 后 端 ， 而 后 端 也 可 以 向 回 环 检 测 模 块 提 供 可 能 或 不 可 能 的 回 环 闭 合 机 会 的 反 馈 。 视 觉 S L A M 问 题 与 “ 从 运 动 中 重 建 结 构 ” （ S t r u c t u r e f r o m M o t i o n ， S f M ） 问 题 密 切 相 关 。 虽 然 对 某 些 研 究 者 而 言 ， 这 两 个 术 语 是 等 价 的 ， 但 另 一 些 研 究 者 认 为 视 觉 S L A M 系 统 通 常 会 集 成 额 外 的 传 感 器 信 息 （ 如 I M U 、 轮 式 里 程 计 等 ） ， 并 专 注 于 在 线 方 法 （ 数 据 按 顺 序 流 入 ） ， 而 S f M 则 可 以 是 在 线 或 离 线 的 ， 输 入 仅 为 图 像 。 总 的 来 说 ， 可 以 区 分 两 种 互 补 的 挑 战 ： 一 是 在 线 挑 战 ， 其 中 机 器 人 移 动 时 传 感 器 数 据 按 顺 序 流 入 ， 而 S L A M 后 端 可 能 以 较 慢 的 速 度 运 行 ， 但 像 机 器 人 定 位 这 样 的 关 键 估 计 必 须 实 时 确 定 ， 通 常 甚 至 需 要 在 计 算 能 力 有 限 的 嵌 入 式 硬 件 上 完 成 。 这 些 实 时 约 束 对 机 器 人 在 复 杂 环 境 中 （ 尤 其 是 像 无 人 机 这 样 的 高 速 机 器 人 ） 做 出 正 确 反 应 至 关 重 要 ， 并 且 往 往 决 定 了 算 法 和 处 理 步 骤 的 选 择 。 另 一 种 是 离 线 挑 战 ， 其 中 输 入 数 据 可 能 没 有 任 何 顺 序 （ 例 如 无 序 的 图 像 数 据 集 ） ， 计 算 通 常 不 需 要 实 时 性 能 ， 且 计 算 硬 件 可 以 （ 任 意 ） 强 大 （ 例 如 使 用 多 个 强 大 的 G P U ） 。 在 这 种 情 况 下 ， 地 图 和 轨 迹 估 计 的 精 度 比 计 算 时 间 更 为 重 要 。 然 而 ， 在 大 多 数 应 用 中 ， 人 们 会 面 临 这 两 种 极 端 场 景 的 混 合 ， 其 中 某 些 数 据 需 要 快 速 确 定 ， 而 其 他 数 据 可 以 离 线 处 理 。 在 S L A M 的 实 际 应 用 中 ， 仔 细 分 析 哪 些 数 据 需 要 以 何 种 频 率 确 定 是 极 其 重 要 的 ， 并 且 可 能 需 要 设 计 一 个 不 同 时 间 尺 度 的 层 次 结 构 来 估 计 这 些 数 据 。 1 . 3 . 1 我 们 是 否 真 的 需 要 机 器 人 中 的 S L A M ？ 从 上 述 描 述 来 看 ， S L A M 是 一 个 引 人 入 胜 但 非 常 具 有 挑 战 性 的 问 题 ， 其 复 杂 性 既 体 现 在 实 现 上 ， 也 体 现 在 需 要 在 资 源 受 限 的 平 台 上 实 现 快 速 运 行 。 因 此 ， 一 个 值 得 提 出 的 问 题 是 ： 我 们 是 否 可 以 开 发 不 依 赖 S L A M 的 复 杂 自 主 机 器 人 ？ 我 们 将 这 个 问 题 细 化 为 以 下 三 个 子 问 题 ： * * 问 题 1 ： 我 们 是 否 需 要 S L A M 来 完 成 所 有 机 器 人 任 务 ？ 本 节 开 头 提 到 ， S L A M 是 为 支 持 机 器 人 任 务 而 设 计 的 。 那 么 ， 一 个 自 然 的 问 题 是 ， S L A M 是 否 对 所 有 机 器 人 任 务 都 是 必 要 的 ？ 答 案 显 然 是 否 定 的 。 对 于 更 具 反 应 性 的 任 务 ， 例 如 保 持 目 标 在 视 线 内 ， 可 以 通 过 更 简 单 的 控 制 策 略 （ 例 如 视 觉 伺 服 ） 解 决 。 同 样 ， 如 果 机 器 人 仅 需 在 小 范 围 内 操 作 ， 依 赖 于 里 程 计 估 计 和 局 部 建 图 可 能 是 可 以 接 受 的 。 此 外 ， 如 果 机 器 人 的 操 作 环 境 中 有 用 于 定 位 的 基 础 设 施 ， 那 么 我 们 可 能 不 需 要 解 决 S L A M 。 然 而 ， S L A M 似 乎 是 机 器 人 在 非 结 构 化 （ 即 无 基 础 设 施 ） 环 境 中 进 行 长 期 操 作 的 必 要 组 成 部 分 ： 长 期 操 作 通 常 需 要 记 忆 （ 例 如 ， 回 到 之 前 看 到 的 物 体 或 找 到 合 适 的 无 碰 撞 路 径 ） ， 而 S L A M 构 建 的 地 图 表 示 可 以 提 供 这 种 长 期 记 忆 。 * * 问 题 2 ： 我 们 是 否 需 要 全 局 一 致 的 几 何 地 图 来 导 航 ？ S L A M 的 一 个 主 要 关 注 点 是 优 化 轨 迹 和 地 图 表 示 ， 使 其 在 度 量 上 准 确 （ 或 全 局 一 致 ） — — 这 正 是 S L A M 后 端 的 作 用 。 有 人 可 能 会 问 ， 度 量 精 度 是 否 真 的 必 要 。 一 个 替 代 方 案 是 仅 使 用 里 程 计 以 获 得 局 部 一 致 的 轨 迹 和 地 图 估 计 ； 这 种 方 式 可 以 避 免 回 环 检 测 和 后 端 优 化 的 需 求 。 不 幸 的 是 ， 由 于 漂 移 问 题 ， 里 程 计 不 足 以 支 持 长 期 操 作 ： 想 象 一 下 ， 机 器 人 访 问 了 建 筑 物 中 的 办 公 室 1 ， 然 后 在 探 索 了 其 他 区 域 后 访 问 了 办 公 室 3 ， 而 办 公 室 3 就 在 办 公 室 1 的 隔 壁 （ 见 图 1 . 5 ( a ) ） 。 仅 使 用 里 程 计 ， 机 器 人 可 能 会 误 以 为 办 公 室 1 和 办 公 室 3 相 距 很 远 （ 由 于 里 程 计 漂 移 ） ， 因 此 无 法 意 识 到 两 者 之 间 有 一 条 短 路 径 连 接 （ 见 图 1 . 5 ( b ) ） 。 一 个 稍 微 复 杂 一 些 的 替 代 方 案 是 构 建 拓 扑 地 图 。 拓 扑 地 图 可 以 被 视 为 一 个 图 ， 其 中 节 点 是 机 器 人 访 问 的 地 点 ， 边 表 示 连 接 这 些 地 点 的 可 通 行 性 （ 见 图 1 . 5 ( c ) ） 。 与 本 手 册 采 用 的 度 量 S L A M 视 角 不 同 ， 拓 扑 地 图 中 的 节 点 和 边 不 包 含 度 量 信 息 （ 距 离 、 方 位 、 位 置 ） ， 因 此 不 需 要 任 何 优 化 ： 只 需 在 机 器 人 经 过 两 个 地 点 时 （ 通 过 里 程 计 ） 或 地 点 识 别 模 块 发 现 地 点 重 叠 时 （ 回 环 检 测 ） 添 加 边 即 可 。 尽 管 这 种 方 法 看 似 合 理 ， 但 主 要 问 题 在 于 地 点 识 别 技 术 并 不 完 美 ， 更 根 本 地 讲 ， 不 同 地 点 可 能 看 起 来 相 似 （ 即 感 知 混 淆 现 象 ） 。 回 到 前 面 的 例 子 ， 如 果 办 公 室 1 和 办 公 室 3 看 起 来 非 常 相 似 ， 纯 拓 扑 方 法 可 能 会 错 误 地 认 为 它 们 是 同 一 个 办 公 室 （ 见 图 1 . 5 ( d ) ） 。 另 一 方 面 ， 度 量 S L A M 方 法 可 以 利 用 几 何 信 息 得 出 办 公 室 1 和 办 公 室 3 确 实 是 两 个 不 同 房 间 的 结 论 ， 同 时 为 用 户 提 供 一 组 更 强 大 的 工 具 ， 以 决 定 地 点 识 别 结 果 是 否 正 确 以 及 两 次 观 测 是 否 对 应 于 同 一 地 点 。 这 些 工 具 将 在 第 4 章 中 详 细 讨 论 。 * * 问 题 3 ： 我 们 是 否 需 要 地 图 ？ S L A M 构 建 的 地 图 可 以 直 接 被 查 询 、 检 查 和 可 视 化 。 正 如 我 们 将 在 第 6 章 中 看 到 的 ， 有 多 种 表 示 地 图 的 方 法 ， 包 括 三 维 点 云 、 体 素 、 网 格 、 神 经 辐 射 场 等 。 另 一 方 面 ， 可 以 采 取 完 全 不 同 的 方 式 ： 为 了 让 机 器 人 执 行 任 务 ， 机 器 人 可 以 被 训 练 为 将 原 始 传 感 器 数 据 直 接 转 换 为 行 动 （ 例 如 ， 使 用 强 化 学 习 ） ， 从 而 绕 过 构 建 地 图 的 需 求 。 在 这 种 方 法 中 ， 神 经 网 络 通 过 传 感 器 数 据 到 行 动 的 训 练 会 创 建 一 个 内 部 表 示 ， 但 这 种 内 部 表 示 无 法 直 接 查 询 、 检 查 或 可 视 化 。 关 于 地 图 是 否 必 要 ， 目 前 尚 无 定 论 ， 但 初 步 证 据 表 明 ， 使 用 地 图 作 为 中 间 表 示 至 少 在 完 成 许 多 机 器 人 视 觉 任 务 时 是 有 益 的 。 此 外 ， 地 图 的 好 处 在 于 其 适 用 于 多 种 任 务 ， 而 完 全 在 单 一 任 务 上 下 文 中 学 习 的 表 示 可 能 无 法 支 持 新 的 、 未 见 过 的 任 务 。 最 后 ， 我 们 注 意 到 在 某 些 应 用 中 ， 目 标 是 生 成 一 张 可 供 检 查 的 地 图 。 例 如 ， 在 搜 救 机 器 人 应 用 中 ， 提 供 一 张 地 图 以 帮 助 第 一 响 应 者 是 非 常 有 价 值 的 。 此 外 ， 在 机 器 人 以 外 的 多 个 领 域 （ 如 房 地 产 规 划 与 可 视 化 、 施 工 监 控 、 虚 拟 和 增 强 现 实 ） 中 ， 目 标 是 让 人 类 检 查 或 可 视 化 地 图 。 1 . 4 S L A M 的 过 去 、 现 在 和 未 来 ， 以 及 本 手 册 的 范 围 空 间 推 理 算 法 的 设 计 自 从 机 器 人 和 计 算 机 视 觉 研 究 的 诞 生 以 来 就 处 于 核 心 地 位 。 同 时 ， S L A M 研 究 不 断 演 进 ， 并 扩 展 到 新 的 工 具 和 问 题 领 域 。 1 . 4 . 1 简 短 的 历 史 回 顾 与 本 手 册 的 范 围 正 如 本 书 各 章 讨 论 的 那 样 ， S L A M 具 有 多 种 面 向 。 因 此 ， 其 历 史 也 是 多 方 面 的 ， 可 以 追 溯 到 不 同 的 科 学 领 域 。 从 观 测 和 测 量 中 创 建 世 界 地 图 是 历 史 上 最 古 老 的 挑 战 之 一 ， 这 导 致 了 大 地 测 量 学 （ 测 量 地 球 性 质 的 科 学 ） 和 测 绘 学 的 产 生 。 许 多 先 驱 者 为 这 一 领 域 做 出 了 贡 献 。 卡 尔 · 弗 里 德 里 希 · 高 斯 在 1 8 2 1 年 至 1 8 2 5 年 间 对 汉 诺 威 王 国 进 行 了 三 角 测 量 。 乔 治 · 埃 佛 勒 斯 特 爵 士 在 1 8 3 0 年 至 1 8 4 3 年 期 间 担 任 印 度 大 三 角 测 量 总 督 ， 因 而 世 界 上 最 高 的 山 峰 以 他 的 名 字 命 名 。 1 8 5 6 年 ， 卡 尔 · 马 克 西 米 利 安 · 冯 · 鲍 恩 芬 德 出 版 了 一 本 关 于 《 测 绘 元 素 》 的 标 准 著 作 ， 并 于 1 8 6 8 年 创 立 了 慕 尼 黑 工 业 大 学 ， 重 点 推 动 将 大 地 测 量 学 确 立 为 一 门 科 学 学 科 。 安 德 烈 路 易 斯 · 柯 列 斯 基 在 第 一 次 世 界 大 战 前 在 克 里 特 岛 和 北 非 进 行 测 绘 时 ， 发 展 了 著 名 的 柯 列 斯 基 矩 阵 分 解 法 。 视 觉 S L A M 问 题 与 摄 影 测 量 学 以 及 计 算 机 视 觉 中 的 运 动 结 构 重 建 问 题 密 切 相 关 ， 其 起 源 可 以 追 溯 到 1 9 世 纪 （ 详 见 第 8 章 ） 。 在 机 器 人 学 中 ， S L A M 的 起 源 通 常 追 溯 到 S m i t h 和 C h e s s m a n [ 2 3 9 ] 以 及 D u r r a n t W h y t e [ 7 9 ] 的 开 创 性 工 作 ， 以 及 C r o w l e y [ 6 0 ] 和 C h a t i l a 与 L a u m o n d [ 4 8 ] 的 平 行 研 究 。 S L A M 这 一 缩 写 于 1 9 9 5 年 在 综 述 论 文 [ 8 0 ] 中 首 次 提 出 。 这 些 早 期 工 作 提 出 了 两 个 基 本 见 解 。 第 一 个 见 解 是 ， 在 未 知 环 境 中 ， 为 了 避 免 漂 移 ， 必 须 同 时 估 计 机 器 人 的 位 姿 和 固 定 外 部 实 体 （ 例 如 地 标 ） 的 位 置 。 第 二 个 见 解 是 ， 可 以 利 用 估 计 理 论 中 的 现 有 工 具 ， 特 别 是 著 名 的 扩 展 卡 尔 曼 滤 波 器 （ E K F ） ， 在 描 述 机 器 人 位 姿 和 地 标 位 置 的 扩 展 状 态 上 进 行 估 计 ， 从 而 形 成 E K F S L A M 方 法 。 * * E K F S L A M 的 挑 战 E K F S L A M 方 法 非 常 流 行 ， 但 在 实 践 中 面 临 三 个 主 要 问 题 ： 1 . 对 异 常 值 和 数 据 关 联 错 误 的 敏 感 性 ： 这 些 错 误 可 能 源 于 地 点 识 别 或 物 体 检 测 的 失 败 ， 例 如 机 器 人 错 误 地 认 为 它 正 在 观 察 某 个 对 象 或 地 点 ， 而 实 际 上 是 在 观 察 另 一 个 可 能 看 起 来 相 似 的 对 象 或 地 点 。 如 果 这 些 虚 假 测 量 没 有 被 正 确 处 理 ， E K F S L A M 可 能 会 生 成 极 其 错 误 的 估 计 。 1 . 线 性 化 问 题 ： E K F 依 赖 于 机 器 人 运 动 和 传 感 器 观 测 方 程 的 线 性 化 。 在 实 践 中 ， 线 性 化 点 通 常 由 里 程 计 提 供 ， 当 里 程 计 漂 移 时 ， 线 性 化 系 统 可 能 无 法 很 好 地 近 似 原 始 非 线 性 系 统 ， 从 而 导 致 E K F S L A M 在 里 程 计 积 累 大 量 漂 移 时 发 散 。 1 . 计 算 复 杂 性 ： 卡 尔 曼 滤 波 器 的 直 接 实 现 会 导 致 计 算 复 杂 性 随 状 态 变 量 数 量 的 平 方 增 长 ， 这 是 由 于 需 要 操 作 密 集 的 协 方 差 矩 阵 。 在 基 于 地 标 的 S L A M 问 题 中 ， 地 标 的 数 量 可 能 达 到 数 千 个 ， 使 得 直 接 方 法 难 以 实 时 运 行 。 * * 粒 子 滤 波 的 突 破 为 了 解 决 这 些 问 题 ， 社 区 在 2 0 0 0 年 代 初 开 始 关 注 基 于 粒 子 滤 波 的 方 法 [ 1 7 8 , 2 3 8 , 1 0 3 ] ， 这 些 方 法 使 用 一 组 假 设 （ 或 粒 子 ） 来 建 模 机 器 人 轨 迹 ， 基 于 估 计 理 论 中 的 粒 子 滤 波 理 论 。 当 与 基 于 地 标 的 地 图 结 合 使 用 时 ， 这 些 模 型 能 够 处 理 大 量 地 标 （ 突 破 E K F 的 平 方 复 杂 性 ） ； 此 外 ， 它 们 使 得 密 集 地 图 模 型 （ 如 二 维 占 据 网 格 地 图 ） 的 估 计 更 加 容 易 。 这 些 方 法 也 不 依 赖 于 线 性 化 ， 对 异 常 值 和 数 据 关 联 错 误 的 敏 感 性 较 低 。 然 而 ， 它 们 仍 然 在 计 算 和 精 度 之 间 存 在 权 衡 ： 获 得 精 确 的 轨 迹 和 地 图 需 要 使 用 大 量 粒 子 （ 通 常 成 千 上 万 ） ， 但 粒 子 数 量 越 多 ， 计 算 量 也 越 大 。 特 别 是 在 三 维 问 题 中 ， 需 要 更 多 粒 子 覆 盖 可 能 的 机 器 人 位 姿 ， 这 会 加 剧 粒 子 耗 尽 问 题 。 * * 信 息 矩 阵 与 优 化 方 法 2 0 0 5 年 至 2 0 1 5 年 间 ， 一 个 关 键 见 解 推 动 了 S L A M 研 究 的 转 变 。 这 个 见 解 是 ， 虽 然 E K F 中 的 协 方 差 矩 阵 是 密 集 的 ， 但 其 逆 （ 即 信 息 矩 阵 ） 非 常 稀 疏 ， 并 且 当 保 留 过 去 的 机 器 人 位 姿 进 行 估 计 时 ， 稀 疏 性 模 式 具 有 可 预 测 性 [ 8 7 ] 。 这 使 得 可 以 设 计 近 似 线 性 复 杂 度 的 滤 波 算 法 ， 而 非 E K F 的 平 方 复 杂 度 。 这 一 见 解 最 初 应 用 于 类 似 E K F 的 方 法 （ 如 E I F ） ， 但 也 为 基 于 优 化 的 方 法 铺 平 了 道 路 。 优 化 方 法 最 早 在 S L A M 研 究 的 初 期 被 提 出 [ 1 6 2 ] ， 但 当 时 因 计 算 速 度 慢 而 被 忽 视 。 稀 疏 结 构 的 发 现 促 使 人 们 重 新 审 视 这 些 优 化 方 法 ， 并 使 其 在 在 线 情 况 下 更 加 可 扩 展 和 可 解 [ 6 5 , 1 2 6 ] 。 这 波 新 的 研 究 浪 潮 可 以 理 解 为 向 另 一 种 估 计 框 架 的 转 变 ： 最 大 似 然 估 计 和 最 大 后 验 估 计 。 这 些 框 架 将 估 计 问 题 重 新 表 述 为 优 化 问 题 ， 同 时 以 概 率 图 模 型 （ 特 别 是 因 子 图 ） 的 形 式 描 述 问 题 结 构 。 基 于 因 子 图 的 S L A M 方 法 至 今 仍 然 是 主 流 ， 并 且 塑 造 了 社 区 对 相 关 问 题 （ 如 视 觉 和 视 觉 惯 性 里 程 计 ） 的 思 考 方 式 。 优 化 视 角 不 仅 功 能 强 大 ， 还 允 许 比 以 往 更 深 入 的 理 论 分 析 （ 见 第 7 章 ） 。 此 外 ， 可 以 轻 松 证 明 ， E K F （ 在 适 当 的 线 性 化 点 上 ） 可 以 理 解 为 非 线 性 优 化 求 解 器 的 一 次 迭 代 ， 因 此 优 化 视 角 比 滤 波 方 法 更 强 大 。 * * 面 向 未 来 的 S L A M 优 化 视 角 似 乎 也 更 适 合 于 S L A M 的 最 新 扩 展 （ 将 在 本 手 册 第 I I I 部 分 描 述 ） ， 其 中 需 要 同 时 估 计 连 续 变 量 （ 描 述 场 景 几 何 ） 和 离 散 变 量 （ 描 述 场 景 语 义 ） 。 本 历 史 回 顾 截 至 2 0 1 5 年 ， 而 本 手 册 第 I I I 部 分 的 目 标 是 讨 论 包 括 “ 深 度 学 习 革 命 ” （ 始 于 2 0 1 2 年 ） 在 内 的 现 代 趋 势 ， 这 些 趋 势 逐 渐 渗 透 到 机 器 人 学 领 域 。 值 得 注 意 的 是 ， 以 上 历 史 回 顾 主 要 集 中 在 S L A M 的 后 端 （ 即 估 计 引 擎 ） ， 而 S L A M 前 端 的 发 展 则 源 于 多 个 领 域 的 工 作 ， 包 括 计 算 机 视 觉 、 信 号 处 理 和 机 器 学 习 。 基 于 上 述 考 虑 ， 本 手 册 将 主 要 关 注 基 于 因 子 图 的 S L A M 方 法 。 这 是 一 个 范 围 选 择 的 问 题 ， 并 不 削 弱 其 他 技 术 工 具 的 价 值 。 例 如 ， 截 至 本 手 册 编 写 时 ， 基 于 E K F 的 工 具 在 视 觉 惯 性 里 程 计 应 用 中 仍 然 流 行 （ 受 益 于 M o u r i k i s 和 R o u m e l i o t i s [ 1 8 0 ] 的 开 创 性 工 作 ） ， 并 且 新 型 估 计 框 架 （ 如 不 变 滤 波 器 [ 2 0 ] 和 等 变 滤 波 器 [ 9 0 ] ） 以 及 基 于 随 机 有 限 集 的 替 代 方 法 [ 1 8 1 ] 也 在 不 断 发 展 。 1 . 4 . 2 从 S L A M 到 空 间 人 工 智 能 （ S p a t i a l A I ） S L A M 的 核 心 关 注 点 是 估 计 环 境 （ 以 及 机 器 人 ） 的 几 何 特 性 。 例 如 ， S L A M 地 图 包 含 有 关 环 境 中 障 碍 物 的 信 息 、 两 个 位 置 之 间 的 距 离 和 可 通 行 路 径 ， 以 及 显 著 地 标 的 几 何 坐 标 。 从 这 个 意 义 上 说 ， S L A M 作 为 一 种 表 示 方 式 ， 对 于 机 器 人 理 解 和 执 行 诸 如 “ 机 器 人 ： 前 往 位 置 [ x , y , z ] ” 这 样 的 命 令 非 常 有 用 ， 其 中 [ x , y , z ] 是 机 器 人 需 要 到 达 的 地 点 或 物 体 在 地 图 坐 标 系 中 的 坐 标 。 然 而 ， 用 坐 标 指 定 目 标 对 于 非 专 业 的 人 类 用 户 来 说 并 不 合 适 ， 也 绝 不 是 我 们 与 人 类 互 动 或 为 其 指 定 目 标 的 方 式 。 因 此 ， 希 望 下 一 代 机 器 人 能 够 理 解 和 执 行 以 自 然 语 言 指 定 的 高 级 命 令 ， 例 如 ： “ 机 器 人 ： 把 浴 室 里 的 衣 服 捡 起 来 ， 送 到 洗 衣 房 。 ” 解 析 这 些 指 令 要 求 机 器 人 同 时 理 解 环 境 的 几 何 信 息 （ 例 如 ， 浴 室 在 哪 里 ） 和 语 义 信 息 （ 例 如 ， 什 么 是 浴 室 或 洗 衣 房 ， 哪 些 物 体 是 衣 服 ） 。 这 种 认 识 最 近 促 使 研 究 界 开 始 将 S L A M 视 为 更 广 泛 的 空 间 感 知 系 统 的 一 个 组 成 部 分 。 这 个 系 统 可 以 同 时 推 理 场 景 的 几 何 、 语 义 以 及 可 能 的 物 理 特 性 ， 从 而 构 建 一 种 多 层 次 的 地 图 表 示 （ 即 “ 世 界 模 型 ” ） ， 使 机 器 人 能 够 理 解 并 执 行 复 杂 的 指 令 。 由 此 产 生 的 空 间 人 工 智 能 （ S p a t i a l A I ） 算 法 和 系 统 有 望 显 著 提 高 机 器 人 的 自 主 能 力 ， 并 在 过 去 十 年 中 迅 速 发 展 。 直 观 地 说 ， 可 以 认 为 空 间 人 工 智 能 将 S L A M 作 为 一 个 子 模 块 （ 处 理 几 何 推 理 部 分 ） ， 但 增 加 了 额 外 的 语 义 推 理 能 力 。 这 使 得 机 器 人 能 够 完 成 任 务 规 划 的 闭 环 ， 如 图 1 . 7 所 示 ， 现 在 机 器 人 可 以 接 受 高 级 语 义 目 标 ， 而 不 是 运 动 目 标 的 坐 标 。 我 们 将 在 本 手 册 的 第 I I I 部 分 详 细 讨 论 空 间 人 工 智 能 。 * * 第 一 部 分 ： S L A M 基 础 第 一 部 分 涵 盖 S L A M 的 基 础 知 识 ， 特 别 关 注 用 于 S L A M 后 端 的 估 计 理 论 工 具 和 S L A M 可 以 生 成 的 不 同 类 型 的 地 图 表 示 。 具 体 来 说 ： * 第 2 章 介 绍 S L A M 的 因 子 图 表 示 ， 并 回 顾 如 何 通 过 迭 代 非 线 性 优 化 方 法 求 解 。 * 第 3 章 迈 出 了 不 可 或 缺 的 一 步 ， 将 该 表 示 扩 展 到 平 滑 流 形 上 的 变 量 估 计 ， 例 如 旋 转 和 位 姿 。 * 第 4 章 讨 论 了 如 何 在 S L A M 后 端 中 建 模 和 缓 解 异 常 值 和 数 据 关 联 错 误 的 影 响 。 * 第 5 章 回 顾 了 使 后 端 优 化 可 微 分 的 技 术 ， 这 是 连 接 传 统 S L A M 方 法 与 最 新 深 度 学 习 架 构 的 关 键 步 骤 。 * 第 6 章 将 重 点 从 后 端 转 移 到 密 集 地 图 表 示 的 问 题 ， 讨 论 S L A M 中 最 重 要 的 表 示 方 法 。 * 第 7 章 讨 论 了 更 高 级 的 求 解 器 和 S L A M 后 端 的 理 论 属 性 。 * * 第 二 部 分 ： S L A M 的 实 践 现 状 第 二 部 分 讨 论 S L A M 的 关 键 方 法 和 使 用 不 同 传 感 器 模 式 的 应 用 ， 展 示 了 现 代 S L A M 算 法 和 系 统 的 可 行 性 。 该 部 分 重 点 介 绍 传 感 器 依 赖 的 S L A M 前 端 设 计 以 及 当 前 技 术 的 应 用 范 围 ： * 第 8 章 回 顾 了 关 于 视 觉 S L A M 的 大 量 文 献 。 * 第 9 章 和 第 1 0 章 分 别 涵 盖 激 光 雷 达 S L A M 和 雷 达 S L A M 。 * 第 1 1 章 讨 论 了 基 于 事 件 相 机 的 S L A M 的 最 新 研 究 。 * 第 1 2 章 回 顾 了 如 何 将 惯 性 测 量 建 模 为 因 子 图 S L A M 系 统 的 一 部 分 ， 并 讨 论 了 基 本 限 制 （ 例 如 可 观 性 ） 。 * 第 1 3 章 讨 论 了 如 何 建 模 其 他 里 程 计 信 息 来 源 ， 包 括 轮 式 和 腿 式 里 程 计 。 * * 第 三 部 分 ： 未 来 趋 势 第 三 部 分 展 望 S L A M 的 最 新 研 究 现 状 和 未 来 趋 势 ， 涉 及 从 计 算 架 构 到 新 问 题 与 表 示 ， 以 及 语 言 和 基 础 模 型 在 S L A M 中 的 作 用 。 具 体 来 说 ： * 第 1 4 章 重 点 介 绍 空 间 人 工 智 能 未 来 的 计 算 架 构 ， 这 些 架 构 可 以 利 用 更 灵 活 和 分 布 式 的 计 算 硬 件 ， 并 更 好 地 支 持 跨 多 种 机 器 人 平 台 的 空 间 感 知 。 * 第 1 5 章 回 顾 了 通 过 在 S L A M 中 引 入 深 度 学 习 模 块 与 可 微 分 优 化 结 合 所 获 得 的 最 新 改 进 。 * 第 1 6 章 讨 论 了 使 用 新 型 地 图 表 示 （ 包 括 神 经 辐 射 场 （ N e R F s ） 和 高 斯 点 阵 ） 的 机 会 和 挑 战 。 * 第 1 7 章 涉 及 在 高 度 动 态 和 可 变 形 环 境 中 进 行 S L A M 的 最 新 研 究 ， 涵 盖 从 拥 挤 环 境 中 的 建 图 到 手 术 机 器 人 等 实 际 应 用 。 * 第 1 8 章 讨 论 了 空 间 人 工 智 能 和 度 量 语 义 地 图 表 示 的 进 展 。 * 第 1 9 章 探 讨 了 利 用 基 础 模 型 （ 例 如 大 型 视 觉 语 言 模 型 ） 带 来 的 新 机 遇 ， 以 及 它 们 在 创 建 新 型 地 图 表 示 中 的 作 用 ， 这 些 表 示 能 够 理 解 并 对 自 然 语 言 中 的 “ 开 放 词 汇 ” 指 令 进 行 语 义 锚 定 。 成 为 V I P 会 员 查 看 完 整 内 容 S L A M H a n d b o o k F r o m L o c a l i z a t i o n a n d M a p p i n g t o S p a t i a l I n t e l l i g e n c e 点 赞 并 收 藏 2 3 暂 时 没 有 读 者 3 8 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I G C · 人 工 智 能 · 1 1 月 1 8 日 A I G C 行 业 全 景 篇 ： 算 力 、 模 型 与 应 用 的 创 新 融 合 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 　 人 工 智 能 的 发 展 历 程 与 A I G C 的 市 场 机 遇 。 人 工 智 能 的 发 展 经 历 了 三 次 浪 潮 ， 从 最 初 的 逻 辑 推 理 和 专 家 系 统 ， 到 机 器 学 习 和 深 度 学 习 ， 人 工 智 能 技 术 不 断 演 进 。 A I G C 利 用 生 成 式 A I 技 术 ， 创 造 出 多 样 化 的 内 容 ， 展 示 出 巨 大 的 商 业 潜 力 。 A I G C 产 业 链 可 划 分 为 基 础 层 、 模 型 层 和 应 用 层 。 预 计 到 2 0 3 0 年 ， A I G C 市 场 规 模 将 增 至 9 8 1 0 亿 美 元 ， 推 动 全 球 经 济 增 长 4 . 9 万 亿 美 元 ， 累 计 产 生 的 经 济 影 响 达 到 1 9 . 9 万 亿 美 元 。 　 　 基 础 层 : A I G C 的 快 速 发 展 推 动 算 力 需 求 激 增 ， 算 力 存 储 网 络 成 为 投 资 的 主 赛 道 。 随 着 A I G C 技 术 的 快 速 发 展 ， 特 别 是 基 于 T r a n s f o r m e r 的 大 模 型 对 算 力 需 求 急 剧 增 加 ， 全 球 互 联 网 巨 头 纷 纷 加 大 对 A I G C 基 础 设 施 的 投 资 ， 以 推 动 创 新 和 保 持 竞 争 优 势 。 G P U 系 统 、 H B M 存 储 和 高 性 能 网 络 基 础 设 施 在 A I G C 计 算 中 发 挥 着 关 键 作 用 ， 满 足 了 对 高 速 并 行 计 算 的 需 求 ， 成 为 硬 件 基 础 设 施 投 资 的 主 赛 道 。 　 　 模 型 层 ： 算 法 进 步 、 性 能 成 本 优 化 与 商 业 模 式 多 元 化 的 融 合 。 A I G C 技 术 的 进 步 得 益 于 生 成 算 法 、 预 训 练 模 型 和 多 模 态 技 术 的 创 新 。 在 大 语 言 模 型 的 竞 争 中 ， 性 能 和 成 本 是 两 个 核 心 要 素 ， 性 能 的 提 升 和 成 本 的 降 低 使 得 A I G C 的 应 用 更 加 广 泛 。 A I G C 公 司 通 过 订 阅 服 务 、 A P I 接 入 等 多 元 化 商 业 模 式 来 拓 展 收 入 渠 道 ， 从 而 增 强 自 身 的 市 场 竞 争 力 。 随 着 企 业 逐 渐 认 识 到 A I G C 技 术 的 潜 力 ， 预 计 B 2 B 服 务 将 在 整 体 A I G C 市 场 中 占 据 主 导 地 位 。 全 球 大 语 言 模 型 市 场 将 显 著 增 长 ， O p e n A I 凭 借 C h a t G P T 的 成 功 在 市 场 上 处 于 领 先 地 位 ， 而 科 技 巨 头 如 微 软 、 亚 马 逊 和 谷 歌 也 正 通 过 技 术 创 新 和 产 品 整 合 来 追 赶 。 　 　 　 应 用 层 ： 技 术 创 新 应 用 推 动 市 场 发 展 和 行 业 变 革 。 A I G C 技 术 正 推 动 T o C 和 T o B 领 域 的 创 新 与 多 元 化 应 用 ， 覆 盖 C h a t b o t 、 社 交 、 游 戏 和 内 容 创 作 等 多 个 场 景 ， 并 在 企 业 层 面 提 供 提 高 效 率 、 降 低 成 本 的 解 决 方 案 。 在 电 子 设 备 领 域 ， A I G C 技 术 引 发 革 新 ， 特 别 是 在 智 能 手 机 、 汽 车 和 人 形 机 器 人 的 智 能 化 创 新 中 表 现 突 出 。 各 类 A I G C 应 用 爆 发 式 增 长 ， 其 中 A I 广 告 市 场 份 额 最 大 ， 药 物 研 发 、 网 络 安 全 和 I T 服 务 市 场 增 速 最 快 。 　 成 为 V I P 会 员 查 看 完 整 内 容 h t t p s : / / d a t a . e a s t m o n e y . c o m / r e p o r t / z w _ i n d u s t r y . j s h t m l ? i n f o c o d e = A P 2 0 2 4 1 1 1 5 1 6 4 0 9 1 4 7 8 0 A I G C 行 业 全 景 篇 ： 算 力 、 模 型 与 应 用 的 创 新 融 合 点 赞 并 收 藏 2 4 暂 时 没 有 读 者 3 3 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 书 籍 · 流 形 学 习 · 1 1 月 9 日 【 新 书 】 流 形 学 习 ： 工 程 中 的 模 型 降 维 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 这 本 开 放 获 取 的 书 籍 回 顾 了 非 线 性 模 型 降 阶 在 连 续 介 质 力 学 中 的 最 新 理 论 和 数 值 进 展 ， 适 合 硕 士 和 博 士 生 以 及 研 究 人 员 、 讲 师 和 指 导 者 阅 读 。 作 者 旨 在 提 供 工 具 ， 以 更 好 地 理 解 并 实 现 基 于 以 下 内 容 的 降 阶 模 型 ： 基 于 物 理 的 模 型 、 这 些 模 型 预 测 的 合 成 数 据 、 实 验 数 据 以 及 深 度 学 习 算 法 。 本 书 综 述 了 应 用 于 基 于 模 型 的 工 程 和 数 字 孪 生 的 关 键 模 型 降 阶 方 法 ， 通 过 学 习 线 性 或 非 线 性 的 潜 在 空 间 实 现 降 阶 。 基 于 投 影 的 降 阶 模 型 是 将 机 械 方 程 投 影 到 从 合 成 数 据 和 实 验 数 据 中 学 习 到 的 潜 在 空 间 中 。 书 中 的 应 用 和 综 述 章 节 展 示 了 结 构 化 数 据 在 模 型 降 维 中 的 多 种 描 述 和 表 示 。 基 于 图 像 的 数 字 孪 生 体 在 降 阶 的 设 置 中 被 开 发 ， 实 现 了 降 阶 模 型 的 制 造 组 件 预 测 形 状 变 化 对 机 械 效 应 的 影 响 。 类 似 的 工 作 流 程 被 扩 展 到 多 物 理 或 耦 合 问 题 ， 具 有 高 维 输 入 字 段 。 书 中 还 提 出 了 数 据 增 强 和 超 降 阶 的 实 用 技 术 ， 后 者 是 加 速 有 限 元 模 型 投 影 降 阶 的 关 键 点 。 本 书 提 供 了 可 在 g i t l a b . c o m 上 获 取 的 P y t h o n 库 ， 这 些 库 是 法 国 政 府 资 助 的 [ F U I 2 5 ] M O R D I C U S 研 究 项 目 的 一 部 分 。 类 似 于 计 算 机 视 觉 的 深 度 学 习 ， 深 度 学 习 用 于 模 型 降 阶 无 需 在 降 阶 模 型 之 前 设 计 参 数 化 问 题 。 这 种 方 法 对 于 基 于 图 像 的 建 模 或 多 物 理 建 模 非 常 相 关 。 成 为 V I P 会 员 查 看 完 整 内 容 h t t p s : / / l i n k . s p r i n g e r . c o m / b o o k / 1 0 . 1 0 0 7 / 9 7 8 3 0 3 1 5 2 7 6 4 7 M a n i f o l d L e a r n i n g M o d e l R e d u c t i o n i n E n g i n e e r i n g 点 赞 并 收 藏 2 2 暂 时 没 有 读 者 3 5 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 人 机 协 作 · 博 士 论 文 · 1 1 月 2 3 日 《 利 用 自 适 应 交 互 增 强 有 人 无 人 编 队 协 同 》 2 1 7 页 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 这 项 工 作 的 目 标 是 开 发 一 个 与 自 适 应 交 互 控 制 器 相 结 合 的 有 人 无 人 编 队 协 同 （ M U M T ） 框 架 ， 使 单 个 飞 行 员 能 够 与 多 个 无 人 机 （ U A V ） 协 同 工 作 ， 同 时 最 大 限 度 地 提 高 人 类 代 理 的 性 能 ， 并 将 其 精 神 负 担 保 持 在 可 接 受 的 水 平 。 通 过 使 用 混 合 主 动 交 互 （ M I I ） 概 念 来 解 决 这 一 问 题 ， 该 概 念 根 据 代 理 的 当 前 条 件 和 能 力 在 代 理 之 间 分 担 任 务 。 M I I 借 助 生 理 计 算 来 确 定 人 类 代 理 的 精 神 状 态 ， 并 采 用 自 动 规 划 技 术 在 不 确 定 情 况 下 通 过 顺 序 决 策 来 控 制 交 互 。 研 究 结 果 表 明 ， 与 非 适 应 性 实 验 条 件 相 比 ， 利 用 主 观 和 生 理 特 征 测 量 的 工 作 量 明 显 减 少 ， 而 人 类 代 理 在 适 应 性 实 验 条 件 下 的 表 现 也 明 显 提 高 。 这 些 研 究 结 果 表 明 了 所 提 出 的 自 适 应 交 互 控 制 方 法 如 何 在 提 高 性 能 的 同 时 减 少 操 作 员 的 工 作 量 ， 从 而 为 实 现 更 高 效 、 更 强 大 的 M U M T 铺 平 了 道 路 。 有 人 无 人 编 队 协 同 （ M U M T ） 可 以 理 解 为 多 个 代 理 的 合 作 团 队 ： 在 关 键 任 务 情 况 下 ， 多 个 无 人 驾 驶 飞 行 器 （ U A V ） 和 可 能 的 多 个 有 人 驾 驶 飞 机 共 同 行 动 。 因 此 ， 通 过 这 种 属 于 混 合 主 动 交 互 （ M I I ） 框 架 的 团 队 合 作 ， 为 未 来 人 类 与 多 无 人 机 的 交 互 提 出 了 一 个 新 的 视 角 。 为 了 设 计 混 合 动 力 系 统 ， 了 解 是 什 么 因 素 影 响 了 人 类 操 作 员 的 （ 精 神 ） 状 态 、 决 策 能 力 和 表 现 ， 尤 其 是 在 危 急 情 况 下 ， 这 一 点 非 常 重 要 。 从 M I I 的 角 度 来 看 ， 我 们 认 为 人 类 操 作 员 （ 飞 行 员 ） 并 不 是 一 个 万 无 一 失 的 团 队 操 作 员 。 例 如 ， 退 化 的 心 理 状 态 可 能 会 削 弱 人 类 代 理 在 任 务 执 行 过 程 中 的 能 力 。 因 此 ， 在 本 论 文 工 作 中 ， 我 们 研 究 了 生 理 计 算 和 人 工 智 能 算 法 ， 用 于 估 算 人 类 飞 行 员 在 困 难 任 务 条 件 下 与 无 人 机 团 队 互 动 时 的 心 理 状 态 （ 如 心 理 工 作 量 ） ， 以 便 调 整 代 理 的 互 动 ， 从 而 提 高 性 能 。 例 如 ， 根 据 人 类 飞 行 员 当 前 的 （ 精 神 ） 状 态 和 任 务 子 任 务 的 优 先 级 ， 可 以 选 择 是 否 触 发 无 人 机 请 求 。 因 此 ， 为 了 实 现 本 论 文 的 目 标 ， 这 项 工 作 首 先 要 了 解 和 评 估 人 类 飞 行 员 与 无 人 机 互 动 时 的 心 理 状 态 。 为 此 ， 我 们 开 发 了 一 个 在 搜 救 任 务 中 使 用 M U M T 的 场 景 ， 让 参 与 者 扮 演 一 名 与 三 架 无 人 机 合 作 的 飞 行 员 。 在 第 一 次 实 验 活 动 中 ， 我 们 设 计 了 诱 发 高 强 度 和 低 强 度 脑 力 劳 动 的 任 务 ， 并 通 过 自 我 报 告 、 行 为 和 生 理 测 量 （ 即 大 脑 、 心 脏 和 眼 球 运 动 特 征 ） 对 其 进 行 评 估 。 通 过 第 一 次 活 动 ， 我 们 ： ( i ) 根 据 生 理 信 号 确 定 了 脑 力 劳 动 负 荷 的 特 征 发 现 脑 力 劳 动 负 荷 对 所 有 测 量 指 标 都 有 显 著 影 响 ； ( i i ) 提 出 了 不 同 的 分 类 管 道 ， 在 单 独 使 用 心 脏 特 征 或 结 合 使 用 大 脑 和 眼 球 运 动 特 征 时 ， 分 类 准 确 率 平 均 从 最 佳 的 7 5 % 到 最 低 的 5 9 . 8 % 不 等 。 然 后 ， 在 这 些 结 果 的 基 础 上 ， 本 论 文 工 作 的 重 点 是 构 建 一 个 顺 序 决 策 系 统 ， 该 系 统 能 够 通 过 分 类 器 的 输 出 监 测 人 的 精 神 状 态 ， 并 选 择 适 当 的 行 动 来 调 整 互 动 ， 以 最 大 限 度 地 提 高 人 的 表 现 ， 最 终 提 高 任 务 成 果 。 考 虑 到 人 类 心 理 状 态 的 部 分 可 观 测 性 和 此 类 系 统 的 非 确 定 性 ， 我 们 在 部 分 可 观 测 马 尔 可 夫 决 策 过 程 （ P O M D P ） 框 架 下 构 建 了 这 项 工 作 。 P O M D P 模 型 旨 在 控 制 互 动 ， 其 参 数 是 利 用 第 一 次 实 验 活 动 中 收 集 的 所 有 数 据 和 相 关 分 类 结 果 近 似 得 出 的 。 在 模 拟 中 对 所 获 得 的 政 策 进 行 了 评 估 。 最 后 ， 本 论 文 工 作 的 结 论 是 在 第 二 次 实 验 活 动 中 对 这 种 基 于 P O M D P 的 交 互 控 制 策 略 进 行 性 能 和 心 理 工 作 量 管 理 方 面 的 评 估 。 在 这 次 实 验 中 ， 所 有 开 发 项 目 都 进 行 了 整 合 和 在 线 测 试 ： 生 理 特 征 的 提 取 和 处 理 、 人 类 精 神 状 态 的 估 计 以 及 交 互 的 适 应 。 主 观 结 果 显 示 ， 与 非 自 适 应 交 互 系 统 相 比 ， 在 使 用 自 适 应 方 法 时 ， 参 与 者 明 显 感 觉 工 作 量 减 少 。 在 自 适 应 条 件 下 ， 他 们 的 飞 行 得 分 也 明 显 提 高 。 这 些 研 究 结 果 表 明 了 基 于 P O M D P 的 自 适 应 交 互 控 制 如 何 在 提 高 性 能 的 同 时 减 少 操 作 员 的 工 作 量 ， 从 而 为 实 现 更 高 效 、 更 强 大 的 M U M T 铺 平 道 路 。 除 了 几 篇 短 文 外 ， 本 论 文 还 发 表 了 一 篇 期 刊 论 文 和 一 篇 会 议 论 文 。 关 于 论 文 的 结 构 ， 前 三 章 是 与 这 项 工 作 相 关 的 最 新 成 果 。 因 此 ， 第 一 章 介 绍 了 人 机 交 互 （ H R I ） 的 概 念 ， 并 讨 论 了 可 能 的 交 互 渠 道 、 H R I 如 何 定 义 与 交 互 相 关 的 自 主 性 以 及 人 工 代 理 的 局 限 性 。 人 机 交 互 的 概 念 在 “ 有 人 无 人 团 队 ” （ M a n n e d U n M a n n e d T e a m i n g ） 的 背 景 下 得 到 了 进 一 步 发 展 ， 并 深 入 探 讨 了 混 合 主 动 交 互 和 生 理 计 算 如 何 有 助 于 人 机 交 互 。 第 二 章 回 顾 了 心 理 状 态 评 估 文 献 ， 并 定 义 了 心 理 工 作 量 。 此 外 ， 还 详 细 介 绍 了 与 人 类 心 理 工 作 量 相 关 的 生 理 变 化 。 随 后 是 对 生 理 计 算 方 法 的 解 释 。 最 后 ， 回 顾 了 当 前 人 机 交 互 中 的 心 理 工 作 量 评 估 研 究 ， 并 重 点 介 绍 了 未 来 的 发 展 。 接 下 来 ， 第 三 章 概 述 了 人 工 智 能 （ A I ） 背 景 下 的 规 划 ， 并 介 绍 了 各 种 规 划 挑 战 和 影 响 规 划 模 型 选 择 的 因 素 。 这 延 伸 到 了 概 率 规 划 ， 特 别 是 部 分 可 观 测 马 尔 可 夫 决 策 过 程 （ P O M D P ） 。 最 后 ， 论 文 介 绍 了 解 决 P O M D P 的 各 种 方 案 。 第 四 章 是 论 文 的 贡 献 部 分 。 它 首 先 定 义 了 本 论 文 的 研 究 范 围 和 目 标 。 然 后 详 细 介 绍 了 实 验 设 计 、 实 施 、 采 集 、 处 理 和 分 析 工 具 。 本 章 还 介 绍 了 用 于 实 时 处 理 和 分 析 眼 动 跟 踪 数 据 的 应 用 程 序 。 第 五 章 详 细 介 绍 了 首 次 实 验 活 动 以 及 心 理 工 作 量 估 算 的 相 关 结 果 。 本 章 首 先 介 绍 了 第 一 次 实 验 活 动 ， 然 后 介 绍 了 数 据 的 收 集 和 处 理 。 此 外 ， 还 研 究 了 不 同 的 验 证 技 术 以 及 时 间 对 生 理 数 据 的 影 响 。 最 后 ， 对 结 果 进 行 了 分 析 和 讨 论 。 第 六 章 概 述 了 根 据 从 第 一 次 实 验 活 动 中 获 得 的 知 识 制 定 规 划 框 架 的 过 程 。 随 后 是 解 决 规 划 模 型 的 技 术 问 题 ， 以 获 得 控 制 M U M T 互 动 的 策 略 。 最 后 ， 使 用 内 部 模 拟 器 对 生 成 的 策 略 和 随 机 策 略 进 行 了 比 较 。 随 后 ， 第 七 章 旨 在 验 证 所 提 出 的 M U M T 自 适 应 交 互 方 法 。 该 章 详 细 介 绍 了 利 用 所 有 创 建 模 块 进 行 自 适 应 交 互 的 闭 环 设 计 。 最 后 ， 介 绍 了 第 二 次 实 验 活 动 ， 本 章 以 实 验 结 果 及 其 讨 论 结 束 。 最 后 ， 第 八 章 以 总 体 结 论 、 每 个 贡 献 的 具 体 发 现 以 及 对 未 来 方 向 和 改 进 的 展 望 结 束 论 文 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 2 3 暂 时 没 有 读 者 3 4 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 无 人 机 蜂 群 · 美 国 海 军 研 究 生 院 · 多 智 能 体 · 1 1 月 1 2 日 《 防 御 型 蜂 群 ： 基 于 智 能 体 的 建 模 分 析 》 1 2 2 页 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 偏 远 军 事 基 地 的 安 保 是 一 项 艰 巨 而 又 关 键 的 任 务 。 偏 远 地 区 通 常 离 敌 方 战 斗 人 员 更 近 ， 离 支 援 部 队 更 远 ； 负 责 保 卫 基 地 的 人 员 装 备 较 少 。 这 些 地 点 通 常 还 依 赖 空 中 补 给 任 务 来 维 持 任 务 的 准 备 状 态 和 有 效 性 。 本 论 文 分 析 了 小 型 自 主 无 人 机 群 如 何 协 助 防 御 行 动 。 为 此 ， 创 建 了 一 个 基 于 智 能 体 的 计 算 机 仿 真 模 型 ， 该 模 型 创 建 了 一 个 战 术 问 题 （ 敌 人 试 图 攻 击 或 渗 透 一 个 假 想 基 地 ） ， 无 人 机 群 试 图 抵 御 该 问 题 。 结 果 表 明 ， 如 果 每 架 无 人 机 负 责 覆 盖 的 范 围 不 超 过 0 . 1 8 平 方 英 里 ， 并 且 至 少 有 4 0 % 的 无 人 机 配 备 武 器 ， 那 么 蜂 群 可 以 有 效 阻 止 9 5 % 的 攻 击 者 。 结 论 是 ， 无 人 机 是 基 地 防 御 的 绝 佳 补 充 ， 尤 其 有 助 于 有 机 能 力 较 弱 （ 视 野 、 防 御 资 产 等 有 限 ） 的 偏 远 前 哨 。 虽 然 这 项 研 究 专 门 针 对 反 击 对 中 央 基 地 的 威 胁 ， 但 蜂 群 动 态 算 法 可 应 用 于 未 来 的 移 动 车 队 或 飞 机 防 御 问 题 ， 甚 至 和 平 时 期 的 搜 索 和 救 援 等 应 用 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 2 2 暂 时 没 有 读 者 3 4 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 词 向 量 · 多 模 态 嵌 入 · 大 型 语 言 模 型 · 多 模 态 表 示 学 习 · 自 然 语 言 处 理 · 1 1 月 1 1 日 从 词 向 量 到 多 模 态 嵌 入 ： 大 型 语 言 模 型 的 技 术 、 应 用 及 未 来 方 向 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 索 引 词 — 大 型 语 言 模 型 、 词 嵌 入 、 上 下 文 嵌 入 、 多 模 态 表 示 、 自 然 语 言 处 理 摘 要 — 词 嵌 入 和 语 言 模 型 通 过 将 语 言 元 素 表 示 在 连 续 向 量 空 间 中 ， 彻 底 改 变 了 自 然 语 言 处 理 （ N L P ） 。 本 综 述 回 顾 了 分 布 假 设 和 上 下 文 相 似 性 等 基 础 概 念 ， 追 溯 了 从 稀 疏 表 示 （ 如 o n e h o t 编 码 ） 到 密 集 嵌 入 （ 包 括 W o r d 2 V e c 、 G l o V e 和 f a s t T e x t ） 的 演 变 。 我 们 考 察 了 静 态 嵌 入 和 上 下 文 嵌 入 的 进 展 ， 重 点 介 绍 了 E L M o 、 B E R T 和 G P T 等 模 型 及 其 在 跨 语 言 和 个 性 化 应 用 中 的 适 配 。 讨 论 还 扩 展 到 句 子 和 文 档 嵌 入 ， 涵 盖 聚 合 方 法 和 生 成 式 主 题 模 型 ， 并 探 讨 嵌 入 在 多 模 态 领 域 （ 如 视 觉 、 机 器 人 和 认 知 科 学 ） 的 应 用 。 高 级 主 题 如 模 型 压 缩 、 可 解 释 性 、 数 值 编 码 和 偏 差 消 减 也 进 行 了 分 析 ， 涉 及 技 术 挑 战 和 伦 理 影 响 。 此 外 ， 我 们 还 确 定 了 未 来 的 研 究 方 向 ， 强 调 了 对 可 扩 展 训 练 技 术 、 增 强 解 释 性 以 及 在 非 文 本 模 态 中 稳 健 的 语 义 基 础 的 需 求 。 通 过 综 合 当 前 方 法 和 新 兴 趋 势 ， 本 综 述 为 研 究 人 员 和 从 业 者 提 供 了 一 个 深 入 的 资 源 ， 以 推 动 基 于 嵌 入 的 语 言 模 型 的 发 展 边 界 。 h t t p s : / / a r x i v . o r g / a b s / 2 4 1 1 . 0 5 0 3 6 I . 引 言 大 型 语 言 模 型 （ L L M s ） 通 过 提 供 先 进 的 工 具 来 理 解 和 生 成 人 类 语 言 ， 彻 底 改 变 了 自 然 语 言 处 理 （ N L P ） 领 域 。 这 些 模 型 的 核 心 是 词 嵌 入 — — 密 集 的 、 连 续 的 向 量 表 示 ， 用 于 捕 捉 单 词 之 间 的 语 义 和 句 法 关 系 。 通 过 将 单 词 映 射 到 高 维 空 间 中 ， 使 语 义 相 关 的 单 词 相 互 接 近 ， 词 嵌 入 支 持 了 细 致 的 语 言 理 解 ， 已 成 为 机 器 翻 译 、 情 感 分 析 和 信 息 检 索 等 N L P 应 用 的 关 键 。 词 嵌 入 从 早 期 的 o n e h o t 编 码 逐 渐 发 展 到 更 复 杂 的 W o r d 2 V e c 、 G l o V e 和 f a s t T e x t ， 大 大 提 升 了 语 言 模 型 的 准 确 性 和 可 扩 展 性 ， 使 其 能 够 高 精 度 地 处 理 大 量 文 本 数 据 [ 1 ] – [ 3 ] 。 诸 如 E L M o 、 B E R T 和 G P T 之 类 的 架 构 采 用 深 度 神 经 网 络 生 成 上 下 文 相 关 的 词 嵌 入 ， 解 决 了 多 义 词 等 复 杂 问 题 ， 并 捕 捉 到 语 言 中 的 长 距 离 依 赖 关 系 。 这 些 上 下 文 表 示 不 仅 增 强 了 N L P 系 统 的 准 确 性 和 稳 健 性 ， 还 支 持 了 语 言 与 其 他 模 态 （ 如 视 觉 和 机 器 人 技 术 ） 的 集 成 ， 使 得 更 复 杂 的 交 互 式 应 用 成 为 可 能 。 然 而 ， 尽 管 取 得 了 这 些 进 展 ， 嵌 入 模 型 在 效 率 、 可 解 释 性 和 伦 理 问 题 方 面 仍 存 在 挑 战 。 高 计 算 成 本 、 嵌 入 空 间 的 不 透 明 性 以 及 训 练 数 据 中 的 偏 差 传 播 风 险 ， 都 是 亟 待 研 究 的 领 域 [ 4 ] – [ 6 ] 。 本 文 回 顾 了 词 嵌 入 的 发 展 历 程 ， 探 讨 了 基 础 原 理 、 多 种 方 法 、 跨 模 态 应 用 以 及 关 键 挑 战 。 I I . 词 嵌 入 与 语 言 模 型 A . 基 础 概 念 分 布 假 设 ： 分 布 假 设 是 许 多 词 嵌 入 技 术 的 基 石 ， 认 为 在 相 似 上 下 文 中 出 现 的 词 往 往 具 有 相 似 的 含 义 [ 7 ] 。 该 假 设 允 许 将 词 表 示 为 连 续 空 间 中 的 向 量 ， 其 中 语 义 相 似 性 通 过 向 量 接 近 性 反 映 出 来 [ 8 ] 。 从 符 号 表 示 到 分 布 式 表 示 的 这 一 转 变 彻 底 改 变 了 N L P ， 使 信 息 检 索 、 机 器 翻 译 和 情 感 分 析 等 任 务 得 到 了 显 著 提 升 [ 9 ] 。 然 而 ， 分 布 假 设 存 在 局 限 性 ， 难 以 在 不 同 上 下 文 中 捕 捉 词 义 的 细 微 差 别 ， 特 别 是 对 于 多 义 词 的 处 理 ， 这 导 致 了 对 上 下 文 依 赖 表 示 的 需 求 [ 3 4 ] 。 此 外 ， 基 于 分 布 假 设 的 传 统 词 嵌 入 在 捕 捉 广 泛 的 语 义 和 句 法 关 系 方 面 虽 有 效 ， 但 计 算 代 价 高 且 容 易 出 现 维 度 灾 难 、 词 汇 外 （ O O V ） 词 问 题 和 特 定 领 域 的 过 拟 合 [ 1 5 ] 。 主 要 关 注 词 属 性 而 非 词 形 也 会 导 致 在 不 同 评 估 指 标 上 的 不 一 致 表 现 [ 1 3 ] ， 因 此 激 励 了 对 包 含 子 词 信 息 的 替 代 词 嵌 入 模 型 的 研 究 ， 特 别 是 对 于 形 态 丰 富 的 语 言 [ 2 7 ] 。 上 下 文 相 似 性 ： 上 下 文 在 消 除 词 义 歧 义 和 提 升 语 言 模 型 性 能 中 起 着 关 键 作 用 。 不 同 的 上 下 文 定 义 为 捕 捉 语 义 关 系 提 供 了 独 特 的 方 式 。 局 部 上 下 文 通 常 定 义 为 相 邻 词 的 滑 动 窗 口 ， 被 W o r d 2 V e c 等 模 型 用 于 通 过 预 测 邻 近 词 来 学 习 词 嵌 入 [ 1 0 ] 。 尽 管 高 效 ， 此 方 法 在 捕 捉 长 距 离 依 赖 方 面 存 在 局 限 。 句 子 级 上 下 文 考 虑 整 个 句 子 ， 允 许 L S T M R N N 等 模 型 整 合 更 全 面 的 信 息 ， 产 生 更 细 致 的 句 子 嵌 入 [ 1 1 ] 。 文 档 级 上 下 文 进 一 步 扩 展 了 范 围 ， 涵 盖 整 个 文 档 ， 这 对 于 文 档 分 类 和 表 示 顺 序 数 据 流 中 的 文 档 间 时 间 关 系 任 务 尤 为 有 利 [ 1 2 ] 。 由 E L M o 和 B E R T 等 模 型 生 成 的 上 下 文 化 词 嵌 入 直 接 将 上 下 文 信 息 整 合 到 词 表 示 中 ， 使 得 同 一 个 词 可 以 根 据 其 上 下 文 具 有 不 同 的 嵌 入 [ 3 5 ] 。 这 种 上 下 文 化 在 解 决 多 义 词 和 提 升 词 义 消 歧 （ W S D ） 任 务 性 能 中 至 关 重 要 。 例 如 ， 利 用 字 符 序 列 表 示 单 词 并 结 合 周 围 文 本 的 上 下 文 字 符 串 嵌 入 在 W S D 中 尤 其 有 效 ， 尤 其 是 在 命 名 实 体 识 别 任 务 中 [ 3 6 ] 。 此 外 ， 上 下 文 的 类 型 和 范 围 可 以 显 著 影 响 语 言 模 型 的 表 现 。 例 如 ， 尽 管 为 字 符 级 模 型 添 加 社 会 情 境 信 息 可 以 略 微 提 升 性 能 ， 但 可 能 会 对 基 于 词 嵌 入 的 模 型 产 生 不 利 影 响 ， 表 明 需 要 仔 细 评 估 上 下 文 与 嵌 入 类 型 的 相 互 作 用 [ 3 7 ] 。 这 推 动 了 对 精 细 化 上 下 文 选 择 策 略 和 数 据 增 强 技 术 的 研 究 ， 以 进 一 步 增 强 语 言 模 型 的 能 力 [ 3 8 ] 。 B . 从 稀 疏 表 示 到 密 集 表 示 O n e H o t 编 码 ： O n e H o t 编 码 将 词 表 示 为 稀 疏 的 高 维 向 量 。 词 汇 表 中 的 每 个 词 都 分 配 一 个 唯 一 向 量 ， 其 中 仅 有 一 个 元 素 为 1 ， 其 余 为 0 。 尽 管 简 单 ， 但 此 表 示 方 式 存 在 几 个 关 键 局 限 性 。 该 向 量 的 维 数 随 着 词 汇 表 大 小 线 性 增 长 ， 对 于 大 型 词 汇 表 来 说 维 数 极 高 [ 1 3 ] 。 这 导 致 极 高 的 稀 疏 性 ， 大 部 分 元 素 为 零 ， 使 得 计 算 效 率 低 且 资 源 密 集 [ 1 0 ] 。 此 外 ， O n e H o t 编 码 无 法 捕 捉 词 之 间 的 语 义 关 系 。 每 个 词 独 立 表 示 ， 无 法 反 映 词 间 的 相 似 性 或 关 系 。 这 是 一 个 重 大 限 制 ， 因 为 捕 捉 语 义 和 句 法 关 系 对 于 许 多 N L P 任 务 至 关 重 要 [ 3 9 ] 。 例 如 ， 正 如 [ 1 4 ] 中 讨 论 的 ， 在 n g r a m 语 言 模 型 中 ， 预 测 序 列 中 下 一 个 词 依 赖 于 词 共 现 。 如 果 某 些 词 从 未 共 现 ， 模 型 将 无 法 推 断 它 们 之 间 的 关 系 。 因 此 ， O n e H o t 编 码 未 能 捕 捉 有 效 语 言 建 模 和 其 他 N L P 任 务 （ 如 语 义 搜 索 、 知 识 库 问 答 和 机 器 翻 译 ） 所 需 的 上 下 文 相 似 性 [ 2 3 ] , [ 4 0 ] 。 词 嵌 入 ： 词 嵌 入 通 过 密 集 、 低 维 的 向 量 表 示 来 解 决 O n e H o t 编 码 的 局 限 性 ， 这 些 向 量 通 过 大 型 语 料 库 学 习 得 到 [ 1 0 ] 。 这 些 向 量 捕 捉 语 义 和 句 法 关 系 ， 将 单 词 映 射 到 连 续 的 向 量 空 间 中 ， 使 相 似 词 彼 此 接 近 [ 8 ] 。 这 种 布 置 符 合 分 布 假 设 ， 即 在 相 似 上 下 文 中 出 现 的 词 具 有 相 似 的 含 义 [ 4 1 ] 。 上 下 文 信 息 对 于 各 种 N L P 任 务 （ 如 词 相 似 度 测 量 [ 1 3 ] 、 类 比 求 解 [ 4 2 ] 、 文 档 检 索 [ 1 1 ] 和 机 器 翻 译 [ 3 0 ] ） 非 常 有 价 值 。 连 续 向 量 空 间 表 示 还 允 许 在 词 嵌 入 上 进 行 代 数 运 算 。 此 特 性 在 类 比 求 解 任 务 中 尤 为 有 用 ， 其 中 词 之 间 的 关 系 可 以 通 过 向 量 运 算 表 示 [ 4 3 ] 。 通 过 将 单 词 嵌 入 潜 在 空 间 ， 这 些 模 型 捕 捉 到 语 言 的 内 在 语 义 和 句 法 结 构 [ 1 5 ] 。 这 种 潜 在 表 示 特 别 有 利 于 下 游 任 务 （ 如 问 答 、 命 名 实 体 识 别 和 神 经 机 器 翻 译 ） ， 因 为 它 使 模 型 能 够 超 越 特 定 单 词 出 现 的 限 制 并 识 别 更 广 泛 的 语 义 关 系 。 与 O n e H o t 编 码 不 同 ， 词 嵌 入 缓 解 了 高 维 度 、 稀 疏 性 和 缺 乏 语 义 表 示 的 问 题 [ 3 4 ] , [ 3 9 ] 。 密 集 向 量 允 许 更 高 效 的 计 算 ， 使 模 型 能 够 基 于 大 规 模 文 本 语 料 库 的 分 布 特 性 学 习 复 杂 关 系 [ 2 6 ] 。 词 嵌 入 还 超 越 了 单 词 的 范 围 ， 能 够 表 示 短 语 甚 至 整 个 文 档 ， 如 [ 4 4 ] 和 [ 4 5 ] 中 所 示 。 这 种 多 功 能 性 使 得 词 嵌 入 成 为 广 泛 N L P 应 用 中 的 强 大 且 灵 活 的 工 具 。 C . 上 下 文 化 词 嵌 入 E L M o ： E L M o [ 1 6 ] 通 过 训 练 在 语 言 建 模 目 标 上 的 双 向 L S T M 来 生 成 上 下 文 化 的 词 表 示 。 与 静 态 词 嵌 入 （ 如 W o r d 2 V e c 和 G l o V e ） 为 每 个 词 分 配 单 一 向 量 （ 不 考 虑 上 下 文 ） 不 同 ， E L M o 生 成 基 于 词 周 围 文 本 的 动 态 嵌 入 。 此 上 下 文 敏 感 性 使 E L M o 能 够 捕 捉 微 妙 的 词 义 ， 并 消 除 多 义 词 的 歧 义 。 该 架 构 由 两 个 堆 叠 的 L S T M 层 组 成 ， 每 层 在 正 向 和 反 向 上 处 理 输 入 序 列 。 在 每 个 时 间 步 ， L S T M 的 内 部 状 态 通 过 加 权 平 均 组 合 以 形 成 上 下 文 化 的 词 表 示 。 双 向 L S T M 的 不 同 层 捕 捉 不 同 的 语 言 信 息 。 较 低 层 往 往 编 码 句 法 信 息 ， 而 较 高 层 聚 焦 于 语 义 信 息 。 不 同 的 层 合 并 方 式 可 以 在 下 游 任 务 训 练 过 程 中 学 习 ， 以 优 化 每 层 对 特 定 任 务 的 贡 献 。 B E R T 及 其 变 体 ： B E R T [ 1 7 ] 和 其 他 基 于 T r a n s f o r m e r 的 双 向 编 码 器 使 用 T r a n s f o r m e r 编 码 器 架 构 ， 并 在 两 个 目 标 上 进 行 预 训 练 ： 掩 码 语 言 建 模 （ M L M ） 和 下 一 个 句 子 预 测 （ N S P ） 。 M L M 在 输 入 序 列 中 随 机 掩 码 标 记 ， 并 训 练 模 型 根 据 周 围 上 下 文 预 测 被 掩 盖 的 词 。 N S P 训 练 模 型 判 断 两 句 给 定 句 子 是 否 在 原 始 文 本 中 连 续 。 这 些 目 标 使 B E R T 能 够 有 效 地 捕 捉 双 向 上 下 文 ， 解 决 了 之 前 模 型 依 赖 单 向 或 浅 双 向 表 示 的 局 限 性 。 B E R T 用 于 特 定 下 游 任 务 的 微 调 涉 及 在 预 训 练 编 码 器 之 上 添 加 任 务 特 定 层 ， 并 在 目 标 任 务 的 标 注 数 据 上 训 练 整 个 模 型 。 R o B E R T a [ 1 8 ] 通 过 移 除 N S P 目 标 、 使 用 更 大 的 批 量 和 更 多 数 据 训 练 ， 并 在 训 练 过 程 中 动 态 更 改 掩 码 模 式 来 修 改 B E R T 的 预 训 练 过 程 。 A L B E R T [ 1 9 ] 引 入 了 参 数 缩 减 技 术 ， 如 因 式 分 解 的 嵌 入 参 数 化 和 跨 层 参 数 共 享 ， 以 减 少 模 型 大 小 并 提 高 训 练 效 率 ， 同 时 保 持 性 能 。 这 些 变 体 解 决 了 与 B E R T 相 关 的 一 些 计 算 挑 战 ， 并 在 各 种 下 游 任 务 中 表 现 出 更 好 的 性 能 。 B E R T 及 其 变 体 通 过 基 于 上 下 文 生 成 不 同 的 词 嵌 入 来 处 理 多 义 词 。 M L M 目 标 通 过 利 用 周 围 的 上 下 文 来 帮 助 捕 捉 稀 有 词 的 含 义 。 然 而 ， 由 于 T r a n s f o r m e r 架 构 中 自 注 意 力 机 制 的 二 次 复 杂 性 ， 长 序 列 仍 然 会 带 来 挑 战 。 将 词 向 量 与 词 分 类 器 作 为 语 言 建 模 的 损 失 框 架 绑 定 [ 4 6 ] 也 被 探 索 过 ， 以 提 高 语 言 模 型 的 性 能 。 其 他 上 下 文 化 嵌 入 ： G P T 、 X L N e t 和 X L M ： G P T [ 2 0 ] 使 用 T r a n s f o r m e r 解 码 器 架 构 并 通 过 语 言 建 模 目 标 进 行 训 练 ， 预 测 序 列 中 的 下 一 个 词 。 这 种 自 回 归 方 法 捕 捉 了 单 向 依 赖 ， 限 制 了 其 捕 捉 完 整 双 向 上 下 文 的 能 力 。 X L N e t [ 2 1 ] 通 过 使 用 置 换 语 言 建 模 目 标 解 决 了 这 一 限 制 ， 该 目 标 在 训 练 过 程 中 考 虑 输 入 序 列 的 所 有 可 能 排 列 ， 从 而 允 许 它 在 保 持 自 回 归 形 式 的 同 时 捕 捉 双 向 上 下 文 。 X L M [ 2 2 ] 将 B E R T 扩 展 以 支 持 跨 语 言 训 练 ， 利 用 翻 译 语 言 建 模 目 标 来 学 习 跨 语 言 捕 捉 单 词 关 系 的 表 示 。 这 些 模 型 的 输 入 嵌 入 通 常 表 示 词 级 信 息 ， 而 输 出 嵌 入 编 码 上 下 文 化 表 示 。 绑 定 输 入 和 输 出 嵌 入 [ 4 6 ] 可 用 于 减 少 参 数 数 量 ， 并 可 能 提 高 性 能 。 在 不 同 的 上 下 文 中 探 索 使 用 输 出 嵌 入 来 改 进 语 言 模 型 ， 通 常 是 通 过 将 其 整 合 到 下 游 任 务 中 或 作 为 改 进 语 言 模 型 自 身 的 方 式 。 D . 子 词 级 词 嵌 入 与 泛 化 处 理 稀 有 词 和 未 见 词 的 子 词 信 息 ： 标 准 词 嵌 入 技 术 通 常 难 以 处 理 稀 有 词 和 未 见 词 ， 从 而 导 致 词 汇 外 （ O O V ） 问 题 ， 阻 碍 了 对 新 词 汇 的 泛 化 。 子 词 级 信 息 （ 如 字 符 n g r a m 和 词 素 ） 通 过 将 词 表 示 为 子 词 单 元 的 组 合 ， 为 解 决 此 限 制 提 供 了 一 种 方 法 。 采 用 这 种 方 法 ， 子 词 嵌 入 模 型 即 使 对 于 训 练 中 未 见 过 的 词 也 可 以 生 成 有 意 义 的 表 示 。 文 献 [ 2 3 ] 考 察 了 词 嵌 入 如 何 通 过 语 义 相 关 词 扩 展 查 询 ， 提 升 了 查 询 语 言 模 型 在 处 理 词 汇 不 匹 配 方 面 的 准 确 性 和 鲁 棒 性 。 在 此 基 础 上 ， 文 献 [ 2 4 ] 提 出 了 一 种 通 用 语 言 模 型 ， 利 用 词 嵌 入 解 决 信 息 检 索 中 的 词 汇 不 匹 配 问 题 。 该 模 型 将 查 询 词 的 观 测 视 为 一 个 两 步 过 程 ： 从 文 档 或 集 合 中 生 成 一 个 中 间 词 并 将 其 转 换 为 观 测 的 查 询 词 ， 从 而 有 效 地 捕 捉 词 间 关 系 并 缓 解 词 汇 不 匹 配 问 题 。 类 似 地 ， 文 献 [ 2 5 ] 引 入 了 一 种 子 词 级 向 量 模 型 ， 将 词 视 为 字 符 n g r a m 的 集 合 ， 使 其 能 够 为 稀 有 或 未 见 词 生 成 有 效 的 嵌 入 。 该 模 型 在 计 算 上 高 效 ， 易 于 训 练 ， 并 在 跨 多 种 语 言 的 词 相 似 性 和 形 态 句 法 任 务 上 展 示 了 最 先 进 的 性 能 。 文 献 [ 1 0 ] 提 出 了 一 个 简 化 方 法 ， 用 于 在 稀 有 或 未 见 词 上 训 练 词 嵌 入 ， 利 用 对 数 双 线 性 模 型 的 噪 声 对 比 估 计 。 这 种 方 法 比 之 前 的 模 型 更 快 、 更 高 效 ， 并 在 嵌 入 质 量 和 泛 化 方 面 表 现 出 更 佳 的 效 果 。 此 外 ， 文 献 [ 2 6 ] 提 供 了 对 词 嵌 入 模 型 的 广 泛 回 顾 ， 包 括 子 词 级 方 法 及 其 在 各 种 N L P 任 务 中 的 应 用 。 跨 语 言 词 嵌 入 和 低 资 源 语 言 ： 子 词 信 息 在 推 进 跨 语 言 词 嵌 入 ， 特 别 是 对 训 练 数 据 有 限 的 低 资 源 语 言 方 面 发 挥 着 重 要 作 用 。 通 过 捕 捉 跨 语 言 的 形 态 相 似 性 ， 子 词 级 模 型 可 以 为 形 态 相 关 的 词 学 习 共 享 表 示 ， 即 使 它 们 在 表 面 形 式 上 有 所 不 同 。 文 献 [ 2 7 ] 探 讨 了 词 嵌 入 中 的 通 用 和 语 言 特 定 属 性 ， 揭 示 了 词 形 特 征 对 屈 折 语 言 特 别 有 益 。 类 似 地 ， 文 献 [ 2 8 ] 研 究 了 基 于 双 语 词 典 派 生 的 跨 语 言 词 嵌 入 ， 以 增 强 低 资 源 语 言 的 语 言 模 型 。 该 方 法 应 用 于 永 宁 纳 语 ， 突 显 了 低 资 源 环 境 中 的 挑 战 和 潜 在 解 决 方 案 。 此 外 ， 文 献 [ 2 9 ] 开 发 了 一 个 支 持 1 0 0 多 种 语 言 的 语 言 无 关 B E R T 模 型 L a B S E ， 在 跨 语 言 任 务 中 设 立 了 新 的 基 准 。 L a B S E 利 用 多 语 种 和 单 语 数 据 ， 使 用 M L M 和 T L M 等 技 术 学 习 有 效 的 跨 语 言 句 子 嵌 入 。 最 后 ， 文 献 [ 3 0 ] 基 于 一 个 大 型 未 标 注 语 料 库 和 机 器 翻 译 词 对 齐 引 入 了 双 语 词 嵌 入 ， 通 过 跨 语 言 捕 捉 语 义 等 价 性 ， 在 机 器 翻 译 方 面 取 得 了 显 著 改 进 。 E . 个 性 化 词 嵌 入 建 模 个 体 语 言 差 异 ： 个 性 化 词 嵌 入 旨 在 捕 捉 个 体 在 词 语 使 用 和 语 言 偏 好 上 的 差 异 ， 超 越 了 标 准 的 通 用 表 示 。 这 些 嵌 入 可 以 提 升 语 言 模 型 在 定 制 到 特 定 用 户 的 任 务 中 的 表 现 。 文 献 [ 3 1 ] 研 究 了 个 性 化 词 嵌 入 在 语 言 建 模 中 的 价 值 ， 发 现 将 通 用 嵌 入 和 个 性 化 嵌 入 结 合 使 用 ， 能 实 现 4 . 7 % 的 困 惑 度 相 对 降 低 ， 从 而 提 升 了 模 型 性 能 。 他 们 还 观 察 到 ， 与 特 定 心 理 语 言 学 类 别 相 关 的 词 在 用 户 间 表 现 出 较 大 差 异 ， 表 明 个 性 化 模 型 在 预 测 此 类 词 方 面 特 别 具 有 优 势 。 此 外 ， 文 献 [ 3 2 ] 考 察 了 句 子 嵌 入 中 编 码 的 属 性 ， 为 词 频 和 位 置 距 离 等 因 素 在 模 型 对 内 容 和 词 序 编 码 中 的 影 响 提 供 了 见 解 。 他 们 关 于 句 子 层 次 上 个 体 语 言 差 异 的 发 现 ， 为 开 发 更 具 用 户 特 定 性 的 词 嵌 入 和 N L P 系 统 提 供 了 宝 贵 的 指 导 。 个 性 化 嵌 入 的 应 用 ： 个 性 化 词 嵌 入 已 在 多 种 N L P 任 务 中 展 现 出 效 用 。 文 献 [ 3 1 ] 展 示 了 个 性 化 嵌 入 在 作 者 归 属 上 的 潜 力 ， 表 明 其 可 以 有 效 捕 捉 独 特 的 写 作 风 格 。 文 献 [ 1 1 ] 引 入 了 基 于 用 户 点 击 数 据 训 练 的 L S T M R N N 模 型 ， 用 于 句 子 嵌 入 ， 强 调 个 性 化 嵌 入 在 用 户 特 定 文 档 检 索 系 统 中 的 应 用 ， 这 些 系 统 可 以 提 供 更 相 关 的 搜 索 结 果 和 量 身 定 制 的 推 荐 。 个 性 化 嵌 入 还 可 以 利 用 用 户 历 史 数 据 ： 文 献 [ 3 3 ] 提 出 了 一 种 用 户 嵌 入 模 块 （ U E M ） ， 将 用 户 历 史 压 缩 为 嵌 入 ， 作 为 提 示 嵌 入 到 语 言 模 型 中 。 这 种 方 法 在 个 性 化 语 言 任 务 上 带 来 了 改 进 ， 表 明 个 性 化 嵌 入 能 有 效 捕 捉 用 户 偏 好 和 兴 趣 ， 用 于 定 制 推 荐 和 用 户 画 像 。 图 1 展 示 了 本 节 讨 论 的 词 嵌 入 分 类 法 。 该 分 类 法 根 据 其 基 础 技 术 和 应 用 将 嵌 入 划 分 为 从 传 统 的 O n e H o t 编 码 和 密 集 词 嵌 入 到 高 级 的 上 下 文 化 和 个 性 化 嵌 入 。 成 为 V I P 会 员 查 看 完 整 内 容 h t t p s : / / a r x i v . o r g / a b s / 2 4 1 1 . 0 5 0 3 6 F r o m W o r d V e c t o r s t o M u l t i m o d a l E m b e d d i n g s : T e c h n i q u e s , A p p l i c a t i o n s , a n d F u t u r e D i r e c t i o n s F o r L a r g e L a n g u a g e M o d e l s 点 赞 并 收 藏 2 0 暂 时 没 有 读 者 3 6 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 人 工 智 能 · 自 主 决 策 · 博 士 论 文 · 1 1 月 2 1 日 《 面 向 多 计 算 系 统 的 人 工 智 能 自 主 决 策 》 3 3 0 页 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 随 着 人 工 智 能 （ A I ） 的 出 现 ， 基 于 个 人 经 验 和 判 断 进 行 行 动 和 思 考 的 自 主 概 念 为 未 来 的 自 主 决 策 铺 平 了 道 路 。 这 种 未 来 可 以 解 决 相 互 依 存 的 多 计 算 系 统 这 一 复 杂 领 域 的 问 题 ， 而 这 些 系 统 面 临 的 主 要 挑 战 是 ， 它 们 之 间 的 相 互 作 用 会 产 生 不 可 预 测 且 往 往 不 稳 定 的 结 果 。 为 相 互 依 存 计 算 系 统 设 想 和 设 计 人 工 智 能 驱 动 的 自 主 性 至 关 重 要 ， 它 涵 盖 了 从 物 联 网 （ I o T ） 到 网 络 安 全 等 各 种 用 例 。 这 可 以 通 过 克 隆 人 类 决 策 过 程 来 实 现 ， 克 隆 过 程 要 求 人 类 在 决 定 如 何 行 动 之 前 ， 先 感 知 未 知 的 随 机 环 境 ， 执 行 行 动 ， 最 后 评 估 感 知 到 的 反 馈 。 每 个 人 都 会 根 据 自 己 的 行 为 特 征 和 推 理 ， 主 观 地 评 估 反 馈 是 否 令 人 满 意 。 上 述 步 骤 的 重 复 迭 代 构 成 了 人 类 的 学 习 过 程 。 因 此 ， 其 核 心 思 想 是 将 人 类 的 认 知 注 入 到 相 互 依 存 的 计 算 系 统 中 ， 使 其 转 变 为 人 工 智 能 决 策 体 ， 模 仿 人 类 的 理 性 行 为 属 性 ， 自 主 优 化 其 主 观 标 准 。 无 人 驾 驶 飞 行 器 （ U A V ） 或 多 接 入 边 缘 计 算 服 务 器 （ M E C ） 等 相 互 依 赖 的 计 算 系 统 的 快 速 发 展 带 来 了 海 量 数 据 和 严 格 的 服 务 质 量 （ Q o S ） 要 求 。 当 这 些 系 统 以 自 主 方 式 行 动 时 ， 它 们 会 表 现 出 竞 争 行 为 ， 因 为 每 个 系 统 都 想 自 私 地 优 化 自 己 的 主 观 标 准 。 这 就 引 入 了 非 合 作 环 境 中 交 互 决 策 的 概 念 ， 即 每 个 系 统 的 反 馈 都 取 决 于 其 他 系 统 可 能 相 互 冲 突 的 行 动 。 因 此 ， 本 文 利 用 博 弈 论 来 有 效 捕 捉 非 合 作 环 境 中 相 互 依 赖 的 计 算 系 统 之 间 的 战 略 互 动 ， 并 证 明 存 在 解 决 方 案 ， 即 稳 定 的 均 衡 点 。 均 衡 点 被 认 为 是 稳 定 的 解 决 方 案 ， 因 为 每 个 系 统 都 没 有 单 方 面 改 变 自 身 行 动 的 战 略 动 机 。 为 了 以 分 布 式 方 式 确 定 这 些 均 衡 点 ， 我 们 采 用 了 强 化 学 习 （ R L ） 技 术 ， 该 技 术 可 使 相 互 依 存 的 自 主 计 算 系 统 在 随 机 环 境 中 利 用 自 身 行 动 和 经 验 的 反 馈 ， 通 过 试 错 进 行 智 能 学 习 。 此 外 ， 传 统 的 强 化 学 习 方 法 还 加 入 了 奖 励 重 塑 技 术 ， 通 过 契 约 理 论 考 虑 自 主 互 联 计 算 系 统 之 间 类 似 劳 动 经 济 学 的 安 排 ， 并 通 过 贝 叶 斯 信 念 模 型 考 虑 它 们 的 行 为 特 征 。 同 时 利 用 博 弈 论 和 强 化 学 习 与 奖 励 重 塑 技 术 ， 是 向 自 感 知 人 工 智 能 （ S A A I ） 迈 出 的 一 步 。 本 文 证 明 ， 它 极 有 可 能 成 为 构 建 基 于 人 工 智 能 的 自 主 决 策 相 互 依 赖 计 算 系 统 的 主 要 组 成 部 分 ， 并 能 有 效 地 应 用 于 各 种 应 用 领 域 。 图 1 . 1 ： 总 体 决 策 框 架 本 文 贡 献 点 本 文 首 先 分 析 了 所 使 用 的 数 学 工 具 的 理 论 基 础 。 此 外 ， 除 了 传 统 的 单 智 能 体 环 境 ， 还 引 入 了 多 个 非 集 中 式 低 复 杂 度 框 架 ， 根 据 人 工 智 能 原 理 将 相 互 依 存 的 多 智 能 体 计 算 系 统 转 化 为 自 主 决 策 者 。 在 多 智 能 体 应 用 环 境 中 ， 提 出 了 以 第 1 . 1 节 所 述 I D U 约 束 为 特 征 的 非 合 作 博 弈 ， 并 应 对 了 由 此 带 来 的 挑 战 。 具 体 来 说 ， 博 弈 论 与 强 化 学 习 的 融 合 带 来 了 新 颖 的 低 复 杂 度 分 布 式 学 习 框 架 。 此 外 ， 通 过 注 入 人 类 认 知 属 性 ， 传 统 的 R L 框 架 得 到 了 丰 富 ， 从 而 使 决 策 过 程 更 加 有 效 。 证 明 了 纳 什 均 衡 点 的 存 在 ， 并 表 明 基 于 人 工 智 能 的 自 主 相 互 依 存 计 算 系 统 能 够 接 近 这 些 均 衡 点 ， 而 无 需 集 中 式 闭 合 解 决 方 案 。 通 过 建 模 和 仿 真 ， 在 各 种 实 际 应 用 案 例 中 对 所 提 出 的 框 架 进 行 了 评 估 。 本 论 文 的 主 要 贡 献 如 下 。 1 . 引 入 了 新 颖 的 低 复 杂 度 分 布 式 决 策 框 架 ， 将 传 统 的 资 源 有 限 、 相 互 依 赖 的 计 算 系 统 转 变 为 自 主 、 智 能 的 计 算 系 统 。 我 们 研 究 了 两 种 情 况 ： ( a ) 完 整 信 息 情 景 ， 即 计 算 系 统 可 以 交 换 所 有 必 要 信 息 ， 并 以 分 布 式 方 式 收 敛 到 均 衡 点 ； 以 及 ( b ) 不 完 整 信 息 情 景 ， 即 利 用 强 化 学 习 让 智 能 相 互 依 赖 计 算 系 统 以 自 主 方 式 接 近 均 衡 点 。 对 这 两 种 情 况 下 的 运 行 性 能 进 行 了 实 证 评 估 。 2 . 在 处 理 非 合 作 博 弈 的 应 用 领 域 ， 通 过 证 明 博 弈 是 潜 在 的 或 子 / 超 模 的 方 式 ， 用 数 学 方 法 证 明 纳 什 均 衡 点 的 存 在 。 如 果 环 境 是 完 全 可 观 察 的 ， 则 采 用 传 统 的 闭 式 求 解 方 法 ， 如 最 佳 响 应 动 力 学 ， 反 之 ， 则 采 用 各 种 强 化 学 习 算 法 ， 从 经 验 上 接 近 纳 什 均 衡 点 。 3 . 通 过 利 用 契 约 理 论 和 贝 叶 斯 信 念 ， 将 人 类 认 知 和 行 为 特 征 分 别 纳 入 决 策 框 架 。 此 外 ， 当 在 信 息 不 对 称 的 环 境 中 运 用 契 约 理 论 时 ， 提 供 了 优 化 问 题 的 闭 式 激 励 解 的 完 整 证 明 ， 这 反 过 来 又 从 一 个 非 凸 问 题 正 式 转 化 为 一 个 凸 问 题 。 通 过 适 当 地 将 这 些 人 类 意 识 属 性 纳 入 奖 励 重 塑 的 强 化 学 习 框 架 ， 计 算 系 统 可 以 自 主 优 化 其 主 观 目 标 并 做 出 有 效 决 策 。 这 是 向 增 强 型 自 我 意 识 人 工 智 能 迈 出 的 一 步 。 4 . 除 了 多 智 能 体 设 置 ， 还 将 强 化 学 习 应 用 于 单 智 能 体 问 题 ， 例 如 离 线 深 度 强 化 学 习 ， 表 明 基 于 R L 的 决 策 智 能 体 比 许 多 替 代 策 略 （ 例 如 基 于 机 器 学 习 （ M L ） 的 方 法 ） 能 带 来 更 好 的 结 果 。 5 . 通 过 在 广 泛 的 应 用 领 域 进 行 大 规 模 模 拟 ， 对 所 提 出 的 决 策 方 法 进 行 了 实 证 评 估 ， 突 出 了 这 些 方 法 的 主 要 操 作 特 点 。 此 外 ， 还 引 用 了 与 其 他 方 法 的 详 细 比 较 评 估 ， 强 调 了 所 引 入 框 架 的 优 越 性 。 图 3 . 7 ： 移 动 边 缘 计 算 中 的 人 工 智 能 无 人 机 数 据 卸 载 框 架 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 2 0 暂 时 没 有 读 者 3 4 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 A I 与 军 事 · 资 源 与 需 求 匹 配 · 1 1 月 1 7 日 《 任 务 与 方 法 框 架 ( M M F ) 本 体 ： 将 军 事 资 产 与 任 务 目 标 相 匹 配 》 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 现 代 战 争 ， 无 论 是 侧 重 于 动 能 任 务 、 信 息 收 集 任 务 ， 还 是 这 两 种 任 务 的 组 合 ， 都 是 基 于 由 众 多 O W N F O R 和 O P F O R 实 体 执 行 的 众 多 任 务 序 列 。 为 了 应 对 战 争 的 复 杂 性 ， 专 业 作 战 人 员 多 年 来 一 直 遵 循 军 事 决 策 程 序 （ M D M P ） 。 通 过 这 种 方 法 ， 任 务 （ 包 括 条 件 和 标 准 ） 被 用 来 确 定 必 要 的 能 力 。 然 后 才 分 配 适 当 的 实 体 执 行 任 务 。 从 使 命 （ 即 任 务 ） 到 能 力 再 到 物 资 ， 形 成 了 清 晰 的 逻 辑 联 系 。 2 0 0 3 年 ， “ 任 务 与 手 段 框 架 ” （ M M F ） 作 为 M D M P 的 正 式 体 现 被 制 定 出 来 。 遗 憾 的 是 ， 在 许 多 物 资 研 究 中 ， 都 没 有 将 M D M P 作 为 a ] 明 确 说 明 军 事 任 务 和 b ] 定 量 评 估 替 代 产 品 和 服 务 的 任 务 效 用 的 逻 辑 基 础 。 最 大 的 挑 战 可 能 来 自 于 有 本 体 支 持 的 C 4 I S R 学 科 ， 在 这 些 学 科 中 ， 对 实 体 的 类 型 、 属 性 和 相 互 关 系 进 行 正 式 命 名 和 定 义 是 描 述 任 务 成 功 与 否 的 基 础 。 目 前 正 在 进 行 一 项 演 示 ， 利 用 多 用 途 多 层 面 框 架 来 规 划 、 监 控 和 评 估 作 战 测 试 和 支 持 开 发 活 动 的 执 行 情 况 。 最 近 ， 这 项 研 究 已 扩 大 到 支 持 M I N I D A S S （ 任 务 所 需 的 信 息 可 发 现 的 可 用 传 感 源 ） ， 这 是 一 项 I S R 信 息 生 成 方 法 计 划 ， 旨 在 明 确 态 势 了 解 与 任 务 成 功 之 间 的 关 系 。 这 种 单 一 的 集 成 式 M M F 本 体 方 法 对 研 究 、 需 求 、 测 试 、 培 训 和 分 析 活 动 具 有 重 大 影 响 ， 所 有 这 些 活 动 都 在 这 一 单 一 的 概 念 模 型 中 得 到 了 相 同 的 反 映 。 图 1 . 为 理 解 态 势 而 获 取 相 关 信 息 的 示 意 图 。 信 息 生 成 技 术 的 进 步 、 新 型 传 感 器 的 购 置 以 及 移 动 设 备 的 普 及 ， 导 致 产 生 了 大 量 数 据 ， 并 加 大 了 从 异 构 信 息 源 中 获 取 和 检 索 相 关 信 息 的 挑 战 。 此 外 ， 由 于 情 报 、 监 视 和 侦 察 （ I S R ） 资 源 的 数 量 和 能 力 有 限 ， 无 法 处 理 多 种 信 息 收 集 请 求 ， 因 此 有 必 要 最 大 限 度 地 利 用 这 些 资 源 ， 以 提 高 所 获 信 息 的 价 值 和 及 时 交 付 。 I S R 和 动 武 军 事 行 动 都 需 要 了 解 情 况 。 信 息 源 和 动 能 资 产 的 数 量 和 多 样 性 不 断 增 加 ， 使 作 战 行 动 越 来 越 具 有 挑 战 性 ； 在 联 军 环 境 中 尤 其 如 此 。 不 仅 I S R 和 动 能 资 产 更 加 分 散 ， 而 且 联 军 行 动 通 常 是 临 时 性 和 高 度 分 散 的 。 此 外 ， 不 同 的 联 盟 政 策 也 使 联 合 行 动 更 具 挑 战 性 。 在 本 文 中 ， I S R 资 产 是 指 任 何 可 向 消 费 者 （ 分 析 师 、 规 划 者 、 决 策 者 ） 提 供 信 息 的 信 息 源 、 生 产 者 或 容 器 。 它 可 以 是 一 个 物 理 传 感 器 、 一 个 可 收 集 数 据 的 人 为 来 源 或 一 个 可 检 索 信 息 的 信 息 容 器 （ 如 数 据 库 ） 。 图 1 显 示 了 为 理 解 态 势 而 获 取 信 息 的 高 级 外 化 过 程 。 这 一 周 期 的 起 点 是 需 要 了 解 态 势 ， 为 军 事 决 策 提 供 依 据 。 最 初 会 产 生 一 个 任 务 驱 动 的 信 息 查 询 。 需 要 一 个 人 机 界 面 来 翻 译 请 求 ， 以 便 计 算 机 能 够 理 解 。 然 后 ， 必 须 使 用 与 任 务 相 关 的 数 据 / 信 息 源 ； 需 要 发 现 这 些 数 据 / 信 息 源 ， 然 后 进 行 查 询 。 为 了 收 集 必 要 的 任 务 相 关 数 据 / 信 息 ， 需 要 对 信 息 进 行 相 关 性 过 滤 ， 然 后 进 行 提 取 。 提 取 的 数 据 / 信 息 随 后 可 通 过 各 种 数 据 分 析 功 能 进 行 处 理 ， 包 括 融 合 、 关 联 、 聚 合 等 。 然 后 ， 信 息 可 能 会 被 分 析 人 员 利 用 ， 并 传 播 给 包 括 决 策 者 在 内 的 信 息 消 费 者 。 表 征 的 关 键 要 素 包 括 必 须 与 特 定 使 命 / 任 务 相 关 联 的 信 息 查 询 机 器 理 解 所 需 的 信 息 信 息 源 （ I S R 资 产 ） 的 发 现 和 可 用 性 基 于 信 息 的 资 产 层 次 结 构 ， 包 括 融 合 引 擎 信 息 处 理 技 术 （ 包 括 P E D 、 处 理 、 利 用 和 传 播 ） 情 报 产 品 需 要 将 对 态 势 的 了 解 外 部 化 功 能 ， 使 手 段 提 供 的 能 力 与 任 务 要 求 的 能 力 相 匹 配 这 种 外 部 化 说 明 了 需 要 收 集 、 利 用 、 处 理 、 分 析 和 传 播 的 各 种 I S R 资 产 ， 以 提 高 对 局 势 的 认 识 和 决 策 能 力 。 在 面 对 多 种 信 息 请 求 时 ， 要 优 化 联 军 I S R 和 动 能 资 产 的 发 现 和 利 用 ， 并 通 过 为 用 户 收 集 与 任 务 相 关 的 信 息 来 加 强 从 数 据 到 决 策 的 过 程 ， 就 需 要 有 支 持 收 集 规 划 和 评 估 的 自 动 化 工 具 。 开 发 传 感 器 本 体 的 研 究 为 传 感 器 能 力 和 属 性 提 供 了 丰 富 的 语 义 描 述 ， 已 证 明 对 传 感 器 集 成 、 I S R 资 源 任 务 分 配 和 信 息 融 合 大 有 裨 益 。 这 一 领 域 的 工 作 可 作 为 基 础 加 以 利 用 和 扩 展 ， 以 满 足 我 们 的 研 究 要 求 。 在 我 们 的 工 作 中 ， 除 了 开 发 传 感 器 属 性 、 能 力 和 可 用 性 的 表 征 外 ， 我 们 还 在 开 发 由 不 同 信 息 源 产 生 的 不 同 类 型 信 息 的 正 式 表 征 ， 以 及 它 们 如 何 帮 助 弥 补 信 息 差 距 。 高 层 次 的 信 息 需 求 需 要 分 解 成 具 体 的 信 息 请 求 ， 并 根 据 这 些 本 体 的 概 念 进 行 表 达 ， 以 便 于 将 需 求 与 适 当 的 信 息 源 进 行 匹 配 。 这 些 模 型 与 适 当 的 推 理 方 案 相 结 合 ， 将 改 善 目 前 的 流 程 。 美 国 陆 军 研 究 实 验 室 （ A R L S E D D 、 C I S D 和 S L A D ） 和 A M S A A 正 在 就 优 化 I S R 和 动 能 资 产 的 效 用 以 满 足 任 务 需 求 开 展 相 关 研 究 工 作 。 这 项 研 究 工 作 的 重 点 是 开 发 一 个 “ 任 务 和 方 法 框 架 ” （ M M F ） ， 以 优 化 利 用 现 有 的 I S R 和 动 能 资 产 （ 手 段 ） 来 获 取 行 动 （ 任 务 ） 所 需 的 信 息 。 这 些 目 标 旨 在 加 强 对 态 势 的 理 解 。 本 文 介 绍 了 任 务 构 建 和 所 需 能 力 的 生 成 过 程 和 模 型 ， 以 及 本 体 论 的 开 发 过 程 ， 本 体 论 可 帮 助 确 定 有 哪 些 可 用 资 产 以 及 这 些 资 产 可 提 供 哪 些 能 力 来 满 足 任 务 所 需 能 力 。 在 本 文 中 ， 数 据 和 信 息 是 同 义 词 。 图 2 . 按 战 争 等 级 划 分 的 M O U T 任 务 布 局 。 一 般 来 说 ， 高 层 任 务 被 定 义 后 ， 部 分 任 务 会 传 递 给 下 层 任 务 执 行 和 / 或 进 一 步 分 解 。 蓝 色 虚 线 表 示 自 上 而 下 的 推 断 关 系 。 红 色 箭 头 表 示 时 间 向 前 推 移 。 图 3 任 务 循 环 示 意 图 。 第 4 层 的 任 务 通 过 O 4 , 1 操 作 器 启 动 第 1 层 的 交 互 。 O 1 , 2 操 作 器 改 变 第 2 层 组 件 的 状 态 。 第 3 层 计 算 出 新 的 能 力 ， 最 后 与 第 4 层 循 环 中 下 一 个 任 务 所 需 的 能 力 进 行 比 较 。 如 果 第 3 级 的 当 前 能 力 达 到 或 超 过 了 下 一 个 任 务 的 要 求 ， 则 流 程 继 续 。 一 个 任 务 周 期 （ 即 一 个 3 6 0 度 周 期 ） 从 开 始 到 通 过 O 3 , 4 操 作 员 进 行 最 终 能 力 / 任 务 比 较 ， 可 能 代 表 一 次 开 发 测 试 或 一 次 I S R 任 务 。 图 5 . M M F 的 对 立 力 量 与 时 间 前 向 操 作 器 一 起 显 示 。 请 注 意 ， O W N F O R （ 时 间 前 向 ） 操 作 器 顺 时 针 移 动 ； O P F O R 逆 时 针 移 动 。 成 为 V I P 会 员 查 看 完 整 内 容 原 文 点 赞 并 收 藏 2 2 暂 时 没 有 读 者 3 2 权 益 说 明 本 文 档 仅 做 收 录 索 引 使 用 ， 若 发 现 您 的 权 益 受 到 侵 害 ， 请 立 即 联 系 客 服 ( 微 信 : z h u a n z h i 0 2 ， 邮 箱 ： b d @ z h u a n z h i . a i ） ， 我 们 会 尽 快 为 您 处 理 登 陆 后 查 看 更 多 精 品 内 容 热 门 V I P 内 容 开 通 专 知 V I P 会 员 享 更 多 权 益 服 务 《 人 工 智 能 和 机 器 学 习 对 网 络 安 全 的 影 响 》 最 新 2 7 3 页 《 北 约 涡 扇 动 力 飞 行 器 的 低 噪 音 航 空 声 学 设 计 》 最 新 1 1 2 页 美 国 海 军 下 一 代 驱 逐 舰 D D G X ： 面 向 未 来 海 战 《 联 合 作 战 中 的 数 字 化 转 型 ： 数 字 孪 生 应 用 案 例 》 V I P 会 员 自 助 开 通 ( 推 荐 ) 客 服 开 通 详 情 本 周 荟 萃 主 题 区 块 链 区 块 链 （ B l o c k c h a i n ） 是 由 节 点 参 与 的 分 布 式 数 据 库 系 统 ， 它 的 特 点 是 不 可 更 改 ， 不 可 伪 造 ， 也 可 以 将 其 理 解 为 账 簿 系 统 ( l e d g e r ) 。 它 是 比 特 币 的 一 个 重 要 概 念 ， 完 整 比 特 币 区 块 链 的 副 本 ， 记 录 了 其 代 币 （ t o k e n ） 的 每 一 笔 交 易 。 通 过 这 些 信 息 ， 我 们 可 以 找 到 每 一 个 地 址 ， 在 历 史 上 任 何 一 点 所 拥 有 的 价 值 。 深 度 学 习 机 器 学 习 的 一 个 分 支 ， 它 基 于 试 图 使 用 包 含 复 杂 结 构 或 由 多 重 非 线 性 变 换 构 成 的 多 个 处 理 层 对 数 据 进 行 高 层 抽 象 的 一 系 列 算 法 。 机 器 学 习 “ 机 器 学 习 是 近 2 0 多 年 兴 起 的 一 门 多 领 域 交 叉 学 科 ， 涉 及 概 率 论 、 统 计 学 、 逼 近 论 、 凸 分 析 、 算 法 复 杂 度 理 论 等 多 门 学 科 。 机 器 学 习 理 论 主 要 是 设 计 和 分 析 一 些 让 可 以 自 动 “ 学 习 ” 的 算 法 。 机 器 学 习 算 法 是 一 类 从 数 据 中 自 动 分 析 获 得 规 律 ， 并 利 用 规 律 对 未 知 数 据 进 行 预 测 的 算 法 。 因 为 学 习 算 法 中 涉 及 了 大 量 的 统 计 学 理 论 ， 机 器 学 习 与 统 计 推 断 学 联 系 尤 为 密 切 ， 也 被 称 为 统 计 学 习 理 论 。 算 法 设 计 方 面 ， 机 器 学 习 理 论 关 注 可 以 实 现 的 ， 行 之 有 效 的 学 习 算 法 。 很 多 推 论 问 题 属 于 无 程 序 可 循 难 度 ， 所 以 部 分 的 机 器 学 习 研 究 是 开 发 容 易 处 理 的 近 似 算 法 。 ” — — 中 文 维 基 百 科 强 化 学 习 强 化 学 习 （ R L ） 是 机 器 学 习 的 一 个 领 域 ， 与 软 件 代 理 应 如 何 在 环 境 中 采 取 行 动 以 最 大 化 累 积 奖 励 的 概 念 有 关 。 除 了 监 督 学 习 和 非 监 督 学 习 外 ， 强 化 学 习 是 三 种 基 本 的 机 器 学 习 范 式 之 一 。 强 化 学 习 与 监 督 学 习 的 不 同 之 处 在 于 ， 不 需 要 呈 现 带 标 签 的 输 入 / 输 出 对 ， 也 不 需 要 显 式 纠 正 次 优 动 作 。 相 反 ， 重 点 是 在 探 索 （ 未 知 领 域 ） 和 利 用 （ 当 前 知 识 ） 之 间 找 到 平 衡 。 该 环 境 通 常 以 马 尔 可 夫 决 策 过 程 （ M D P ） 的 形 式 陈 述 ， 因 为 针 对 这 种 情 况 的 许 多 强 化 学 习 算 法 都 使 用 动 态 编 程 技 术 。 经 典 动 态 规 划 方 法 和 强 化 学 习 算 法 之 间 的 主 要 区 别 在 于 ， 后 者 不 假 设 M D P 的 确 切 数 学 模 型 ， 并 且 针 对 无 法 采 用 精 确 方 法 的 大 型 M D P 。 推 荐 系 统 推 荐 系 统 ， 是 指 根 据 用 户 的 习 惯 、 偏 好 或 兴 趣 ， 从 不 断 到 来 的 大 规 模 信 息 中 识 别 满 足 用 户 兴 趣 的 信 息 的 过 程 。 推 荐 推 荐 任 务 中 的 信 息 往 往 称 为 物 品 ( I t e m ) 。 根 据 具 体 应 用 背 景 的 不 同 ， 这 些 物 品 可 以 是 新 闻 、 电 影 、 音 乐 、 广 告 、 商 品 等 各 种 对 象 。 推 荐 系 统 利 用 电 子 商 务 网 站 向 客 户 提 供 商 品 信 息 和 建 议 ， 帮 助 用 户 决 定 应 该 购 买 什 么 产 品 ， 模 拟 销 售 人 员 帮 助 客 户 完 成 购 买 过 程 。 个 性 化 推 荐 是 根 据 用 户 的 兴 趣 特 点 和 购 买 行 为 ， 向 用 户 推 荐 用 户 感 兴 趣 的 信 息 和 商 品 。 随 着 电 子 商 务 规 模 的 不 断 扩 大 ， 商 品 个 数 和 种 类 快 速 增 长 ， 顾 客 需 要 花 费 大 量 的 时 间 才 能 找 到 自 己 想 买 的 商 品 。 这 种 浏 览 大 量 无 关 的 信 息 和 产 品 过 程 无 疑 会 使 淹 没 在 信 息 过 载 问 题 中 的 消 费 者 不 断 流 失 。 为 了 解 决 这 些 问 题 ， 个 性 化 推 荐 系 统 应 运 而 生 。 个 性 化 推 荐 系 统 是 建 立 在 海 量 数 据 挖 掘 基 础 上 的 一 种 高 级 商 务 智 能 平 台 ， 以 帮 助 电 子 商 务 网 站 为 其 顾 客 购 物 提 供 完 全 个 性 化 的 决 策 支 持 和 信 息 服 务 。 卷 积 神 经 网 络 在 深 度 学 习 中 ， 卷 积 神 经 网 络 （ C N N 或 C o n v N e t ） 是 一 类 深 度 神 经 网 络 ， 最 常 用 于 分 析 视 觉 图 像 。 基 于 它 们 的 共 享 权 重 架 构 和 平 移 不 变 性 特 征 ， 它 们 也 被 称 为 位 移 不 变 或 空 间 不 变 的 人 工 神 经 网 络 （ S I A N N ） 。 它 们 在 图 像 和 视 频 识 别 ， 推 荐 系 统 ， 图 像 分 类 ， 医 学 图 像 分 析 ， 自 然 语 言 处 理 ， 和 财 务 时 间 序 列 中 都 有 应 用 。 计 算 机 网 络 计 算 机 网 络 ( C o m p u t e r N e t w o r k s ) 指 将 地 理 位 置 不 同 的 多 台 计 算 机 及 其 外 部 设 备 ， 通 过 通 信 线 路 连 接 起 来 ， 在 网 络 操 作 系 统 及 网 络 通 信 协 议 的 管 理 和 协 调 下 ， 实 现 资 源 共 享 和 信 息 传 递 的 计 算 机 系 统 。 命 名 实 体 识 别 命 名 实 体 识 别 （ N E R ） （ 也 称 为 实 体 标 识 ， 实 体 组 块 和 实 体 提 取 ） 是 信 息 抽 取 的 子 任 务 ， 旨 在 将 非 结 构 化 文 本 中 提 到 的 命 名 实 体 定 位 和 分 类 为 预 定 义 类 别 ， 例 如 人 员 姓 名 、 地 名 、 机 构 名 、 专 有 名 词 等 。 机 器 翻 译 机 器 翻 译 ， 又 称 为 自 动 翻 译 ， 是 利 用 计 算 机 将 一 种 自 然 语 言 ( 源 语 言 ) 转 换 为 另 一 种 自 然 语 言 ( 目 标 语 言 ) 的 过 程 。 它 是 计 算 语 言 学 的 一 个 分 支 ， 是 人 工 智 能 的 终 极 目 标 之 一 ， 具 有 重 要 的 科 学 研 究 价 值 。 计 算 机 视 觉 计 算 机 视 觉 是 一 门 研 究 如 何 使 机 器 “ 看 ” 的 科 学 ， 更 进 一 步 的 说 ， 就 是 是 指 用 摄 影 机 和 电 脑 代 替 人 眼 对 目 标 进 行 识 别 、 跟 踪 和 测 量 等 机 器 视 觉 ， 并 进 一 步 做 图 形 处 理 ， 使 电 脑 处 理 成 为 更 适 合 人 眼 观 察 或 传 送 给 仪 器 检 测 的 图 像 。 作 为 一 个 科 学 学 科 ， 计 算 机 视 觉 研 究 相 关 的 理 论 和 技 术 ， 试 图 建 立 能 够 从 图 像 或 者 多 维 数 据 中 获 取 ‘ 信 息 ’ 的 人 工 智 能 系 统 。 关 注 我 们 专 知 指 南 · 建 议 反 馈 · 关 于 我 们 · 加 入 专 知 专 知 协 议 · 联 系 我 们 · © 2 0 1 9 专 知 滇 I C P 备 1 7 0 0 5 4 6 6 号 版 权 所 有 © 2 0 1 7 2 0 1 9 公 司 官 网 ： h t t p s : / / w w w . z h u a n z h i . a i     联 系 邮 箱 ： b d @ z h u a n z h i . a i 提 示 成 为 V I P 微 信 扫 码 咨 询 专 知 V I P 会 员 与 技 术 项 目 合 作 （ 加 微 信 请 备 注 : 专 知 ） 微 信 扫 码 咨 询 专 知 V I P 会 员 T o p

做上本站友情链接,在您站上点击一次,即可自动秒收录并自动排在本站第一位！
<a href="http://dy.qianwe.com/" target="_blank">前卫目录网</a>