前 行 的 皮 皮 前 行 的 皮 皮 好 奇 心 造 就 科 学 家 和 诗 人 搜 索 关 键 字 搜 索 首 页 关 于 打 赏 导 航 O n e C h a r t — 让 V L M 知 之 为 知 之 ， 不 知 为 不 知 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 4 2 5 分 类 : A I 科 学 评 论 论 文 ： O n e C h a r t : P u r i f y t h e C h a r t S t r u c t u r a l E x t r a c t i o n v i a O n e A u x i l i a r y T o k e n 主 页 及 d e m o ： h t t p s : / / o n e c h a r t t . g i t h u b . i o / 《 论 语 》 中 说 ： “ 知 之 为 知 之 ， 不 知 为 不 知 ， 是 知 也 ” 。 从 神 经 网 络 兴 起 以 来 ， 人 们 就 没 有 停 止 过 对 这 种 黑 盒 模 型 应 用 在 生 产 环 境 的 担 心 。 在 A I 1 . 0 中 大 部 分 模 型 还 至 少 会 输 出 一 个 置 信 度 得 分 可 供 参 考 ； 然 而 对 于 A I 2 . 0 时 代 的 V L M s 来 说 ， 所 有 的 结 果 以 文 本 的 形 式 吐 出 ， 这 加 重 了 人 们 对 模 型 安 全 性 的 焦 虑 。 让 模 型 知 道 自 己 的 能 力 边 界 ， 不 要 产 生 致 命 错 误 ， 这 点 十 分 必 要 ， 也 是 目 前 的 难 点 。 阅 读 剩 余 部 分 大 模 型 A g e n t 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 3 1 2 分 类 : A I 科 学 评 论 P a n e l G P T 💡 : 💁 🏼 🎤 ( 👾 💬 ) ( 🤖 💭 ) ( 🤯 🗯 ) 受 到 “ 三 个 臭 皮 匠 ， 赛 过 诸 葛 亮 ” 启 发 ， 设 计 o n e s h o t 的 例 子 ， 让 多 个 L L M 同 时 给 出 答 案 ， 然 后 再 用 一 个 L L M 打 分 ， 做 决 定 。 他 们 使 用 的 p r o m p t ： 3 e x p e r t s a r e d i s c u s s i n g t h e q u e s t i o n w i t h a p a n e l d i s c u s s i o n , t r y i n g t o s o l v e i t s t e p b y s t e p , a n d m a k e s u r e t h e r e s u l t i s c o r r e c t a n d a v o i d p e n a l t y : ， 这 个 p r o m p t 的 效 果 要 优 于 L e t s t h i n k s t e p b y s t e p : 。 T o T ： T r e e o f T h o u g h t s ， 结 合 P a n e l G P T ， 设 计 了 B F S 或 者 D F S 的 o n e s h o t 方 法 。 V L M 常 见 D a t a s e t 和 B e n c h m a r k 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 3 0 7 分 类 : A I 科 学 评 论 本 文 对 V L M 领 域 多 个 任 务 的 常 见 数 据 集 和 b e n c h m a r k 做 了 简 要 介 绍 ， 以 方 便 读 友 看 论 文 时 参 考 。 ⚠ ️ 注 意 ： 本 文 信 息 仍 在 时 常 更 新 中 阅 读 剩 余 部 分 V i s i o n E n c o d e r s i n V L M 作 者 : 孔 西 皮 时 间 : 2 0 2 4 0 1 2 8 分 类 : A I 科 学 评 论 S A M 好 比 在 视 网 膜 层 面 ， 能 力 是 很 l o w l e v e l 的 ， 举 个 例 子 它 可 以 对 图 片 信 息 进 行 简 单 的 切 分 ， 但 它 不 知 道 左 边 的 一 坨 像 素 和 右 边 的 一 坨 像 素 是 一 个 品 种 的 狗 。 D I N O v 2 好 比 大 脑 中 某 块 视 觉 区 ， 好 比 刚 出 生 不 久 的 婴 儿 ， 它 是 纯 视 觉 的 ， 可 以 完 成 视 觉 层 面 的 目 标 聚 类 ， 知 道 左 边 的 一 坨 像 素 和 右 边 的 一 坨 像 素 是 一 种 东 西 ， 但 没 有 语 言 系 统 不 知 道 这 种 东 西 叫 “ 金 毛 犬 ” 。 C L I P 就 是 更 近 一 步 ， 实 现 了 视 觉 和 语 言 的 关 联 ， 好 比 5 岁 的 小 孩 ； 然 而 由 于 数 据 、 训 练 方 式 、 输 入 分 辨 率 等 原 因 ， C L I P 没 正 经 读 过 书 看 过 图 表 ， 所 以 在 做 d e n s e O C R 任 务 时 V a r y 自 己 训 了 个 e n c o d e r ， 在 做 c h a r t 任 务 时 O n e c h a r t 也 自 己 训 了 个 e n c o d e r ， 好 比 让 小 孩 上 个 学 。 🐶 V i s i o n e n c o d e r s 百 花 齐 放 ， 与 d e c o d e r s 相 匹 配 。 当 d e c o d e r 是 L L M 时 ， 需 要 L L M 能 看 懂 的 e n c o d e r 。 V i s i o n L a n g u a g e 的 V i s i o n E n c o d e r s 1 . C L I P 2 0 2 1 . 2 . 2 6 论 文 ： L e a r n i n g T r a n s f e r a b l e V i s u a l M o d e l s F r o m N a t u r a l L a n g u a g e S u p e r v i s i o n （ O p e n A I i n I C M L 2 0 2 1 ） 如 下 图 所 示 ， 将 图 片 和 文 本 描 述 通 过 网 络 都 得 到 7 6 8 维 的 E m b e d d i n g ， 其 中 文 本 编 码 器 使 用 t r a n s f o r m e r ， 图 片 编 码 器 使 用 了 R e s N e t 和 V i T 两 种 结 构 进 行 实 验 ， V i T 的 有 4 个 模 型 ： 输 入 2 2 4 p x 的 V i T B / 3 2 , V i T B / 1 6 ( 1 9 6 t o k e n s ) , V i T L / 1 4 ( 2 5 6 t o k e n s ) ； 输 入 3 3 6 p x 的 V i T L / 1 4 ( 5 7 6 t o k e n s ) 。 预 训 练 使 用 了 4 0 0 M （ 4 亿 ） 个 图 像 文 本 对 ， 每 个 b a t c h 采 样 三 万 多 个 这 样 的 配 对 ， 通 过 对 比 学 习 ， 配 对 的 E m b e d d i n g 位 置 处 为 1 ， 非 配 对 处 为 0 进 行 交 叉 熵 损 失 训 练 。 在 测 试 时 支 持 z e r o s h o t 推 理 ， 如 下 面 右 图 所 示 ： 首 先 分 别 获 得 图 像 和 文 本 的 e m b e d d i n g ， 对 提 取 的 e m b e d d i n g 进 行 归 一 化 用 来 算 相 似 度 i m a g e _ f e a t u r e s / = i m a g e _ f e a t u r e s . n o r m ( d i m = 1 , k e e p d i m = T r u e ) , t e x t _ f e a t u r e s / = t e x t _ f e a t u r e s . n o r m ( d i m = 1 , k e e p d i m = T r u e ) 。 通 过 计 算 图 片 E m b e d d i n g 和 各 个 候 选 （ a p h o t o o f [ c l s _ n a m e ] ） 的 相 似 度 ， 相 似 度 大 于 某 个 阈 值 或 者 t o p k 的 为 输 出 类 别 结 果 。 阅 读 剩 余 部 分 初 学 多 模 态 大 模 型 ： p a p e r l i s t 和 笔 记 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 9 1 5 分 类 : A I 科 学 评 论 本 文 重 点 介 绍 了 一 些 V L M 早 期 的 代 表 性 工 作 。 其 中 ， C L I P 作 为 视 觉 语 言 模 型 （ V L M ） 的 基 础 和 开 山 之 作 ， 创 新 性 提 出 了 I T C 对 比 损 失 用 于 对 齐 图 片 级 视 觉 和 语 言 E m b e d d i n g ， 但 它 只 能 完 成 判 断 ， 无 法 完 成 生 成 式 任 务 。 之 后 B L I P 的 出 现 补 足 了 生 成 的 能 力 ， 后 来 F l a m i n g o 、 L L a V A 和 B L I P 2 进 一 步 充 分 利 用 了 L L M 的 生 成 能 力 ， 这 三 个 工 作 也 代 表 了 将 i m a g e e m b e d d i n g 接 入 到 L L M 的 三 种 典 型 的 “ A d a p t e r ” 方 法 分 别 是 ： X A t t n ( F l a m i n g o ) 、 Q F o r m e r ( B L I P 2 ) 和 M L P ( L L a V A ) 。 但 它 们 三 个 都 只 能 生 成 文 字 ， E m u 进 一 步 补 足 了 图 片 生 成 的 能 力 ， 并 创 新 性 提 出 了 一 种 自 回 归 图 片 t o k e n s 的 目 标 。 上 述 模 型 针 对 的 图 片 输 入 都 是 全 图 输 入 ， S h i k r a 和 c h a t S p o t 则 提 出 了 可 以 接 受 点 和 框 询 问 特 定 位 置 的 M L L M ， 这 种 能 力 被 称 为 R e f e r e n t i a l 对 话 的 能 力 。 D o n u t 和 N o g a t 则 特 别 针 对 O C R 任 务 提 出 。 ⚠ ️ 注 意 ： 本 文 信 息 几 乎 截 止 至 2 0 2 3 . 8 . 3 1 ， 部 分 内 容 已 缺 乏 时 效 性 ， 不 具 备 足 够 的 参 考 价 值 阅 读 剩 余 部 分 硬 件 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 9 1 1 分 类 : 信 息 技 术 评 论 电 机 选 型 减 速 直 流 电 机 这 种 电 机 的 几 个 重 要 参 数 如 下 ， 转 速 ， 单 位 为 转 每 分 钟 。 例 如 你 需 要 先 确 定 你 想 要 的 小 车 的 行 驶 速 度 ， 然 后 测 量 轮 胎 的 周 长 ， 最 后 换 算 出 需 要 的 转 速 ， 例 如 5 0 0 转 / m i n ； 额 定 电 压 。 用 标 称 电 压 7 . 4 v 的 锂 电 池 的 话 电 压 范 围 是 6 v ~ 8 . 4 v ， 所 以 一 般 选 6 v 的 电 机 ； 减 速 比 。 这 个 关 系 到 力 矩 大 小 ， 减 速 比 越 大 ， 力 矩 越 大 。 力 矩 太 小 的 电 机 用 作 小 车 轮 胎 的 电 机 时 会 走 不 动 。 例 如 同 样 是 5 0 0 转 / m i n 的 两 个 电 机 ， 电 机 A 为 1 5 0 0 0 转 ， 转 速 比 3 0 : 1 ， 经 测 量 它 的 空 载 电 流 为 3 0 m A ， 堵 转 电 流 为 3 5 0 m A 。 而 电 机 B 为 2 5 0 0 0 转 ， 减 速 比 5 0 : 1 ， 经 测 量 它 的 空 载 电 流 为 1 5 0 m A ， 堵 转 电 流 为 2 A 。 用 作 小 车 轮 胎 应 选 电 机 B 。 电 机 驱 动 电 路 单 片 机 引 脚 输 出 的 电 流 最 大 为 2 0 m A 左 右 ， 远 远 不 能 满 足 电 机 的 电 流 需 求 ， 因 此 需 要 电 机 驱 动 电 路 。 常 用 的 驱 动 电 路 有 H 桥 电 路 ， 它 比 较 复 杂 和 庞 大 ， 一 般 用 于 控 制 几 十 安 的 电 机 。 对 于 较 小 电 流 电 机 ， 可 以 直 接 选 择 集 成 芯 片 ， 如 R Z 7 8 9 9 ， 一 个 芯 片 可 以 驱 动 一 个 电 机 ， 需 要 注 意 的 参 数 为 工 作 电 压 、 输 出 最 大 电 流 。 绘 制 原 理 图 时 ， 参 考 芯 片 手 册 中 提 供 的 应 用 电 路 进 行 绘 制 。 单 片 机 引 脚 连 接 芯 片 的 中 间 可 以 放 一 个 3 0 0 欧 的 电 阻 ， 起 到 保 护 单 片 机 和 芯 片 的 作 用 。 芯 片 输 入 引 脚 接 1 0 k 的 下 拉 电 阻 到 G N D ， 让 芯 片 不 接 单 片 机 时 不 受 外 来 信 号 的 影 响 ， 即 默 认 输 入 L L 让 电 机 处 于 浮 空 状 态 。 电 机 正 负 极 两 端 接 一 个 1 0 4 电 容 ， 避 免 火 花 。 单 目 标 跟 踪 S O T 常 用 评 价 指 标 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 7 1 2 分 类 : A I 科 学 评 论 O n e P a s s E v a l u a t i o n ( O P E ) 用 g r o u n d t r u t h 中 目 标 的 位 置 初 始 化 第 一 帧 ， 然 后 运 行 跟 踪 算 法 得 到 平 均 精 度 和 成 功 率 。 这 种 方 法 被 称 为 o n e p a s s e v a l u a t i o n ( O P E ) 。 这 是 最 常 用 的 评 估 方 法 ， 指 标 包 括 曲 线 和 数 值 指 标 。 最 早 由 O T B 数 据 集 提 出 。 1 . s u c c e s s 、 p r e c i s i o n 曲 线 这 两 种 曲 线 可 以 说 是 几 乎 所 有 论 文 都 在 用 的 ， s u c c e s s p l o t o f O P E 这 主 要 考 察 的 是 重 叠 率 ， 横 坐 标 是 i o u 阈 值 ， 纵 坐 标 是 成 功 的 比 例 。 p r e c i s i o n p l o t o f O P E 这 主 要 是 衡 量 预 测 与 g t 的 中 心 之 间 的 距 离 ， 横 坐 标 是 像 素 ， 纵 坐 标 是 成 功 的 比 例 。 2 . 数 值 指 标 O v e r l a p S u c c e s s R a t e ( O S R ) ， 与 s u c c e s s p l o t 对 应 ， 越 大 越 好 ， O S R 代 表 预 测 框 和 g t 的 I o U 大 于 阈 值 $ \ \ b e t a $ 的 比 例 ， 大 部 分 数 据 集 $ \ \ b e t a = 0 . 5 $ 。 D i s t a n c e P r e c i s i o n R a t e ( D P R ) ， 与 p r e c i s i o n p l o t 对 应 ， 越 大 越 好 ， D P R 代 表 预 测 框 的 中 心 和 g t 框 中 心 的 距 离 小 于 阈 值 $ \ \ a l p h a $ 的 比 例 ， 大 部 分 数 据 集 $ \ \ a l p h a = 5 $ ， 少 数 是 2 0 。 A U C : a r e a u n d e r c u r v e 成 功 率 图 的 曲 线 下 面 积 ， 成 功 率 图 指 随 着 $ b e t a $ 的 变 化 ， O S R 的 变 化 曲 线 图 。 越 大 越 好 。 O P 5 0 ： $ \ \ b e t a = 0 . 5 $ 时 的 O S R 。 越 大 越 好 。 O P 7 5 ： $ \ \ b e t a = 0 . 7 5 $ 时 的 O S R 。 越 大 越 好 。 阅 读 剩 余 部 分 大 一 统 目 标 跟 踪 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 6 2 8 分 类 : A I 科 学 评 论 跟 踪 中 的 任 务 主 要 有 ： 多 目 标 跟 踪 （ M u l t i O b j e c t T r a c k i n g , M O T ） 单 目 标 跟 踪 （ S i n g l e O b j e c t T r a c k i n g , S O T ） 多 目 标 跟 踪 分 割 ( M u l t i O b j e c t T r a c k i n g a n d S e g m e n t a t i o n , M O T S ) 视 频 目 标 分 割 ( V i d e o O b j e c t S e g m e n t a t i o n , V O S ) 这 里 ， 我 暂 时 先 不 关 心 分 割 的 任 务 。 以 下 是 M O T 和 S O T 的 对 比 ： T a s k s R e f e r e n c e C l a s s T r a c k s p e r v i d e o T y p i c a l I n p u t s R e p r e s e n t a t i v e M e t h o d s M O T N o s p e c i f i c T e n s o r h u n d r e d s H i g h r e s o l u t i o n W h o l e I m a g e D e t e c t i o n + A s s o c i a t i o n S O T I n i t i a l b o x a g n o s t i c O n e S m a l l s e a r c h r e g i o n O n e S h o t D e t e c t i o n 可 以 看 到 两 个 任 务 之 间 的 g a p 还 是 比 较 大 的 ， 总 结 一 下 ， 阻 碍 S O T 和 M O T 两 个 任 务 统 一 的 主 要 有 三 座 大 山 ： 被 跟 踪 目 标 的 属 性 不 同 （ 参 考 帧 给 定 的 一 个 ， 任 意 类 别 的 目 标 V S 几 十 几 百 个 特 定 类 别 的 目 标 ） ； S O T 和 M O T 关 注 的 对 应 关 系 不 同 （ S O T 关 注 目 标 和 背 景 的 区 分 ， M O T 关 注 目 标 和 轨 迹 的 对 应 ） ； 不 同 的 输 入 （ S O T 输 入 为 小 的 搜 索 范 围 ， 以 节 省 计 算 量 和 消 除 潜 在 的 干 扰 ； M O T 输 入 为 高 分 辨 率 的 全 图 ， 以 尽 可 能 检 测 到 所 有 实 例 ） 。 大 一 统 的 目 标 跟 踪 这 里 是 指 ， 仅 需 要 一 套 模 型 及 参 数 ， 就 可 以 在 各 个 任 务 上 取 得 优 异 的 表 现 。 我 将 介 绍 两 个 工 作 的 这 部 分 内 容 ， 看 看 它 们 是 怎 么 翻 过 这 些 大 山 的 。 阅 读 剩 余 部 分 台 式 机 + 轻 薄 本 ： A I 从 业 者 的 最 佳 设 备 配 置 指 南 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 5 0 9 分 类 : 信 息 技 术 评 论 作 为 一 名 A I 从 业 者 ， 你 选 购 电 脑 是 否 有 过 这 样 的 苦 恼 ： 轻 薄 本 便 携 续 航 久 ， 但 G P U 和 散 热 弱 ； 游 戏 本 G P U 比 较 强 ， 但 比 较 重 、 续 航 短 ； 台 式 机 高 配 置 、 硬 盘 空 间 大 ， 但 不 能 带 出 门 ； 商 业 的 G P U 服 务 器 租 赁 要 不 就 是 使 用 有 要 求 ， 要 不 就 是 贵 的 离 谱 ， 还 要 担 心 商 家 提 桶 跑 路 o r 涨 价 o r 欠 费 停 机 数 据 被 删 。 作 为 一 个 成 熟 但 财 力 有 限 的 开 发 者 ， 想 全 都 要 ， 比 较 好 的 一 种 方 式 是 买 轻 薄 本 + 台 式 机 。 但 拥 有 多 台 设 备 后 ， 依 然 存 在 一 些 痛 点 问 题 ， 比 如 资 料 分 散 在 两 台 电 脑 、 出 门 在 外 依 然 难 以 查 看 实 验 结 果 。 本 文 博 主 以 自 身 经 验 为 例 ， 给 出 轻 薄 本 + u b u n t u 台 式 机 + f r p s s h 的 配 置 指 南 ， 供 大 家 选 择 性 参 考 。 阅 读 剩 余 部 分 D E T R 系 列 算 法 作 者 : 孔 西 皮 时 间 : 2 0 2 3 0 4 0 4 分 类 : A I 科 学 评 论 D e t e c t i o n T r a n s f o r m e r 是 从 2 0 2 0 年 开 始 的 一 种 全 新 的 端 到 端 的 目 标 检 测 范 式 ， 图 片 通 过 C N N 提 取 特 征 ， 然 后 将 提 取 的 特 征 展 平 输 入 t r a n s f o r m e r e n c o d e r d e c o d e r ， 然 后 通 过 一 系 列 查 询 ， 检 测 头 输 出 每 个 查 询 的 结 果 。 查 询 的 数 量 通 常 为 1 0 0 、 3 0 0 或 9 0 0 ， 远 远 少 于 之 前 的 检 测 算 法 中 的 密 集 预 测 。 阅 读 剩 余 部 分 1 2 3 4 . . . 7 后 一 页 » 最 新 文 章 O n e C h a r t — 让 V L M 知 之 为 知 之 ， 不 知 为 不 知 大 模 型 A g e n t V L M 常 见 D a t a s e t 和 B e n c h m a r k V i s i o n E n c o d e r s i n V L M 初 学 多 模 态 大 模 型 ： p a p e r l i s t 和 笔 记 硬 件 单 目 标 跟 踪 S O T 常 用 评 价 指 标 大 一 统 目 标 跟 踪 台 式 机 + 轻 薄 本 ： A I 从 业 者 的 最 佳 设 备 配 置 指 南 D E T R 系 列 算 法 分 类 生 活 札 记 ( 3 ) 刷 算 法 ( 0 ) 信 息 技 术 ( 2 3 ) A I 科 学 ( 2 3 ) 课 内 笔 记 ( 1 1 ) 生 活 札 记 刷 算 法 信 息 技 术 A I 科 学 课 内 笔 记 标 签 p y t h o n 目 标 跟 踪 机 器 学 习 数 学 目 标 检 测 l i n u x 多 模 态 G N N d o c k e r 资 源 分 享 L L M 单 片 机 与 嵌 入 式 小 技 巧 D L 基 础 竞 赛 理 财 c + + w e b 生 成 模 型 n u m p y P y T o r c h T e n s o r F l o w g i t 实 例 分 割 3 D 建 模 控 制 理 论 最 近 回 复 石 玉 亭 : 师 姐 您 好 ， 关 于 g i t h u b 上 面 代 码 复 现 我 存 在 一 些 问 题 ， 想 要 向 您 请 . . . 孔 西 皮 : 刚 打 赏 的 朋 友 ， 你 没 留 下 你 的 微 信 号 呀 😹 如 果 看 到 这 条 留 言 ， 麻 烦 通 过 . . . 孔 西 皮 : 已 添 加 ， 仅 供 参 考 1 : 没 有 d e f a u l t . c o n f 和 n g i n x . c o n f 的 样 板 没 发 弄 呀 . . . 孔 西 皮 : 你 好 呀 ， 知 乎 私 信 我 吧 ， 中 科 院 太 大 了 ， 不 一 定 帮 得 上 忙 贾 旺 旺 : 学 姐 ， 您 好 可 以 问 您 一 些 关 于 中 科 院 的 问 题 吗 ？ t e l l w : N B 友 情 链 接 苏 剑 林 的 科 学 空 间 前 华 为 天 才 少 年 李 博 杰 L L M 宝 玉 n e w s A I G C W e e k l y n e w s N L P M a t h o r s b l o g 申 请 友 链 其 它 登 录 文 章 R S S 评 论 R S S © 2 0 1 9 2 0 2 4 前 行 的 皮 皮 . 由 T y p e c h o 强 力 驱 动 . 晋 I C P 备 2 0 0 0 2 8 0 8 号 转 载 本 站 内 容 必 须 遵 循 “ 署 名 非 商 业 用 途 保 持 一 致 ” 的 创 作 共 用 协 议

域名(www.kppkkp.top)由网友主动性提交被自动秒收录整理收录的，本页最后更新时间为：2024-06-19 22:55:28，自动秒收录仅提供www.kppkkp.top的基础信息并免费向广大游客展示，该站IP地址为81.70.162.5 [中国北京北京 腾讯云]，该站打开速度为598毫秒，该站的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.kppkkp.top的备案号是晋ICP备20002808号、备案人叫孔令宇、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建3年5个月18天，其内容不代表本站赞成被显示该站点的内容或立场，相关资料: txt下载、docx下载、pdf下载、rar下载、zip下载，本页地址：http://www.aidhw.com/wangluodh/659dc3e63e9069184805.html。