WorldSense 技术笔记

用世界模型让机器人理解世界

专注具身智能、世界模型与 Sim-to-Real 的技术博客。从算法研究到工程实践,记录机器人 AI 的探索之路。

作者:西北工业大学硕士 · 机器人 AI 工程师 · 著有《Visual C++入门很容易》

🔥 热门阅读

技术路线对比
VLA vs 世界模型,谁主沉浮?
两大技术路线的全面对比,从核心逻辑到未来融合趋势
核心技术详解
RSSM 状态空间模型详解
Dreamer 系列世界模型的核心引擎,从数学原理到工程实现
实战教程
从零搭建世界模型实验环境
MuJoCo + DreamerV3 手把手教程,从安装到训练到可视化

📚 学习路径

世界模型入门
  1. 什么是世界模型?
  2. RSSM 核心引擎
  3. VLA vs 世界模型
Sim-to-Real 迁移
  1. 自适应迁移方法
  2. 域随机化详解
  3. 8年技术瓶颈
实践与工具
  1. MuJoCo+DreamerV3
  2. TD-MPC 控制
  3. 强化学习入门

查看全部文章 →

最新文章

机器人世界模型到底在做什么?从感知到行动的完整链路

世界模型 机器人 DreamerV3 RSSM 感知融合 Sim-to-Real

从传感器到执行器,拆解世界模型在机器人系统中的完整链路:感知融合、隐状态预测、策略学习、Sim-to-Real,以及不同机器人形态对世界模型的不同需求。

读懂 Dreamer:世界模型是怎么学会'想象'的?

DreamerV3 世界模型 RSSM 强化学习 imagination Dreamer系列

从 RSSM 到 imagination,理解 Dreamer 如何在内部世界中训练策略。

从代码理解 RSSM(六):默认配置、四条公式与代码↔数学↔语义对照

RSSM DreamerV3 世界模型 状态空间模型 代码解析 RSSM系列

收尾:把 RSSM 拆成架构/训练两张配置表,压缩成四条核心公式,给出代码↔数学↔语义对照表,并从 Memory / State estimation / Prediction 重新理解 RSSM。

从代码理解 RSSM(五):Imagine、Observe/Imagine 区别、序列训练与 Reset

RSSM DreamerV3 世界模型 状态空间模型 代码解析 RSSM系列

脱离 observation 的未来模拟:imagine 的完整闭环、Observe 与 Imagine 的本质区别、为什么 imagination 不能无限长,以及 sequence training 与 reset 的作用。

从代码理解 RSSM(四):KL balancing、Free Nats 与最终 KL 组合

RSSM DreamerV3 世界模型 状态空间模型 代码解析 RSSM系列

训练世界模型的核心:Observe 阶段完整数据流、dyn/rep 两个 KL 的 gradient routing、free_nats 作为 loss floor,以及最终 KL loss 如何组合。

从代码理解 RSSM(三):确定性转移 _core()、deter=8192 与 Block GRU

RSSM DreamerV3 世界模型 状态空间模型 代码解析 RSSM系列

追踪真正的确定性动力学:_core() 如何做单步转移、为什么 deter 取 8192、Block GRU 的 block-wise 参数化,以及 posterior/prior 网络各自做什么。

从代码理解 RSSM(二):先验/后验、straight-through 采样与 unimix

RSSM DreamerV3 世界模型 状态空间模型 代码解析 RSSM系列

把源码翻译成数学,明确时间索引;理解 prior 与 posterior 两套分布、categorical 的 straight-through 采样,以及 unimix 给每个类别加概率下界的作用。

从代码理解 RSSM(一):RSSM 在 DreamerV3 中的位置与 stochastic 状态

RSSM DreamerV3 世界模型 状态空间模型 代码解析 RSSM系列

系列开篇:先定位 RSSM 在 DreamerV3 中的角色,澄清 stochastic state 不是“整数再 one-hot”,再看真实 observation 如何进入 RSSM(observe 的调用层次)。

世界模型风口被放大了:技术辨析与冷思考

世界模型 AI风口 行业趋势 具身智能

世界模型风口被放大了:技术辨析与冷思考 - WorldSense 技术笔记

跑 DreamerV3 该租云 GPU 还是自建工作站?一个工程师的成本账

DreamerV3 GPU加速 世界模型 训练技巧 实战教程

跑 DreamerV3 该租云 GPU 还是自建工作站?一个工程师的成本账 - WorldSense 技术笔记

为什么说 2026 年,AI 在疯狂寻找物理外壳?

具身智能 世界模型 AI趋势 机器人 行业趋势

为什么说 2026 年,AI 在疯狂寻找物理外壳? - WorldSense 技术笔记

Isaac Lab 安装避坑指南:从零到跑通全流程

Isaac Lab Isaac Sim 安装教程 具身智能

Isaac Lab 安装避坑指南:从零到跑通全流程 - WorldSense 技术笔记

Isaac Lab 入门:面向具身智能的 GPU 加速机器人学习平台

Isaac Lab Isaac Sim 强化学习 GPU加速 NVIDIA 机器人 Sim-to-Real

Isaac Lab 入门:面向具身智能的 GPU 加速机器人学习平台 - WorldSense 技术笔记

机器人数据为什么比大模型数据更难?具身智能的数据闭环挑战

机器人数据 数据闭环 具身智能 Sim-to-Real 合成数据 VLA

机器人数据为什么比大模型数据更难?具身智能的数据闭环挑战 - WorldSense 技术笔记

世界模型架构演进:RSSM、Transformer 与统一世界模型

世界模型 Transformer RSSM UniSim Dreamer 架构演进

世界模型架构演进:RSSM、Transformer 与统一世界模型 - WorldSense 技术笔记

DreamerV3 训练技巧:从踩坑到收敛的实战经验

DreamerV3 世界模型 训练技巧 强化学习 MuJoCo

DreamerV3 训练技巧:从踩坑到收敛的实战经验 - WorldSense 技术笔记

世界模型如何表示世界:四条表征路线与机器人适应能力

世界模型 表征学习 DreamerV3 Cosmos 3D高斯 物体中心 RSSM

世界模型如何表示世界:四条表征路线与机器人适应能力 - WorldSense 技术笔记

机器人训练为什么需要虚拟世界?MuJoCo 和 Isaac Sim 全面对比

MuJoCo Isaac Sim 仿真环境 具身智能 工具链

机器人训练为什么需要虚拟世界?MuJoCo 和 Isaac Sim 全面对比 - WorldSense 技术笔记

域随机化(Domain Randomization):机器人 Sim-to-Real 迁移的核心技术

域随机化 Sim-to-Real 机器人 仿真训练

域随机化(Domain Randomization):机器人 Sim-to-Real 迁移的核心技术 - WorldSense 技术笔记

TD-MPC:世界模型如何用于机器人控制?

TD-MPC 模型预测控制 世界模型 机器人控制

TD-MPC:世界模型如何用于机器人控制? - WorldSense 技术笔记

世界模型 + VLA:用想象力训练机器人

世界模型 VLA 合成数据

世界模型 + VLA:用想象力训练机器人 - WorldSense 技术笔记

从零搭建世界模型实验环境:MuJoCo + DreamerV3 实战指南

实战教程 MuJoCo DreamerV3

从零搭建世界模型实验环境:MuJoCo + DreamerV3 实战指南 - WorldSense 技术笔记

从1分钟到24小时:ABot-World-0突破的核心意义

世界模型 交互式生成 高德

从1分钟到24小时:ABot-World-0突破的核心意义 - WorldSense 技术笔记

Sim-to-Real太难?世界模型驱动的自适应迁移方法

Sim-to-Real 世界模型 域适应

Sim-to-Real太难?世界模型驱动的自适应迁移方法 - WorldSense 技术笔记

具身智能、强化学习的前景如何?

具身智能 强化学习 职业前景

具身智能、强化学习的前景如何? - WorldSense 技术笔记

VLA vs 世界模型,谁主沉浮?

VLA 世界模型 技术路线

VLA vs 世界模型,谁主沉浮? - WorldSense 技术笔记

世界模型(world model)当下是一个好的方向吗?

世界模型 具身智能 职业方向

世界模型(world model)当下是一个好的方向吗? - WorldSense 技术笔记

强化学习应该怎么入门?

强化学习 入门指南 学习路径

强化学习应该怎么入门? - WorldSense 技术笔记

你认为具身智能领域在2026年会有什么突破性进展?

具身智能 2026预测 世界模型

你认为具身智能领域在2026年会有什么突破性进展? - WorldSense 技术笔记

回看世界模型8年进展,始终没突破的瓶颈是什么?

世界模型 Sim-to-Real 技术瓶颈

回看世界模型8年进展,始终没突破的瓶颈是什么? - WorldSense 技术笔记

2026年,「世界模型」会是下一个AI风口么?

世界模型 AI风口 行业趋势

2026年,「世界模型」会是下一个AI风口么? - WorldSense 技术笔记

RSSM状态空间模型详解:世界模型的核心引擎

RSSM 技术深度 状态空间

RSSM状态空间模型详解:世界模型的核心引擎 - WorldSense 技术笔记

什么是机器人世界模型?一个工程师的深度解读

世界模型 DreamerV3 入门

什么是机器人世界模型?一个工程师的深度解读 - WorldSense 技术笔记

没有博士学位,也能进入具身智能领域吗?

职业路径 具身智能 学习指南

没有博士学位,也能进入具身智能领域吗? - WorldSense 技术笔记