为何RL泛化如此难 伯克利博士从认知POMDP、隐式部分可观察解读
发布时间:2021-12-01 03:11:11 所属栏目:传媒 来源:互联网
导读:当今强化学习(RL)的问题很多,诸如收敛效果不好。在偏弱的实验环境里,模型测试结果看起来尚可,许多问题暴露得不明显,但大量实验已经证明深度 RL 泛化很困难:尽管 RL 智能体可以学习执行非常复杂的任务,但它似乎对不同任务的泛化能力较差,相比较而言,
当今强化学习(RL)的问题很多,诸如收敛效果不好。在偏弱的实验环境里,模型测试结果看起来尚可,许多问题暴露得不明显,但大量实验已经证明深度 RL 泛化很困难:尽管 RL 智能体可以学习执行非常复杂的任务,但它似乎对不同任务的泛化能力较差,相比较而言,监督深度网络具有较好的泛化能力。 有研究者认为,对于监督学习来说,发生一次错误只是分类错一张图片。而对于 MDP(马尔可夫决策过程)假设下的 RL,一次识别错误就会导致次优决策,甚至可能一直错误下去,这也是 RL 在现实世界没法用的根源。 为什么强化学习的泛化能力从根本上来说很难,甚至从理论的角度来说也很难?来自加州大学伯克利分校的博士生 Dibya Ghosh 等研究者共同撰文解释了这一现象,文章从认知 POMDP(Epistemic POMDP)、隐式部分可观察(Implicit Partial Observability)两个方面进行解释。论文共同一作 Dibya Ghosh 的研究方向是使用强化学习进行决策。之前,他曾在蒙特利尔的 Google Brain 工作。 (编辑:航空爱好网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
相关内容
- IDC SDS报告发布:QingStor NeonSAN跻身市场占有率四强
- 后疫情时代康普助力企业打造未来就绪的网络基础设施
- 飞刀:云原生内存数据库解锁存算一体
- 惠普全新发布国产化高性能小型立式电脑HP 268 Pro G1 提供多
- 新华三助成都高新区城市数字大脑建设 让蓉城变得无比“巴适
- Palo Alto Networks斥资4.2亿美元收购网络管理公司CloudGen
- 计算成本最多再降50% 阿里云Serverless容器改写云计算极限
- 耶鲁电子锁魅力在什么地方?
- 未来10年中国将在半导体、生物技术等领域赶超美国
- Hewlett Packard Enterprise将HPC方案纳入GreenLake即服务产