神经网络的有趣特性
根据论文Intriguing properties of neural networks，可知，深度神经网络有两个特性，如下：
- 神经元的语义与所处的层数无关。同时，大部分语义信息由激活空间所包含，而不是单个神经元，例如：词的语义由一组向量捕获。
wyli 发布的文章
一文看懂基础模型在机器人领域的应用与机器人的基础模型的研究进展
ExBody：富有表达力的WBC
对于机器人来说，由于自由度与物理能力限制的原因，往往倾向于产生不自然的运动形态，这种运动呈现不自然且缺乏优美与个性化。为了使人形机器人学习出与人体运动在表达性与丰富性上相媲美的全身运动控制策略，ExBody作者们通过把大规模人类运动捕获数据与强化学习相结合，学习出可直接部署到真实机器人上的全身控制器。同时，为了解决机器人局限性导致直接精确模仿参考运动不可行的问题，提出以参考运动与root运动命令作为控制器的输入。确切的说，机器人的upper body模仿各种各样人类运动以提高表达性，松弛双腿运动模仿项以提高鲁棒性。
FLD：结构化运动表示与学习的傅利叶隐式动力学
MobileLLM：优化小于1B参数的大语言模型
大语言模型正在渗透人类生活各种方面，不仅影响人类的交流与工作，而且重塑每日娱乐生活方面。然而，LLMs运行在云环境中，需要大量的计算资源，这不仅导致大语言模型无法部署在移动设备上，而且对能量消耗与碳排放带来了巨大挑战。根据该观察，MobileLLM是一个小于1B参数量的模型，可部署在移动设备上，且与同规模的模型相比性能得到了提升，可见图1所示。