大语言模型正在渗透人类生活各种方面，不仅影响人类的交流与工作，而且重塑每日娱乐生活方面。然而，LLMs运行在云环境中，需要大量的计算资源，这不仅导致大语言模型无法部署在移动设备上，而且对能量消耗与碳排放带来了巨大挑战。根据该观察，MobileLLM是一个小于1B参数量的模型，可部署在移动设备上，且与同规模的模型相比性能得到了提升，可见图1所示。

- 阅读剩余部分 -

与ALOHA相比，ALOHA2拥有更强的表现、更友好的人体工程学、以及更强的鲁棒性。同时，作者们还开源它的MuJoCo模型。如图1所示，ALOHA2拥有重力补偿，重新设计了leader与follower夹抓。

- 阅读剩余部分 -

精细的操作任务包含精确的闭环反馈，需要高度的手眼协调从而对环境的变换做出调整和规划。以打开调料杯为例，初始化在桌面上的杯子：先用右手把它拿起，再把它推入到左夹抓。然后，左夹抓慢慢闭上。接下来，右手的手指接近杯子，打开调料杯。这些步骤需要高度的精确性，精细的手眼协调，且丰富的接触。毫米的误差就会导致任务失败。对于这种精细的操作任务，存在的系统需要利用昂贵的机器人和高端传感器用于精确的状态估计。与之相比，ALOHA是一个低成本的灵活远程操作系统，可用于收集数据。然而，低成本硬件不可避免与高端系统相比缺少精确性。

- 阅读剩余部分 -

FlashAttention利用非对称GPU显存层级的特性不仅提高了内存效率，也提高了训练速度。然而，随着上下文长度的增加，它没有优化的GEMM运算一样快，且只达到了理论最大FLOPs/s的25-40%。这种不高效主要是由GPU中不同线程块与线程束之间次优的work分片导致的低显存占有率或不必要的共享内存读写所引起的。为了处理这些问题，FlashAttention-2设计了更好的woker分片。

- 阅读剩余部分 -

标准自注意力计算的时间复杂度与空间复杂度与序列长度呈现2次方关系，因此Transformer在长序列上处理速度很慢且需要大量内存。同时，随着硬件的进步，计算能力已经超过了内存的读写能力，即内存的读写限制了注意力的计算。FlashAttention是一个考虑内存读写的精确注意力计算算法，通过分片的方式减少了GPU中HBM与SRAM之间的读写次数，从而提高注意力计算的速度与内存效率。

- 阅读剩余部分 -

Alpaca是一个在7B参数量的LLaMA模型上利用52K指令跟随演示数据微调的模型。在单轮指令跟随数据上评估，Alpaca性能与OpenAI的text0davinci-003一致。

- 阅读剩余部分 -