Hugging Face的一篇介绍连续批处理 “ Continuous batching ” 的高质量博文，有大量的可视化图表来帮助理解。 在本篇博客中，我们将从注意力机制和KV缓存出发，通过优化吞吐量推导出连续批处理的原理。 如果你曾使用过Qwen、Claude或任何其他AI聊天机器人，你可能注意到了一个现象：回复的第一个词出现需要一段时间，随后词语会一个接一个地出现在屏幕上，且（理想情况下

上一篇 https://abxcyz.com/zh/articles/2486 这一篇主要解释如何把 CPU 和 GPU 的工作负载分离，从而大幅提升推理性能。 “这是高效 LLM 推理系列文章的第二篇。第一篇从基本原理讲解了 continuous batching。它介绍了一些本文会继续使用的概念：KV cache、FlashAttention、attention masks 等。 在 In

内容创作者经常需要访问多个AI平台，图片用Flux或Midjourney，视频用Kling或Sora，唇同步用InfiniteTalk，还得单独找扩散模型和 upscale 工具，来回切换API Key超级麻烦。 Muapi 把200+个AI模型全部整合到一个API，提供了最全的图片视频生成解决方案。 不仅有Seedance 2.0、Veo3、Sora 2 Pro等顶尖文生视频和图生视频，还支

。 不仅有Transformer从头实现、高性能优化（FlashAttention2、Triton内核），还覆盖数据清洗去重、Scaling Laws、RLHF对齐，甚至分布式训练系统。 官网：cs336.stanford.edu 主要作业： Assignment 1：实现Tokenizer、Transformer架构、优化器，从零训练语言模型； Assignment 2：性能剖析+

涉及机器学习硬件-软件协同设计，目前有十三讲。 Efficient AI 第 1 讲：Introduction 为什么 efficient AI 同时需要 algorithmic compression 和 hardware specialization：Deep Compression、EIE、MCUNetV3、高效 LM，以及推动 co-design 的硬件趋势。 Efficient AI

AI Agent开发中，记忆管理是个大痛点：上下文污染、token浪费、记忆漂移频发，传统向量数据库不透明、无版本控制，调试和回滚超级麻烦。 Memoir 把Git-like版本控制带到AI记忆管理，提供分层语义记忆系统，一站式解决Agent的“记忆危机”。 不仅支持分支、提交、合并、回滚，还用语义路径（如profile.professional.skills.python）取代UUID，O(

里面具体介绍了将80A3B MoE 模型压缩到 23A2B 模型的过程。 “结构化剪枝和知识蒸馏（KD）是压缩大语言模型的典型技术，但在预训练规模下应如何应用它们，尤其是如何应用于近期的混合专家（MoE）模型，仍不清楚。 本文系统研究了大规模预训练中的 MoE 压缩，重点关注三个问题：剪枝是否能比从零训练提供更好的初始化；专家压缩方式会如何影响继续训练后的最终模型；哪种训练策略最有效。我们得到以

“我写这篇文章主要是用来作为我的 Linux Bash 工具书的，希望这篇文章对你也能起到同样的效果。随着我学习到更多有关 Linux Bash 的知识，我会不断地更新这篇文章。 本文的内容假设你对 Linux 和 Linux 命令行有基本的了解。本文的内容分为三个主要部分： 🌟Linux Shell 脚本编程 🌟Linux Bash 内置命令 🌟常见的轻量级 Linux 命令工具 ”

无论你是公司法务、打并购战的律所、专注隐私和 AI 治理的法律顾问，还是每天苦熬到半夜的诉讼律师，甚至是法学院里摸爬滚打的学生，这个仓库都给你准备好了对应的 AI 工具，直接在 GitHub 上开源了。 这些插件用之前不是即插即用，你得花 10 到 20 分钟，带着 Claude 做个简单的“冷启动访谈”，把你团队的 playbook、模板和风格习惯都塞进一个叫 CLAUDE.md 的本地文件。

“在读 DeepSeek v4 论文的时候，我最后记下了 90 多个问题。网上很多论文解读都会跳过细节，而真正的学习往往就发生在这些细节里。 所以，我决定整理一份更完整的指南：一篇带注释的论文精读。核心思路是：原论文仍然是你的主要材料，但当内容变得密集或难懂时，我会带你理解下去。你会看到详细注释、可视化图解、代码片段、参考链接，以及最重要的——必要的背景信息，让你不至于迷失。 今天我发布 v1

1）browser：核心，远程浏览器会话，内置反爬 stealth、自动过 CAPTCHA、住宅代理 2）site-debugger：自动化脚本跑不通？它分析 bot 检测、选择器失效、时序、auth 问题，生成站点调试手册 3）browser-trace：记录完整 CDP 协议 trace（截图+DOM dump），再按页面切分成可搜索的桶，用来排查"脚本跑的时候到底发生了什么" 4）safe-

制作短视频常常需要来回切换多个工具：AI文案生成、图片/视频生成、TTS语音合成、背景音乐添加、视频剪辑合成，流程繁琐耗时。 Pixelle-Video 把短视频创作全流程自动化整合，提供一站式AI短视频引擎解决方案。 只需输入一个主题，就能自动完成文案撰写、AI配图/视频生成、语音解说合成、背景音乐添加、一键视频输出。 主要功能： AI智能文案生成，支持GPT、通义千问、DeepSe

传统软件开发从零开始写代码，需求模糊、计划反复修改、实现容易偏离预期，效率低下且容易出错。 Spec Kit 通过 Spec-Driven Development（规范驱动开发）彻底改变开发流程，让你专注于产品场景和预期结果，而非从头 vibe coding。 不仅提供规范定义、架构规划、任务拆解等全流程工具，还支持 30+ AI 编码代理集成，社区扩展上百个，覆盖测试、安全审查、集成 Jir

在这个信息爆炸的时代，学习AI最痛苦的不是找不到资料，而是被淹没在低质量的教程和虚假的所谓专家口号中。真正的深度学习不是被动地消费内容，而是建立起一套能够应对不确定性的决策体系。 以下是为你精挑细选的AI学习路线图，涵盖了从大语言模型基础到智能体架构的核心资源。 一、 核心视频教程：建立直观认知 视频是快速理解复杂概念的最佳媒介。这几段视频涵盖了从底层原理到前沿架构的演进。 LLM入

它用比较严格但尽量可读的方式解释深度学习为什么可能有效，主要内容是神经网络能不能表达目标函数、训练算法为什么能找到有用解、训练集上表现好为什么可能推广到新数据；全书围绕 approximation theory、optimization theory、statistical learning theory 展开，最后也讲 ResNet、CNN、Transformer 等现代架构。

开发AWS服务经常需要真实云环境，账号权限麻烦、费用高昂、调试周期长，还得等网络和配额。 Floci 把AWS 46个核心服务全部本地化，提供了轻量免费的AWS模拟器替代方案。 轻量如爆米花（24ms启动、13MiB内存），无需账号token，支持真实Docker容器运行Lambda/EC2/RDS等，比LocalStack快10倍体积小10倍。 主要功能： 支持46个AWS服务，包括

寻找专有软件的开源替代品时，来回翻阅各种网站和列表，费时费力，还容易错过优质项目。 OpenAlternative 把海量开源替代方案全部整理到一起，提供了全品类开源软件的精选目录。 不仅覆盖AI、开发工具、业务软件等80+分类，收录700+项目，还实时更新Star数和许可证，支持按类别快速筛选。 网站：openalternative.co 主要功能： 80+分类覆盖AI开发、CRM

这是Paul E. McKenney写的一本电子书，还一直在更新，目前最新版本是 v2024.12.27a Paul E. McKenney是世并行编程专家，Linux 内核中 RCU 实现和 rcutorture 测试模块的维护者，也是RCU的发明人。对于实时操作系统内核同步机制（例如 Linux 中的实时 RCU）、Linux 和 UNIX 操作系统内核中的 SMP/NUMA 可扩展性和性能

学习操作系统常常需要翻阅厚厚的教材、看各种视频教程，还得在不同平台间切换，理解内核实现更是费时费力。 MIT 6.S081 操作系统工程课程（现称 6.1810）提供了一套完整的动手学习方案，让你直接修改真实内核代码来掌握核心原理。 课程基于 xv6（Unix 第六版灵感重写，约 6000 行 C 代码），覆盖进程、系统调用、页表、陷阱、中断、多核锁、调度、文件系统、网络等全栈内容，还附带经典

学习AI模型常常需要翻阅各种教程，有的过于浅显只教调用API，有的学术论文密密麻麻公式看不懂，来回切换效率低下。 How to Train Your GPT 把从零构建现代LLM的全过程整合到一起，提供了一套零ML基础也能掌握GPT的互动教科书。 不仅有12章逐行注释代码（3900+行），用“五岁小孩”比喻讲解Transformer核心，还包含Jupyter Notebook实时运行、完整训练