博客

开发者工具使用指南、技术科普与最佳实践。

全部 AI Agent AI 编程助手 AI基础设施 AI安全 AI工程化 AI智能体 AI编程 AI编程助手 AI编程工具 AI编辑器 AI集群 Agent Anthropic Apache2.0 Base64 CSP CSS Cache Claude Claude Code ComfyUI Copilot Cursor DeepSeek DeepSeek V4 Embedding Eric Xing Function Calling GitHub Copilot H3 HTTPS Hugging Face IDE IDE插件 IFM INT4 JSON K2 Horizon KV Cache Kimi K3 LLM LLM安全 LLM应用开发 LLM部署 LM Studio LangChain Linux基金会 Llama MCP MLX Markdown Meta MiniCPM5 MiniMax MoE Muse Glimmer NVIDIA Nature Node.js Ollama OpenAI OpenBMB PAIR PagedAttention Production Prompt Injection PromptInjection Prompt注入 Qdrant Qwen3.8 RAG RAG安全 React SEO SSL Security Transformer TypeScript URL Unicode Unix VS Code WebGPU WebLLM Web安全 Web开发 Windsurf XML XSS gpt-oss llama.cpp transformers.js vLLM 代码审查代码编辑器代码规范代码重构供应链写作前端向量数据库向量检索图片在线工具大模型安全实战实战经验密码工程实践幻觉开发工具开发效率开发者体验开发者工具开源开源协议开源大模型开源模型开源生态强化学习性能优化成本优化推理优化提效提示注入提示词搜索引擎收购效率效率工具数据库数据格式文本处理文档时间戳智能密度本地AI 本地推理格式化检索检索优化检索增强检索增强生成模型选型正则表达式流量浏览器推理渗透测试生产力生产实践生产环境生产部署知识库端侧AI 端侧推理类型系统编码编程编程助手网站速度英伟达视频生成计算机基础设计证书语义搜索踩坑经验量化防御方案防御架构隐私保护面壁智能颜色黄仁勋

标签：#Llama · 清除筛选

AI工具·2026-09-11

把家里的 RTX 显卡组建成私有 AI 集群：NVIDIA PAIR 尝鲜体验

NVIDIA 推出 PAIR 工具，将局域网内的 RTX 显卡和 Mac 组建成私有 AI 推理集群，让本地大模型跑得更快、隐私更安全。

NVIDIAPAIR本地AIAI集群开源大模型OllamaLM Studio

端侧与硬件·2026-08-25

INT4量化实战：把7B模型塞进手机，踩坑全记录

上周把 Llama 3.1 8B 做了 INT4 量化，装进 iPhone 15 Pro 跑推理。过程挺曲折，把踩的坑都记下来。

INT4量化端侧AIllama.cppMLX

端侧与硬件·2026-08-24

llama.cpp 本地推理实战：从安装到优化的完整指南

一线开发者实测：如何在消费级硬件上跑起LLM，量化带来的精度损失到底有多少，以及那些文档里没写踩坑记录

llama.cpp量化本地推理端侧AI

开源生态·2026-08-21

vLLM、Ollama、LM Studio 横评：自托管 LLM 到底该选谁？

试了一圈主流自托管方案，从吞吐实测到踩坑复盘，帮你找到最适合你场景的 LLM 部署方式。

vLLMOllamaLM StudioLLM部署开源模型

端侧与硬件·2026-08-20

本地跑 LLM 不崩溃：我的 llama.cpp 实战踩坑录

从模型选型到量化方案，手把手教你在本地稳定运行 LLM，附真实踩坑经验。

LLMllama.cpp端侧推理量化

AI技术·2026-08-10

LLM 推理优化实战：把响应时间从 2s 降到 200ms 的全过程

用 Llama 3 8B 做的聊天机器人项目，通过量化、Flash Attention、Speculative Decoding 等优化，最终延迟降低 91%。

LLM推理优化Llama量化

显示第 1-6 篇，共 6 篇