"Llama" 搜索结果

AI HNAI 新闻与论文，智能精选

中

时间:

今天

3天

7天

30天

全部

来源:

全部

📰HN

📄论文

292 条 · "Llama"

AI on a Budget: Recompiling Llama.cpp for Qwen3.5 Inference on an HP Z440(jeanbaptistefleury.neocities.org)📰 HN

1 分·DAFtwinTurbo·7 天前·1 评论

RAG & Retrieval

本文展示了在配备双RTX 3060 GPU的经济型HP Z440工作站上优化llama.cpp以进行Qwen3.5推理的方法。文章指出，自定义编译的ik_llama.cpp可达到每秒70个token的速度（比LM Studio快5.53倍），并概述了GUI工具的开销以及在低成本硬件上部署35B模型的实用步骤。

LLM Integrity During Inference in Llama.cpp(bednarskiwsieci.pl)📰 HN

1 分·piotrbednarsalt·7 天前·1 评论

Inference OptimizationLLM Research

本文讨论了llama.cpp中LLM推理过程中的完整性问题，重点指出在运行时修改GGUF模型文件（无需重启服务器）即可操纵模型响应的漏洞。作者的项目“llm-inference-tampering”通过针对output.weight张量演示了该攻击，利用llama.cpp使用内存映射文件的机制。这种威胁在开发环境等非生产场景（如共享权限或挂载卷）中具有现实意义。

Commitgen-cc – Generate Conventional Commit messages locally with Ollama(github.com)📰 HN

1 分·eagleman·8 天前·1 评论

Local AI

Commitgen-cc 是一个开源工具，使用 Ollama 在本地生成符合规范的提交信息。它允许用户不依赖外部服务就能创建标准化的提交消息。

My Homelab Setup(bryananthonio.com)📰 HN

117 分·photon_collider·8 天前·106 评论

Local AI

作者利用旧游戏PC搭建家庭实验室，包括硬件配置、TrueNAS操作系统安装以及Ollama（本地AI部署工具）等自托管应用。由于AI数据中心建设导致硬盘价格上涨，作者决定搭建该实验室以满足存储和备份需求。

Show HN: SchemaSight – Chat with your database schema locally using Ollama(github.com)📰 HN

1 分·HiteshShinde26·9 天前·0 评论

Local AI

这篇Show HN帖子介绍了SchemaSight工具，用户可通过Ollama在本地与数据库模式进行对话。该项目托管于GitHub，让开发者能借助本地AI模型支持的自然语言查询与数据库模式交互。

Ask HN: Are you handling persistent memory across local Ollama sessions📰 HN

1 分·null-phnix·9 天前·0 评论

Local AI

一位使用Ollama构建小型本地AI工具的用户，遇到了会话间上下文和进度丢失的问题，因此向Hacker News社区询问如何处理Ollama会话间的持久化记忆。

Show HN: Go LLM inference with a Vulkan GPU back end that beats Ollama's CUDA(github.com)📰 HN

1 分·computerex·9 天前·0 评论

Inference OptimizationLocal AI

这是一篇Show HN帖子，介绍了一个基于Go语言的LLM推理工具，该工具使用Vulkan GPU后端，据称性能优于Ollama的CUDA实现。该项目托管在GitHub上，专注于高效的AI模型推理。

Agentic open-source local news comedian (Pydantic, Llama 3.1)(github.com)📰 HN

1 分·Veritaco·9 天前·0 评论

RAG & Retrieval

这个故事介绍了一个名为Local News Comedian Agent的开源智能代理项目，该项目使用Pydantic和Llama 3.1模型。它托管在GitHub上，旨在创建一个基于本地新闻生成喜剧内容的AI代理。

Uploading Pirated Books via BitTorrent Qualifies as Fair Use, Meta Argues(torrentfreak.com)📰 HN

1 分·askl·10 天前·0 评论

Meta AIRAG & Retrieval

Meta在一场集体诉讼中主张，通过BitTorrent上传盗版书籍（以获取其Llama LLM训练数据）属于合理使用。此前法院裁定使用盗版书籍训练AI属于合理使用，但Meta仍需对通过BitTorrent下载和分享书籍负责。现在Meta辩称，上传行为是BitTorrent协议固有的，且是获取用于变革性合理使用所需数据的必要手段。

Show HN: Llama 3.2 3B and Keiro Research achieves 85% on SimpleQA(keirolabs.cloud)📰 HN

6 分·mannybruv·10 天前·1 评论

RAG & Retrieval

这篇Show HN帖子展示了本地运行的Llama 3.2 3B模型结合Keiro Research API在SimpleQA数据集上达到85%准确率的基准测试结果，而无API时仅为4%。作者认为，具备上下文检索能力的小型模型可与大规模模型竞争，改变AI智能体的经济成本。该设置使用简单Python脚本，可在MacBook上运行，每次查询成本仅0.005美元。

RepoSage – Understand any codebase in minutes using Claude or local Ollama(github.com)📰 HN

1 分·saichethann·10 天前·0 评论

Anthropic & ClaudeCode & Development

RepoSage 是一款工具，可帮助用户使用 Claude 或本地 Ollama 等 AI 模型在几分钟内理解任何代码库。它作为开源项目在 GitHub 上提供。

I Wail, for My Tailscale Fails: How My Packets Got Dropped Beyond the Pale(jusung.dev)📰 HN

1 分·badeeya·12 天前·1 评论

Local AI

作者分享了设置Ollama以实现AI自动补全功能，并在通过Tailscale访问WSL机器上的Grafana时遇到网络问题的经历。他们详细描述了使用curl测试诊断数据包丢失问题以及分析AI设置中的延迟差异等步骤。

Show HN: Teaching Tokens: Implementing Private, Lightweight AI in the Classroom(medium.com)📰 HN

1 分·Beckmeister·13 天前·0 评论

Local AI

这个Show HN项目介绍了MiniJarvis，一个使用Ollama和Docker的课堂私有轻量级AI解决方案。它包含一个教学计划，教教育工作者和学生如何部署本地LLM，理解LLM的关键概念（token、权重、上下文窗口），以及通过API调用与Python集成。

Show HN: Security Audit for Macs Running Local AI (Ollama, OpenClaw, LM Studio)(github.com)📰 HN

1 分·mrsushi·13 天前·0 评论

Apple AIAudio & Speech

这是一个Show HN项目，展示了一款针对运行Ollama、OpenClaw和LM Studio等本地AI应用的Mac的安全审计工具。该工具旨在帮助用户评估其MacOS上本地AI设置的安全性。

Running Llama Inference on Intel Itanium(medium.com)📰 HN

1 分·RobotToaster·13 天前·0 评论

RAG & Retrieval

本文详细介绍了在Intel Itanium服务器上优化Llama推理的方法。内容包括使用objcopy解决HP-UX的大端序兼容性问题，以及利用HP的C编译器在Open64的基础上进一步提升性能。

Show HN: Glyph, a local-first Markdown notes app for macOS built with Rust(glyphformac.com)📰 HN

1 分·skarat·13 天前·0 评论

Anthropic & ClaudeAudio & Speech

这篇Show HN帖子介绍了Glyph，一款基于Rust构建的macOS本地优先Markdown笔记应用。它具备AI集成功能（支持OpenAI、Anthropic、Ollama等本地模型）、维基链接、任务管理，以及无云同步和遥测的隐私优先设计。该应用是开源的，提供免费试用，并且使用纯Markdown文件以避免锁定。

Why Your BI Stack Knows More About Your Processes Than You Think(exasol.com)📰 HN

1 分·exagolo·13 天前·0 评论

Audio & SpeechLLM Research

本文主张商业智能团队应利用现有数据基础设施将流程挖掘纳入其技术栈。文章介绍了一个基于免费工具构建的开源演示器，并集成本地大语言模型进行AI辅助流程分析，支持流程图过滤、比较及详细流程检查等功能。

Show HN: Timber – Ollama for classical ML models, 336x faster than Python(github.com)📰 HN

1 分·kossisoroyce·15 天前·0 评论

Local AI

这是一篇Show HN帖子，介绍了Timber工具，该工具被描述为适用于经典机器学习模型的Ollama，声称比Python快336倍。该项目托管在GitHub上，内容部分被截断。

Show HN: A local AI news aggregator built with Vue 3, FastAPI, and Ollama(github.com)📰 HN

1 分·ftarants·15 天前·1 评论

Local AI

这篇Show HN帖子介绍了一个使用Vue3、FastAPI和Ollama构建的本地AI新闻聚合器。该项目托管在GitHub上，旨在提供一个本地聚合AI新闻内容的解决方案。

Show HN: I Built Context+ AST and Embeddings for Codebase Understanding(contextplus.vercel.app)📰 HN

1 分·forloopcodes·15 天前·0 评论

Local AIRAG & Retrieval

这篇Show HN帖子介绍了Context+，一个用于代码库理解的MCP服务器。它结合Tree-sitter AST解析和谱聚类，将大型代码库转化为可搜索的分层图结构，支持语义搜索和静态分析等功能。用户可通过配置将其集成到IDE中，并使用Ollama模型进行嵌入和聊天操作。

Show HN: I built an open-source D&D app using Python and Llama 3.1(github.com)📰 HN

1 分·cmccombs01·16 天前·0 评论

RAG & Retrieval

这篇Show HN帖子展示了一个使用Python和Llama3.1构建的开源D&D应用程序，该项目托管在GitHub上并向社区分享。

Show HN: I built a desktop app combining Claude, GPT, Gemini with local Ollama(github.com)📰 HN

1 分·tsunamayo·16 天前·0 评论

Anthropic & ClaudeCode & Development

这是一篇Show HN帖子，作者分享了名为Helix AI Studio的桌面应用，该应用整合了Claude、GPT、Gemini和本地Ollama模型。该应用托管在GitHub上，但内容被截断。

Ollama 0.17 ships native OpenClaw integration – security implications(clawmoat.com)📰 HN

1 分·ildar·17 天前·0 评论

Local AI

Ollama 0.17版本已原生集成OpenClaw，用户可通过一条命令搭建本地AI代理。该集成带来文件系统访问、WebSocket劫持及网页搜索提示注入等安全风险。文章建议使用ClawMoat添加权限层级和网络监控等安全层。

RAGScore – Evaluate RAG pipelines in 2 commands, works offline with Ollama(github.com)📰 HN

1 分·antitopquark16·18 天前·0 评论

Local AIRAG & Retrieval

RAGScore是一个开源工具，可通过两条命令评估RAG管道。它支持与Ollama离线使用，适用于本地AI开发和测试。

OllamaMQ(github.com)📰 HN

1 分·chleba·18 天前·1 评论

Local AI

OllamaMQ是一个托管在GitHub上的开源项目，可能专注于将消息队列与Ollama集成以实现本地AI模型部署。该仓库为使用这些技术的开发者提供相关资源。

Wayve secures $1.5B to deploy its global autonomy platform(wayve.ai)📰 HN

1 分·horsellama·20 天前·0 评论

Autonomous Driving

专注于自动驾驶具身AI的Wayve公司获得15亿美元融资（含12亿美元D轮融资），用于扩大其全球自动驾驶平台。投资方包括微软、NVIDIA等科技公司，奔驰等汽车制造商以及Uber，Uber将与其合作从2026年起在伦敦启动机器人出租车部署。Wayve计划从2027年起在消费车辆中推出其AI Driver，利用其在500多个城市的零样本驾驶能力。

Show HN: PureBee – A software-defined GPU running Llama 3.2 1B at 3.6 tok/SEC(github.com)📰 HN

1 分·benryanx·21 天前·1 评论

RAG & Retrieval

这是一篇Show HN帖子，介绍了PureBee——一个软件定义的GPU，能够以每秒3.6个token的速度运行Llama 3.2 1B模型。该项目托管在GitHub上，展示了一个用于AI模型推理的工具。

RWKV-7 beats Llama 3.2 with 3x fewer training tokens and formally exceeds TC^0(ai.gopubby.com)📰 HN

1 分·Aedelon·21 天前·1 评论

RAG & Retrieval

本文介绍了RWKV-7这款RNN模型，它用少3倍的训练token就超过了Llama 3.2，并且具有恒定的内存使用量。文章强调该模型在基准测试中表现更优（RWKV-7为72.8%，Llama 3.2为69.7%），并对Transformer架构的主导地位提出了挑战。

Termux Commands – Quick Reference – Phone Hacks📰 HN

1 分·rocky101·22 天前·0 评论

Local AI

这篇文章提供了Termux命令的快速参考，用于在手机上使用本地AI（SLMs），包括Ollama的安装和启动服务器的命令。