Hunter的大杂烩 技术学习笔记

• Whisper-ASR ASR http://localhost:8001 语音转文字 / 字幕

nohup ~/llama/whisper.cpp/build/bin/whisper-server -m /data/models/asr/whisper-large-v3-q8_0.gguf \
–host 0.0.0.0 –port 8001 -ngl 19

• CosyVoice-TTS TTS http://localhost:8002 文本转语音

export PYTHONPATH=~/llama/CosyVoice/third_party/Matcha-TTS//Matcha-TTS:$PYTHONPATH

nohup python3 ~/llama/tts/tts_server2.py > /var/llama/logs/tts-server.log 2>&1 &

(more…)

參考這篇文章： https://community.frame.work/t/dgx-spark-vs-strix-halo-initial-impressions/77055

得到一個對比表格（裏面一些數據是我自己測試，有些則從網上找的，準確性請自行衡量）：

	AMD	GB10
LLaMA 3.3 8B	25
LLaMA 3.3 70B-Instruct	2.8
qwen2 14B Q5K_M	20
qwen3.5 9B	26
Qwen3.5-27B.Q4_K_M	11	7.2
Qwen3.5-24B-A3B-Claude	48
Qwen3.5-35B-A3B	50	46
Llama-3.1-tulu-3-8B-Q8	25.52
gpt-oss-120b-Q4_K_S	45	51.5
llama_server_Qwen3_VL_8B_Instruct_UD_Q4_K_XL	37.06	35.48
qwen3moe 30B.A3B Q8_0		40
qwen2 7B Q8_0		27
glm4moe 106B.A12B Q4_K		18

(more…)

一、Distrobox 本质上是基于 Podman/Docker 的轻量容器环境，它并不是一个完全隔离的虚拟机。关键点如下：

1. 共享宿主机的内核
2. 默认没有启用严格的 PID namespace 隔离

• 可以用 –pid 参数进行隔离：podman run –pid=private …

1. Distrobox的理念是让容器与宿主机紧密结合，方便共享文件、进程、网络。

• 它更像是一个“增强版的 chroot 环境”，而不是安全隔离的沙箱。

(more…)

1. 概览

• 目标机器：GMKTEC EVO‑X2（搭载 AMD Ryzen AI Max+ 395 APU，128 GB 统一内存，gfx1151 GPU）
• 系统：Ubuntu 24.04 LTS（desktop 或 server 均可）
• 主要任务：
  1. 完成 OpenClaw 的全局安装、工作区创建、gateway 启动，让它可以通过浏览器 / API 与用户交互

2. 准备工作

• 准备好openrouter的API KEY，方便后面直接可以运行
  • 最好买几个第三方AI的KEY配进去，比如deepseek, minimax, grok等，缺省的gtp-oss-120b数据太旧，写代码能力也很弱，用它trouble shooting纯粹浪费时间和钱
• web_search: 采用 Brave的平替 taivly.com
• 安装过程中无法创建 systemd服务:

# 建立系統服務檔案
sudo cat > /etc/systemd/system/openclaw-gateway.service << 'EOF'
[Unit]
Description=OpenClaw Gateway
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
ExecStart=$(which openclaw) gateway --force
Restart=always
RestartSec=5
User=$(whoami)

[Install]
WantedBy=multi-user.target
EOF

(more…)

本文详细介绍了如何在 GMKTEC EVO-X2 迷你主机（搭载 AMD Ryzen AI Max+ 395 APU）上配置完整的本地大语言模型运行环境。该 APU 拥有 128GB 统一内存和集成的 Radeon 8060S GPU，能够运行高达 70B 参数的大模型，算力超100 TOPS，性能媲美NVIDIA RTX 4070 Laptop。

硬件规格概览

• CPU: AMD Ryzen AI Max+ 395 (Strix Halo 架构)
• GPU: 集成 Radeon 8060S (gfx1151，40 个计算单元)
• 内存: 128GB DDR5 统一内存
• 存储: 支持 NVMe SSD
• 特性: 支持 ROCm rocWMMA 和 hipBLASlt，用于加速矩阵运算

第 1 阶段：BIOS 配置

在安装操作系统之前，需要先在 BIOS 中进行以下配置：

1. 配置 GPU 内存：

• 进入 Integrated Graphics → UMA Frame Buffer Size
• 设置为 1024MB（仅显示帧缓冲，实际计算内存通过 GTT 配置）

1. 禁用 IOMMU：

• 找到 IOMMU 设置并禁用
• 可提供约 6% 的内存读取性能提升
• 只有在需要 VFIO/GPU 直通时才重新启用

1. 设置电源模式：

• 配置为 85W（性能与功耗的最佳平衡点）

(more…)