桌面你用的是 chat 、co-work 还是 code ？按说都是 code 的话基本没区别，但比 cli 好像会少些插件支持

不能 thinking 不就等于基本废了吗。。。

所以为啥要用 openEuler ？是有啥特殊需求吗？

你这大概率病理性的精神疾病，精神科开点药就行了，不要觉得有啥不好的，大脑神经出问题跟别的器官出问题要吃药一个道理

不错啊，收藏了

搞个几十块的 7015TV3 就行，2.5G 猫，破解好的，telnet 进去 mac 啥的随便改，改成跟旧的一致，插上去就能用

难绷楼上几乎没一个在讨论技术的。。。
搜了一下文章： https://kaitchup.substack.com/p/taalas-hc1-absurdly-fast-per-user

确实是相当 fancy 的一个工作，直接将权重固化成了物理电路，不是“推理任务 ASIC”而是“特定模型的 ASIC”。效果自然是单请求 decode 速度力大砖飞，完全没有 memory wall ，吊打一切 HBM 甚至是 SRAM/存算的工作，也吊打一切投机推理和 dLLM 。

但代价也很明显：为了塞下一个 3bit 8b 的权重，die size 达到了 815mm² （ TSMC N6 ），要知道 4090 才 600+mm² （ N5 ），塞下更大模型成本很高。另外并发能力和最大上下文长度未知，可能就只有单并发能力和几千 token 量级，毕竟看起来全靠 sram：

https://substackcdn.com/image/fetch/$s_!I1yU!,w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F45cfa22a-ce4b-4704-9aed-ba7a4214c656_612x408.png

评价是科技与狠活，作为学术工作的话非常 fancy ，作为商业用途的话需要找到合适场景，毕竟这么小的模型比较唐是正常的，但这推理速度能干很多之前 LLM 因为实时性没法干的事

首发就有的通病，我就遇到了，当时换新后就无问题了

更可能因为更热反而折寿

正常了，我一个做 infra 的，看着之前寒武纪涨成那样也很难绷

直连流量走核心了吧，硬件加速没了

软路由吗？

先问宽带师傅，不行就上咸鱼找破解，还不行就花几十块闲鱼买个破解好的猫

功能说不定比 unifi 还更适合国内，不过鉴于其“优秀历史”并不是很想用

运营商有 dpi 的话能看到你的跑了 http/https 服务

不为了钱还能为啥。。。家宽、商宽费用不对等的必然结果呗，一切都是为了高价的商宽有人买

对于搞 LLM 算法或者 infra 的 1 那些都属于常识，但对于普通 LLM 用户而言知道个 sampling 就够了，毕竟 DNN 的可解释性一直就不强，知道 softmax(Q @ K^T / sqrt(d_k)) @ V 也不会对使用技巧有太多帮助