avatar

zhu‘s log

你怎么发现这里的?

  • 首页
  • 关于
Home 0713一周碎碎念+pip包管理的版本限制心得+北风玩法
文章

0713一周碎碎念+pip包管理的版本限制心得+北风玩法

Posted recently Updated recently
By zhuth
19~25 min read

阻止一下炫压抑,别老对着同事流哈喇子。

星期一

总结一下上周,估计是新冠了,休息好了现在可以投入到工作之中了。

还是赶快调整一下能在服务器上上外网。

上周五公司周会,同步了一些商业的信息。现在遥感卫星在天上的开机时间是非常短暂的,一天可能也就20分钟就算量大的了。所以存储和星上计算压力才会这么大。

看了一下莱斯特服务器的新泽西,阿巴阿巴了,副炮船瞬间萎了,不喜欢。强度再高感觉也不会到达威斯康星水平。所以就看看钢铁舰队的船,或者拿点小金币得了。国会都没拿出来呢真搞笑。另外塔林的强度可以好好学习一下了。

用官方工具计算一下年底马拉松所需强度。

本周继续恢复健身有氧,除了每天吃屎,还要再持续两周的有氧强度。感觉总体来说还是有所恢复的,周末回家总算没给我直接赶走了,当然另一方面来说下雨周末也没安排训练。当然了今天可以练腿。也可以练胸。

购物:握力器,卫生纸。(握力计已经购买)

思考一下具体要做什么部署开发呢(似乎需要他们提供的whl文件,不然做不了)

  1. 图像处理相关的封装。直接用CPU就可以计算,可以拉到haiyue上进行测试。数据结果需要在同一的API接口里呈现。这个可以在本机开发,速度还快一些。识别检测、语义分割

  2. 大模型在轨部署模块。不同的容器拉起来以后,自动提供本地API服务,能吐token。还是都包装好,然后根据yaml也好,根据指令也好,能直接一键拉起来运行。先让现在的API能直接和代码对上。

  3. 数据持久化存储,引入数据库非易失性存储。

看一下我这里到底有没有vllm。似乎没有

然后服务器又炸了。不行就去重启一下,然后我觉得要学这些本地部署之类的,不如直接去找一个算力平台自己租一下,几个小时马上就知道怎么回事了。


AI还是太牛逼了,这速度真逆天啊,直接就弄完了。也对,反正怎么做都写好了,这就是一个操作的过程的问题,agent就应该这么做。

下午验证一下正确性,还给我留着STK呢(页面上留下来的结果感觉不太对,正在返工),然后接着做vLLM部署模型。check,内容正确,但是看起来就是有多次计算留下来的缓存,再加上下边UI有点对不齐,所以才会有数据和界面动画看起来有对不上的问题。


最关键的摸鱼任务就是,今年到底去哪看流星雨?

最佳时间是8月12日,赶上周末的话就是8月15日午夜凌晨。


星期二

加油,明天周三就又放假了,上三休一!

这两天感觉总是有额外的干扰,招聘什么的还是耗费心力,包括好多查看股权结构,公司结构之类的,就会很头大。

专业技术也要求很高啊!非常头疼

刚才更深入了解了pod和container、containerd的用法

给自己上点目标,今天的目标就是把vllm的环境放在pod里面搭建起来,然后下载好对应的模型,并且弄明白怎么部署使用,形成一个完成可用的pod的状态(或者说是container的状态)

依然是考虑怎么把轮子导入进去,然后pip起来。

压力来了,潘少最新指示:

  1. 轨道相关知识科普

  2. 星座相关知识(当前比较知名星座的结构,哪种星座对什么需求比较好。或者对planet scope的现有卫星做一个分析)

  3. 经过今天的介绍,修改我的仿真设计结论,那些小时级别的,分钟级别的,都是如何实现的,然后从walker星座出发,做一个全球覆盖的看看,然后给全球覆盖的那些构型,做一个新的指标(比如覆盖百分比变化率、随纬度变化情况之类的)。然后通过仿真来分析低倾角的卫星是否有更好的对地观测能力


星期三

其实每天都比前一天更长进了一些,非要说的话自己也是挺开心的

可能和周末突然停药一天有关系,还是不要随便更改剂量感觉会出事

让chatgpt回答比较复杂的多轮对话的时候,还是直接用high思考等级比较好。而且这个5.6sol现在直接说worked for xxx ,感觉很安心

pip安装复杂AI框架包并处理依赖的一些心得

  • 基本命令使用python3.x -m pip install 比较好,这样指定了安装到具体的哪个Python版本。当然更好的习惯是使用虚拟环境

  • pip install 会自动递归搜索符合条件的依赖包并安装,对包版本的限制来自引入依赖时候的约束,比如any或者指定一个版本范围。或者是用户自己维护的constraints.txt文件。pip会自动在给定的范围中从最新到最旧版本逐一尝试,直到找到合适的或者发现冲突从而退出

  • 可以使用--dry-run参数,不实际安装,但是这个过程仍然会下载wheel文件等,来获取版本依赖信息

  • pip在引入安装新依赖的时候,不会把那些本地已经有的包的约束考虑进来,使用pip install packageA packageB 把两个包作为一个整体重新解析依赖和可行版本

  • 假设本地已经装了packageA,可以使用pip freeze > requirements.txt命令来导出本地环境已有的包的版本情况,自己修改或者找到其中关键然后新建约束,可以使用pip install packageB -c requirements.txt来限制新装的packageB引入的依赖不会与本地已有产生冲突。

  • 针对当前iluvatar mr100加速卡的环境,自带SDK的py版本为3.10。使用vllm之前,先安装ixFormer的whl,随后安装vllm的whl,都是厂家提供的版本。随后在requirements.txt文件写入numpy==1.26.4(重要,不然vllm会引入依赖numpy2.0以上的包,导致和SDK里面已经存在的包要求的nump 1.x冲突),随后写入cupy-cuda12x<=13.6.0,减少pip递归搜索的数量。就可以成功安装了,测试的话可以python3 -c "import vllm"然后输出版本就行了

接下来:

  1. 弄清楚如何打包镜像(在pod里面打包完整的镜像)

  2. 弄清楚PVC是啥东西,然后看一下和我普通的那种指定本机路径的挂载有何区别
    volumeMounts:

    - name: models

    mountPath: /models

    volumes:

    - name: models

    persistentVolumeClaim:

    claimName: llm-model-pvc

  3. 继续看懂国产加速卡的环境

    1. 弄清楚SDK里面的内容是什么以及到底装在哪了,驱动装在宿主机上,现在的sdk是不是只有软件的python包之类的运行环境了

    2. 虚拟化和调度是如何实现的,在什么层面上实现的,是否影响我打包镜像

  4. 直接到DeepSparkHub上面去看官方认证的支持模型

    1. 有yolo

    2. 有语义分割

    3. 有大模型推力使用

--

一些阅读文档的结果性内容

为什么容器化安装的体积这么大,没写着容器化安装的反而小不少。——里面已经带有所有的框架轮子

系统框架的情况已经让claude code整理进去了。

现在要处理的一个核心就是,这个调度器是怎么安装上的,又是怎么作用的,现在感觉和手册、文档对不太上,而且看着还要license文件。


分割线,今天可以早点走,去吃烤肉好吃的,然后工时-1就行了,吃完多溜达溜达坐地铁回学校也算省点钱,然后晚上准备看足球,可以准备点熬夜的物资物品,明天爽睡一天然后也不练,然后周末两天都练就完事了。


星期五

休息!

稍微做点事

放纵还是难受,顶多做点多休息的事吧,还是别太猛猛吃

虽然解压,但是纯粹的解压还是可以考虑用口香糖之类的

kimi今天发了新的k3,可以读一读文档,感觉内容不错

另外今天的饮食环节可以相当放松,周末陪姜老哥玩塔科夫,做点有意思的就行

自己要逐渐接管和维护自己的一个投递的数据库,可以做一个网页端的应用。主要是追踪进度使用,使用飞书模板或者其他的什么进度管理的东西。

  • 然后今天中午的话弄明白那个通行证是怎么点的,制作数学模型,和AI进行讨论,然后建模完成以后让AI去求解就完事。主要是目标函数要清晰可调整,然后各项约束和连通关系需要写明白。

  • 现在这个AA intelligence index网站和信息越来越有用了,然后就是读官方自己的博客

该说不说kimi这前端好像真有点厉害,可能这就是引入视觉的力量吧

周四放空大脑了。

  • 北风的技术可以考虑再学习学习精进一下,首先就是这个监督者看起来比较有用,多一口烟可以更从容,主要是消耗品一定要积极使用,常规驱逐舰的烟雾真的有点宝贵。其实我觉得甚至可以考虑上山本(第一滴血可以加消耗品)。zh1和北风的AP记得开训练房看一下效果,包括过穿、角度、伤害、投射量之类的

北风可以考虑为两种,内卷和洗大船。

内卷不占优势,因为体态过长,机动乏力,隐蔽6.1完全逆天,只要不是屁股进点就毫无作用,甚至第一时间进点会被人认为很蠢。我觉得上来就是玩手机,点亮就行,然后摸清形势情况再进点,在明确点亮关系的时候再拉烟开洗,配合冲锋的队友打战损。尽量隐身,走太靠前那是卷驱玩法。

应该考虑升级鱼雷或者射程,或者加技能延长射程,从而一定程度改变船的玩法。一开始在远处撒撒随缘雷,当12km岛风雷玩,然后拉烟打

综合来看北风其实不弱,只不过9级总体来说不是很强,包括幽默驱逐索姆河,he每分钟投射量和岛风坐一桌,优势是ap,有特跳和特殊碾压,但是要看角度。话说山本技能改版之后不会真可以上北风吧,那大和才玩多少次啊,而且看起来不如敷岛,或者别的高精度的大口径吧

打大船这一块,主要是对单个船只的拉夹角,或者要找到比较小的山后面。到中后期快速收割它们的血量,北风的投射量是在兴登堡以上的,略低美因茨,但是ap能穿透的角度更好一些。通过走位走到大侧面去打AP可能是一种好的选择,或者就和大部队一起打he集火目标。

玩法可以根据局势和对线的对象来分。以下列举出了一些,但是也要通过判断优势(劣势)的成因来决定自己接下来的动作

船只数量优势、视野优势、驱逐舰对位优势、线权优势(边线、点位周围)、血量优势

如果haiyue上面本身有英伟达显卡的话,那么看看怎么在那上边拉起来服务(打包成镜像的服务)

典型场景(多玩多练就好了,刷研发点这就是游戏里面最贵的东西,包括全局经验也一样,用来跳船实在有点暴殄天物):

  • 对位雷驱怎么打:根据rpf定位知道对方大概位置、来雷方向,适当回收,可以放点,但保持对对方大船点亮让队友能够输出。防止对方驱逐舰从边路过来偷袭或者漏人,可以适当给队友点亮鱼雷。对面雷驱走位深入的时候可以依靠地形靠近然后输出。公海对线尽量离对面后排大哥远一些,防止被单向点亮之后的掉血。对位雷驱不要穷追,适当转换线路穿插,不然容易被挂点亮或者老接雷,对方全拖刀的情况难以输出,这时候保证点位以后可以考虑穿插换线,或者拉开角度进行驱赶追击,不要让对方雷驱在自己头上正前方,这样有难度。此外就是别追太快导致和后面人脱节然后被反点亮然后击杀。

  • 对位卷驱怎么打。对面开炮能不能被自家大哥点亮比较重要,以及 雷达圈之类的还是可以在地图上显示一下。这样能看是不是可以把对面的烟逼出来。

属于是龙场悟道这一块。

国产发布以后,qcoder和kimi code可能都还不差,这些还是最好配合对应的大模型来用。虽然harness是和模型绑定的,但是其实如果有模型的话可能直接用起来也不错。

这周好像摸鱼有点太厉害了,但是我不是特别能提起来兴趣工作,感觉有点让我自己找工作真是麻了。

  • 今天实现一下拉起5个pod,然后尝试一下容器的销毁和资源释放之类的

搞一个k8s dashboard,看看是怎么回事。

现在好像来新硬件了,让闯哥带我学习一下,反正还有做系统的需求这样

  • 回去记得拿陶瓷刀快递。

  • 给手机贴膜

去和闯哥确认一下haiyue上面的硬件参数,已有的算法镜像等等。不是说好有FPGA和GPU单元的吗

今天实现一下拉起5个pod,然后尝试一下容器的销毁和资源释放之类的,主要还是需要一个控制前端。现在这个API还是可以的,然后考虑长期存储使用数据库

  • 还是要弄懂怎么做到的调度和切分,包括前因后果还有包之类的(现在用的包比文档里面要老一些,不过也能用,就不管了,使用的是vCUDA腾讯的方案,是GPU-manager。vCUDA现在可能是唯一的开源方案,但是问题在于是在CUDA层实现的,所以要做替换,而且可能有兼容性问题,而且可以看到容器拉起来以后第一件事就是把新的库复制过去。优点是支持超小单位分割。)

  • 我直接实现拉起来5个镜像,通过略微修改一下GPU参数这一块,然后对应在面板里面显示这些pod的状态还有整机的状态,里面就运行一些pytorch上的dummy的任务就行了

  • haiyue上面的任务就直接放简单的任务就行了,比如我自己写的helloworld,反正也在仓库里面了,就通过控制这个来查看资源释放还有销毁速度之类的。今天把这个全做好。通过API控制,然后再说开发小网页。让AI自己测试的时候通过API直接能走通即可。记得开一下全允许。

这个目前的task和模板的写法,似乎没有成功申请到一半的显存。(check 已经解决相关bug)

总结:

优雅释放可以通过配置加快,然后可以考虑看看是不是弄点算法进去,就把这块硬件给用起来。

下一步清理一下乱七八糟的pod,全删掉,不再使用那些乱七八糟的。

本地存储这里可以学习一下,其他的就算了。

下周继续vibe一个面板,然后复现一下论文做老大的另外的任务。面向+1工作吧还是别面向+2了这很困难。

License:  CC BY 4.0
Share

Further Reading

OLDER

week6

NEWER

week7

Recently Updated

  • 0720碎碎念
  • week7
  • 0713一周碎碎念+pip包管理的版本限制心得+北风玩法
  • week6
  • week5

Trending Tags

Halo

Contents

©2026 zhu‘s log. Some rights reserved.

Using the Halo theme Chirpy