加入收藏 | 设为首页 | 会员中心 | 我要投稿 航空爱好网 (https://www.52kongjun.com/)- 自然语言处理、云硬盘、数据治理、数据工坊、存储容灾!
当前位置: 首页 > 创业 > 创业经验 > 正文

计算机视觉内容建设:从零到日均10万图的数据库优化实战

发布时间:2026-11-07 14:06:02 所属栏目:创业经验 来源:DaWei
导读:  后台数据跳变那一刻,我正把鼠标垫卷边了那头往回掰——咔嚓一声,像掰断根小骨头。监控面板上图库增长曲线突然翘起个尖角,不是平滑爬升,是直接踹开天花板。我原以为是定时任务崩了,结果一看日志,是新接入的CV标注流水线

  后台数据跳变那一刻,我正把鼠标垫卷边了那头往回掰——咔嚓一声,像掰断根小骨头。监控面板上图库增长曲线突然翘起个尖角,不是平滑爬升,是直接踹开天花板。我原以为是定时任务崩了,结果一看日志,是新接入的CV标注流水线把insert batch size从500干到了3000,连带触发了MySQL 5.7的semi-sync超时熔断,主库直接拒写——但你猜怎么着?读库居然扛住了,流量反哺式涨了47%,缓存击穿次数零新增。


文章配图,仅供参考

  饮水机在咕嘟响。张工蹲在机柜旁换SSD,手里镊子夹着颗M.2螺丝,说“这盘标称1.6GB/s,实测持续写入刚过800”,我没接话。老李隔着工位喊“图搜接口P99又飘到1.8s了”,我敲了句EXPLAIN ANALYZE,发现它在join一张没加索引的metadata扩展表,表里存的是每张图的光照补偿参数,字段叫lighting_adj_v2——v2?v1呢?早删了。v2字段本身是JSON,但业务代码里全用->>'$.gain'硬解析,连generated column都没建。


  仓库卷帘门的声音,哐当——下午三点准时响。隔壁组搬来三箱新显卡,纸箱上印着“CUDA 12.4 Runtime Required”,底下一行小字“非零售包装”。我摸了下显卡风扇,烫手。有人在旁边点外卖,手机外放语音:“您好,您订的黄焖鸡米饭已下单成功……”——这声音比我听自己心跳还清楚。


  优胜劣汰站得住?当然站得住。不是算法比谁准,是数据库先替你淘汰掉写法野、建模懒、索引赌、缓存赌、分库分表全靠玄学的那拨人。我们上线前压测,某同事写的图像特征向量检索SQL,在测试库跑得飞快,因为表只有20万行;一上生产,3秒变32秒——他忘了WHERE条件里那个status IN (1,2,3,4)实际覆盖98%数据,但B+树根本没法用,最后是加了covering index才拉回来。亏钱?上周导出任务卡死,RDS自动扩容到16核,账单多出来八千,老板看我一眼,我立马把partition key从created_at改成md5(img_url) mod 128,现在导出稳定在400ms内。但我现在看见md5就反胃,真不如用xxhash。


  风扇把快递单吹到地上。小杨蹲下去捡,顺手拿胶带粘住桌沿翘起的防静电垫——那卷胶带横在打包台上,蓝胶面朝上,胶体有点发黄。她说:“上周提的需求,‘按物体遮挡比例打标签’,前端传参还是float,后端入库存成DECIMAL(5,4),结果凌晨两点查库存发现0.9999999被截断成1.0000,导致遮挡率>0.95的图全被过滤掉,运营以为模型失效,差点重训三天。”我说你改tinyint存百分比整数啊。她叹气:“DBA不让,说影响现有BI报表……”


  跟工厂或老板的争执?上个月。老板要“所有图支持毫秒级模糊搜索”,技术方案交上去,他拍桌子:“别人家能做,为啥我们不能?”——没人告诉他,人家搜的是3000万图的HNSW索引,跑在256GB显存卡上,我们图库连带元数据不到2TB,硬上GPU向量库,单卡显存根本喂不饱,还不如把相似度计算下推到PostgreSQL的pgvector插件里。我最后折中,加了个轻量版倒排:先按颜色直方图粗筛(用gist索引),再进ANN算余弦,P95压进600ms。他点头了,但转身问财务“GPU服务器采购预算批了吗”。我站在门口没进去,听见他在跟财务说“要买就买两台,备一台热灾备”。


  平台规则。对,说到这个我就想笑。某次上线新特征抽取流程,把图像长宽比存进了额外字段aspect_ratio_bin,用了enum('1:1','4:3','16:9','21:9'),跑一周发现bin漏掉了2.35:1——电影截图常见,但枚举里没有,MySQL默默转成NULL,下游训练集直接少了一类样本。补救?ALTER TABLE加值?不行,DDL锁表37分钟,运营说“用户上传中断超过30分钟算SLA违约”。最后我们写了个BEFORE INSERT触发器,碰到不认识的比值,自动映射到最邻近bin。这事没报bug,没人认领,但你知道谁天天盯着慢查询日志里那些隐式转换告警么。


  反正现在每天10万图,主库峰值QPS 12k,写延迟稳在18ms内。不是我们多牛,是旧系统扛不住之后,一批人在崩溃边缘重写了schema:image表只留核心字段,所有可选属性甩进jsonb(PG)和dynamic mapping(ES);图ID统一用snowflake,但前41位时间戳砍掉毫秒精度,防止热点写入;批量上传不用事务包全局,拆成每个文件单独事务+幂等token。细节?细节就是打包台上那卷胶带——黄了,但没断,还能用。


  我原以为分库分表是终极解法,结果上线三个月后发现,瓶颈不在数据量,在应用层——Java服务里某个ImageFeatureService的toString()方法,会把整个JSON特征串序列化成日志,logback配了%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n,每条日志平均8KB,每天写120GB磁盘,IO打满,DB连接池跟着抖。改完,load降了30%,DBA来敬我一杯冰啤,说“下次调优前,先看看日志配置”。


  下步?先把lighting_adj_v2字段的JSON解析逻辑从SQL里拎出来,塞进应用层缓存。再不行,就用PG的jsonpath函数重写——但得先确认线上版本是12.5以上。哦对,刚才小杨微信问我:“那个aspect_ratio_bin,要不要把2.35:1正式加进去?” 我回她:“先观察七天,看新上传图里有没有真实出现,别又是个幻觉。”

(编辑:航空爱好网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!