科技日报讯1月5日，看图说话从华中科技年夜学得悉，实现该校软件学院白翔传授领衔的更准VLRLab团队正式发布多模态年夜模子——Monkey。该模子可切确形容图片内容，看图说话并和人类就图片内容举行深切交流。实现多模态年夜模子是更准一类可以同时处置惩罚和整合多种感知数据的AI架构。近年来，看图说话它在浩繁场景中揭示出较年夜后劲。实现据先容，更准Monkey在18个数据集上的看图说话试验中体现精彩，在图片形容、实现视觉问答使命以及文本密集的更准问答使命中具备上风。据先容，看图说话今朝，实现险些一切多模态年夜模子都需求运用网上爬取的更准图文对数据集。这些数据集只能让年夜模子实现简朴的图文形容使命，难以充实开掘图片分辩率日益增长的上风。为解决上述问题，Monkey研发团队哄骗现有东西构建了一种多层级的形容天生要领。经由过程依次对图片举行全体简述、空间定位、模块化辨认、形容赋分拔取和终极总结，该要领可年夜幅晋升图片形容的正确性和富厚水平。“一个个东西就比如差别的整机，合理摆列组合才气使其阐扬最高文用。”白翔说，他地点的团队从2003年就最先从事图片辨认研究。他们一路重复会商，测验考试了10余种方案后才确定Monkey的终极方案。白翔先容，Monkey的另一亮点是能处置惩罚分辩率高达1344×896像素的图片，这是今朝其余多模态年夜模子所能处置惩罚的最年夜尺寸的6倍。这象征着Monkey能对更年夜尺寸的图片举行更正确、富厚、过细的形容甚至推理。据悉，今朝业内能处置惩罚的图片最年夜分辩率为448×448像素。若想进一步晋升多模态年夜模子的图片处置惩罚能力，需投入昂扬的算力老本。该团队成员刘禹良先容，为解决上述问题，团队接纳立异性的“裁剪”要领。他们将原始输出图片支解成多个图片块，每个图片块的尺寸小于448×448像素。他们还为每个图片块装备了一个“缩小镜”，将“缩小镜”放到图片块适合的位置即可“看”清更多细节。多个“缩小镜”同时事情，别离“缩小”差别的图片块，就能提取更多图片局部特性。杜鹃花海茶飘喷鼻2025年4月10日，安徽省芜湖市有为市昆山镇三公山茶叶莳植基地，千亩平地家养杜鹃在青翠的茶园之间灿艳绽开，竹苞松茂，琳琅满目2025-04-1015:13泰州姜堰:科技立异赋能财产成长近年来，江苏省泰州市姜堰区以科技立异赋能财产成长、以财产立异动员技能冲破，连续优化营商情况，迭代进级“堰商汇”数智亲商办事平台，厚植平易近营经济成长膏壤，以高品质办事促成平易近营企业高品质成长。2025-04-0618:06慕田峪长城山花烂漫2025年4月1日，北京怀柔慕田峪长城表里山花怒放，漂亮的春花把古长城妆扮的多姿多娇，如同春天里一幅壮美的风光画2025-04-0215:44引江济淮菜巢线复航2025年4月1日，船舶飞行在安徽省合肥市庐江县境内的引江济淮航道上，标记着菜子湖湿地留鸟越冬季禁航竣事，菜巢线恢复通航2025-04-0115:40太湖之滨春光如画2025年3月31日，江苏姑苏吴中区光福镇，太湖之滨，桃花、樱花、油菜花等竞相绽开，生态柔美，春光如画2025-04-0115:31用镜头记载都会更新青岛首届“百家媒体看转变”勾当圆满终结用镜头记载都会更新青岛首届“百家媒体看转变”勾当圆满终结2025-03-2010:14“昭君杯”首届天下老年独唱年夜赛在京启动"昭君杯"首届天下老年独唱年夜赛在北京年夜剧院正式启动2025-03-1916:10金沙江特年夜桥抢抓施工2025年2月25日，云南省昭通市绥江县，新市金沙江特年夜桥施工现场，工人正加紧施工。2025-02-2615:41梅花绽开报春来2025年2月7日，重庆市巫山县曲尺乡月明村一年夜片梅花竞相开放、灿若彤霞，旅客和市平易近前来嬉戏打卡，尽享春日的欢愉和舒服2025-02-0814:52非遗进景区助推文旅交融2025年2月5日，福建省福清市石竹山风光区，一场非遗英歌舞、建瓯挑幡等非遗演出正在举行，让旅客感触感染中华优异传统文明魅力，富厚景区文明内在和旅游质量2025-02-0615:55湿地公园生态美2025年1月20日，江西省赣州市章贡区都会中心公园内，游船与湖水、植被、高楼彼此映托，出现出一幅冬日多彩漂亮生态画卷2025-01-2015:30盐湖绽开“硝花”景不雅2025年1月16日，受高温气候影响，山西省运城盐湖呈现冬季怪异的“硝花”景不雅，水面上的硝花形态万千晶莹剔透，琳琅满目。2025-01-1615:56《龟兹》：从千年壁画穿梭而来的魂灵之舞一位“行者”行走在广袤的戈壁中，讳饰着绝世的脸蛋，一壁“古镜”掩埋于厚重的沙下，刻满了时间的裂缝。2025-01-1317:25雪后丛林裹银装2025年1月9日，重庆市酉阳土家族苗族自治县桃花源丛林公园白雪皑皑，雪景如画2025-01-0915:24关爱卡暑假公益行助力云南各族青少年儿童胡想起航关爱卡暑假公益行助力云南各族青少年儿童胡想起航2025-01-0814:42集年夜原游览专列首发2025年1月5日，在山西太原南站开往呼和浩特东站的D4022次列车前，旅客自拍合影。2025-01-0616:01生态田园2024年12月8日，广西梧州岑溪市岑城镇木榔村，生态田园中阡陌纵横线条分明，冬韵如画。2024-12-1016:48冬日景美2024年12月10日，贵州省黔西市绿化白族彝族乡年夜海子村，青山环抱树木碧绿，组成一幅漂亮的生态画卷。2024-12-1016:40色调斑斓映苏州2024年12月6日，古城姑苏陌头，成片的银杏、红枫等树木色调斑斓满目缤纷，成为一道诱人的风光。2024-12-0615:48“漂亮经济”助力村落振兴2024年12月6日，初冬时节，山东省青岛市即墨区灵山街道花草莳植基地的年夜棚里一片忙碌，莳植户忙着管护花草。2024-12-0615:48加载更多