TensorRT|在多个GPU中指定推理设备

  • 来源：面包芯语
  • 时间：2023-08-03 21:09:44


(资料图)

//查询设备数目intdeviceCount;cudaGetDeviceCount(&deviceCount);//遍历设备编号信息intdevice;for(device=0;device
// 设置当前设备为GPU 0cudaSetDevice(0);// 初始化TensorRTthis->runtime=createInferRuntime(gLogger);assert(this->runtime!=nullptr);this->engine=runtime->deserializeCudaEngine(trtModelStream,size);assert(this->engine!=nullptr);this->context=engine->createExecutionContext();assert(this->context!=nullptr);delete[]trtModelStream;// do more thing here// insert query input and output layers information//创建GPU显存输入/输出缓冲区std::cout<<"input/outpu:"<getNbBindings()<input_h*this->input_w*3*sizeof(float));cudaMalloc(&buffers[2],this->output_h*this->output_w*sizeof(float));cudaMalloc(&buffers[1],32*25600*sizeof(float));//创建临时缓存输出prob.resize(output_h*output_w);mprob.resize(32*25600);//创建cuda流cudaStreamCreate(&stream);
//初始化时间标记cudaEvent_tstart,stop;cudaEventCreate(&start);cudaEventCreate(&stop);cudaEventRecord(start,0);//查询设备数目intdeviceCount;cudaGetDeviceCount(&deviceCount);//遍历设备编号信息intdevice;for(device=0;device

参考资料：

扫码查看OpenCV+OpenVIO+Pytorch系统化学习路线图

关键词：

佳木斯盖方舱医院项目已公开招标，招标预算超4200万

精彩推送

6年从8万到4500万，“北京炒家”3大追板铁律，能悟透的人并不多
城建 2023/08/03
券业监管趋严！年内经纪业务罚单增至63张，光大证券单日领了6张
产业 2023/08/03
水果干市场将步入高速发展期 创新型产品成主力军水果干市场前景分析
访谈 2023/08/03
元谋猿人遗址第六次考古发掘工作启动
经济 2023/08/03
广州生育产前检查需要选点吗？
幻影 2023/08/03
佳能（ixus）
基金 2023/08/03
2023哈尔滨国际车展地点
动态 2023/08/03
大运会广州首金诞生 黄博文与搭档男子双人3米板跳水夺冠
楼市 2023/08/03
首届全国农业广播电视学校说课大赛举办
衣裳 2023/08/03
早盘观感：沪指似乎有只手在“操盘”（0802223）
读书 2023/08/03
美财长耶伦：强烈反对惠誉下调美国评级
热点 2023/08/03
东莞清溪：上半年完成工业投资13.6亿元，同比增长58.4%
直播 2023/08/03
《遗迹2》的同时在线人数记录是第一款游戏的两倍
滚动 2023/08/03
励志朗诵大全_励志诗歌朗诵稿
创氪 2023/08/03
买保险一年6000退保能拿回多少钱？怎么全额退保费？
网络 2023/08/03
286元！MacBook电脑支架新款上市
公益 2023/08/03
第一太平(00142.HK)发布联营公司PLDT中期业绩，股东应占收益净额184.51亿披索，同比增长9.92%
网络 2023/08/03
我国成功发射风云三号06星
饲料 2023/08/03
2023遵义医疗事故罪被逮捕前可以做什么
汽车 2023/08/03
这些医药股业绩大涨，券商直呼“药”到病除！|挖掘潜力股
聚焦 2023/08/03
省直机关工会开展“工会送清凉、防暑保安康”慰问活动
黑科技 2023/08/03
哈尔滨大麦微针和瑞丽种头发哪家好 两家医院实力对比
热点 2023/08/03
未来中国，哪些赛道蕴藏新机遇？
家电 2023/08/03
工业硅日报：供给结构性调整 硅价大涨有限
视频 2023/08/03
闻着荷香采莲忙
互联网 2023/08/03
《霍格沃茨之遗》内容丰富：有57个支线任务 34种敌人
平板 2023/08/03
小E：我付出了巨大的努力 终于能够重返赛场
旅游 2023/08/03
媒体人：福建队为杨阿力付出了培养费 昔日国青队长有望找回风采
科学 2023/08/03
金士顿优盘修复工具及教程（金士顿优盘修复工具）
服务台 2023/08/03
卓郎智能控股股东短线交易被罚40万 连亏三年半涉信披违法违规被立案
专题 2023/08/03
广东英德13人擅闯石门台保护区被困，获救后将被处罚
软件 2023/08/03
“国家艺术体操训练基地”落户成都体育学院
职员 2023/08/03
南野拓实：英超是世界上最艰难的联赛，我很享受在英格兰的时光
期货 2023/08/03
北京出台18条举措 助力高技能人才队伍建设
律师 2023/08/03
利好政策频出，一线城市新房找房热度上升了
要闻 2023/08/03
凝思软件大客户集中藏风险,合合信息募投项目存隐患
网评 2023/08/03
武汉公交359路运营时间及票价多少？
旅游 2023/08/03
祝贺！我国成功发射风云三号06星
快讯 2023/08/03
狸窝视频转换器官网（狸窝全能转换器）
证券 2023/08/03
2023年08月03日山东市场赖氨酸动态
访谈 2023/08/03
上啦征信还可以撤销逾期记录吗-上啦征信还可以撤销逾期记录吗怎么办
财经 2023/08/03
房地产服务板块涨1.32% 世联行涨2.92%居首
读书 2023/08/03
以父之名by青浼推（以父之名by青涣）
观点 2023/08/03
美国向乌克兰输送资金或成一笔“糊涂账”
零售 2023/08/03
北京的夏天有自己独特的颜色、味道、气息……（3）
主板 2023/08/03
2023年定州市西关东街小学招生（时间+范围）
证券 2023/08/03
伊戈尔：截至2023年7月31日，公司股东总户数为44,309户
娱乐 2023/08/03
山西大同上寨河水位暴涨堤岸桥梁被毁，大面积农作物受灾
it 2023/08/03
网络“杀猪盘”统一的打招呼方式，看看他们开始都说些什么
职员 2023/08/03
形容好学的成语三个 形容好学的成语
制造 2023/08/03
替夫还债？王艳首次直播带货，卑微求粉丝别烦，卖15亿豪宅无人要
环创 2023/08/03
广州拟对住宅半开敞空间半算计容比例适当放宽
热点 2023/08/03
暴雨灾区捐款与救助
物联 2023/08/03
2023义乌市人才补贴+就业创业补贴申领条件+流程汇总
要闻 2023/08/03
无人区高温沙漠环境遇险如何自救
零售 2023/08/03
宏华集团(00196)发盈警，预期上半年股东应占亏损同比减少超过50%
消费 2023/08/03
TensorRT|在多个GPU中指定推理设备
城市 2023/08/03
国林科技：目前乙醛酸晶体及水溶液产品均有市场销售，产销率尚待进一步提高
科技 2023/08/03
王者荣耀张良出装六神装最强2021
生态 2023/08/03
棒杰股份：10GW光伏项目预计于第三季度投产
评论 2023/08/03
云南：2023年8月3日录取日报
教育 2023/08/03
2023年常州生源地助学贷款利率是多少?
链接 2023/08/03
音质好到起飞的有线耳机，氦刻HIK S1音色丰富明亮，低音足均衡带感
动漫 2023/08/03
北京疾控提醒：强降雨后，饮食安全做到“四要七不要”！
智慧 2023/08/03
起点已是别人终点！冬奥冠军苏翊鸣晒清华录取通知，专业才是亮点
聚焦 2023/08/03
小米12s Pro限时优惠 原价2779元，到手价2449元
科技 2023/08/03
2023年8月2日云南省西兰花批发价格行情
原油 2023/08/03
茶陵县检察院举行未成年人司法社工项目续约仪式
观察 2023/08/03
“非遗”进大运村啦！运动员们现场体验了哪些技艺？来看→
科教 2023/08/03
且买且珍惜 宝马6系GT已停产 只因销量太惨淡
CD图像 2023/08/03
赵丽颖发微博怼杨幂_赵丽颖微博骂杨幂
热点 2023/08/03
日本产业关注三星、LG在OLED电视市场的主导地位
企业 2023/08/03
祁门县金字牌镇：打造“五小园”扮靓“美丽庭院”
汽车 2023/08/03
电脑怎么取消打印 电脑取消打印的方法 电脑打印如何取消打印
5G 2023/08/03
花溪区随迁子女入学现场审核（时间+地点+材料）
健康 2023/08/03
谷歌下架AI Test Kitchen应用 用户无法再下载
星娱 2023/08/03
霉霉给工作人员发放高额奖金 总计超3.9亿元人民币
衣裳 2023/08/03
维科精密8月3日加速下跌
家具 2023/08/03
北京房山全区约六万户停电
健康 2023/08/03
哽咽乘务员列车物资已补充
中医 2023/08/03
暴跌近50%，逾百亿存款“飞了”！持续高成长的光刻机概念股出炉，仅14只（附股）
创氪 2023/08/03
《蔚蓝档案》千夏温泉角色介绍一览
环创 2023/08/03
神威药业(02877)发盈喜，预计中期股东应占溢利同比增加约45%至50%
国际 2023/08/03
恒瑞医药：医药反腐有助于医药行业健康化、规范化、高质量发展
汽修 2023/08/03
《无畏契约》游戏怎么投降？游戏认输方法
原油 2023/08/03
河南周末将迎新一轮大范围降水，局部大雨或暴雨
收藏 2023/08/03
一博科技8月3日盘中涨幅达5%
手机 2023/08/03
光大同创：8月2日融资买入65.07万元，融资融券余额3572.6万元
股票 2023/08/03
车主吐槽蔚来的格局：被插混车抢热门充电桩恶心到了
公司 2023/08/03
中新赛克最新股东户数下降6.61% 筹码趋向集中
端口 2023/08/03
怎么快速瘦脸_怎么快速哭出来
服务 2023/08/03
直击河北涿州救援现场：受困民众陆续获救
主板 2023/08/03
2023年上海市普通高校招生专科艺体类批次院校（类别）投档分数线
教育 2023/08/03
北京1-7月第三类创新医疗器械获批上市数量居全国第一
滚动 2023/08/03
工行举办民营企业座谈会 发布支持民营企业高质量发展行动方案
双创 2023/08/03
不许中国深海采矿？当着各方的面，中方直接阻止讨论，外交部回应
生活 2023/08/03
关于荷花的文案 关于荷花
城市 2023/08/03
多地猪价陆续突破“8元/斤大关”，会大幅反弹吗？
国内 2023/08/03
群晖NAS新功能：主题识别功能上线
体育 2023/08/03
三菱电机研发了一种场景感知交互技术
生活 2023/08/03

娱乐More

伊戈尔：截至2023年7月31日，公司股东总户数为44,309户

相关推荐

TensorRT|在多个GPU中指定推理设备
城市 2023/08/03
关于荷花的文案 关于荷花
城市 2023/08/03
昔日牛股从307元跌至23元，跌幅超92%，发生了什么？
城市 2023/08/03
算力股逆市走强：近19个交易日板块涨幅超30% 需求仍处高位
城市 2023/08/03
多重利好共振 港股造车新势力集体走高 蔚来涨幅超 8%！
城市 2023/08/03

热门资讯

海陆重工董秘回复：公司主营业务不涉及
国际 2023/08/03
命运方舟幽灵船获取教程 幽灵船怎么获取
国际 2023/08/03
涿州救援：多支救援力量集结 仍有村镇情况严重难以抵达
国际 2023/08/03
“别客气，有困难就找我们”
国际 2023/08/03
国芯科技：公司CCFC3008PT芯片可以用作智能座舱的功能安全芯片
国际 2023/08/03

资讯播报

wlk奥妮克希亚龙头换什么装备（奥妮克希亚的头颅任务奖励）
视频 2023/08/03
市场监管总局面向社会征集计量数据建设应用基地
独家 2023/08/03
今日8时至20时，大渡口这些区域计划停水
黑科技 2023/08/03
丰田汽车第二季度营业利润大涨94%
视频 2023/08/03
逐梦丨“我的战机将是冲向敌人的最后一发导弹”
搜索 2023/08/03
开奶茶店取名宝典（开奶茶店取名）
头条 2023/08/03
天津尾号限行规定2023年8月
端口 2023/08/03
第五届中国草原酸奶大会在内蒙古乌兰察布市开幕
平板 2023/08/03
氪星晚报 ｜亿纬锂能：预计上半年净利润20.4亿元-22.4亿元，同比增长50%-65%；京东方旗下公司增资至145亿元，增幅1449倍；联想推出多款AI引擎PC
行业 2023/08/03
大众捷达或“买断”零跑平台技术？零跑：不予置评【附新能源汽车行业市场分析】
热点 2023/08/03
华安证券：给予贵州茅台买入评级
房产 2023/08/03
桂花的品种有哪些品种 桂花的品种都有什么
动漫 2023/08/03
恒大物业港股跌超46%，市值较停牌前蒸发117亿港元
环创 2023/08/03
2023梁静茹东莞演唱会门票价格是多少？
股市 2023/08/03
伦敦金属交易所(LME)：铝库存减少1850吨，铜库存增加5825吨，镍库存减少24吨，铅库存增加875吨
软件 2023/08/03
【世界说】洛杉矶有色人种“不成比例”地被捕？美媒：种族再一次成为美国分裂的战场
收藏 2023/08/03
【大运发布厅】国际大体联：大运会让全世界见识到了成都的深厚底蕴
国内 2023/08/03
一博科技8月3日快速上涨
要论 2023/08/03
中兴通讯助力中国移动完成5G XR第一阶段外场测试
电子 2023/08/03
英博数科向紫光晓通采购AI创新赋能中心所需的部分设备
策划 2023/08/03
8月3日 13:19分 万孚生物（300482）股价快速拉升
家居 2023/08/03
枯藤老树昏鸦的画面描述150字 枯藤老树昏鸦的画面
公司 2023/08/03
均价1.2万，7月太原房价涨了!
经济 2023/08/03
今日8时至20时，大渡口这些区域计划停水
头条 2023/08/03
歌手米朵（米朵麦词）
CPU 2023/08/03
2023年世界500强发布，京东连续八年上榜蝉联国内行业首位
收藏 2023/08/03
盛大的加冕！雷德利·斯科特《拿破仑》发布新剧照
时尚 2023/08/03
振弦传感器信号转换器应用山体滑坡安全监测
专题 2023/08/03
现场丨营救待产孕妇、安全转移独居老人……河北多地救援人员在行动
软件 2023/08/03
广东省2023年普通高考专科批次普通类正式投档
教育 2023/08/03
芭比电影遭遇困境 中东国家拒绝上映
焦点 2023/08/03
注意！黑龙江暴雨红色预警信号
要闻 2023/08/03
孙迎峰(关于孙迎峰简述)
汽车 2023/08/03
2023年陕西省普通高校招生二本定向生、民族班、预科班录取情况
教育 2023/08/03
豪门梦碎？50岁王艳直播带货引争议，神情抑郁疑为夫还债
律师 2023/08/03
贾跃亭未履行2.4亿罚款成老赖
科学 2023/08/03
河北涿州防汛形势严峻，最新消息
中医 2023/08/03
青岛小城镇创新提升行动试点镇名单公布！力争5个进入全国千强
外汇 2023/08/03
2023年陕西省普通高等学校招生本科二批征集正式投档情况统计表
教育 2023/08/03
安姆斯质量技术服务 上海有限公司(关于安姆斯质量技术服务 上海有限公司简述)
商店 2023/08/03
信用卡欠了十几万无力偿还如何办理停息
it 2023/08/03
2023年中国银行业100强榜单出炉
动态 2023/08/03
南京贝赛思国际学校幼儿园学费多少(南京贝赛思国际学校幼儿园学费多少钱一年)
观点 2023/08/03
香港综合营商指数回落至46.7 为去年第三季来最差
行业 2023/08/03
肾有寒精衰，肝有寒筋缩，心有寒血虚，中医一招，横扫“心肝肾”之寒
产业 2023/08/03
北部湾（海南儋州）旅游美食博览会夏日沙滩啤酒节开幕
快讯 2023/08/03
成都大运会|“巍巍华夏”一窥中华五千年璀璨文明
头条 2023/08/03
成都大运会｜游泳综合：“蛙王”“蝶后”赶场创纪录 中国队收获一金
房产 2023/08/03
水发燃气(603318.SH)：派思投资累计被动减持1%股份 减持数量已过半
消息 2023/08/03
中国企业宁德时代成全球电池第一 占有率超36%
黑科技 2023/08/03
维科精密：8月2日融资买入3243.82万元，融资融券余额4110.15万元
国际 2023/08/03
康复路（关于康复路的基本详情介绍）
食物 2023/08/03
天府融媒看大运｜【大运“智”造家④】24小时“不打烊” 大运村这位“厨师”不一般
文章 2023/08/03
群益证券：给予恩华药业增持评级，目标价位31.0元
证券 2023/08/03
海南琼中女足夺冠！全国青少年女子足球邀请赛落幕
律师 2023/08/03
一个男人愿意吃你的剩饭说明什么 女子趁男子不在将剩饭倒其锅内 基本情况讲解
原创 2023/08/03
北京调整防汛应急响应，8区仍一级预警
环创 2023/08/03
璧山区妇幼保健院启动世界母乳喂养周系列活动
食物 2023/08/03
租赁车抵押给别人合法吗
视频 2023/08/03
首次长三角水鸟同步调查结果出炉，记录到国家重点保护鸟类29种
it 2023/08/03
A股：做好心理预期，调整接近尾声，行情却不同了？
饲料 2023/08/03
什么是适合中国人的肿瘤诊治　CACA指南成都开讲
楼市 2023/08/03
北京发布分区域暴雨黄色预警 4日多区将有短时强降雨
评论 2023/08/03
博盈特焊：8月2日融资买入899.57万元，融资融券余额2459.02万元
基金 2023/08/03
百度旗下搜索平台发布3.10.1版本更新
行业 2023/08/03
起底李铁投资版图
旅游 2023/08/03
妻子谈莱万未来：不知发生什么，但我无法想象巴塞罗那以外的生活
科教 2023/08/03
安全抵达！K396第二批近500名旅客到达北京丰台站
悦读 2023/08/03
好莱坞编剧与影视公司将举行三个月来首次谈判
能源 2023/08/03
PS5主机全球首次降价后 英国销售量猛增75%
商业 2023/08/03
酷狗音乐MV怎么下载教程 MV下载到U盘里方法 酷狗音乐怎样下载mv到u盘
艺术 2023/08/03
再融资募投项目信披监管迎强化
艺术 2023/08/03
天津商业保理“稳链补链强链”成效显著
要闻 2023/08/03
河南社旗：多形式开展拥军优属活动
能源 2023/08/03
苏高新集团“23苏州高新SCP008”9月21日兑付，利率为2.12%
星娱 2023/08/03
英特尔员工等到好消息，公司承诺取消工资削减并发放限制性股票
星娱 2023/08/03
国家气候中心：预计今年秋季形成一次中等以上强度的厄尔尼诺事件
港股 2023/08/03
南京证券：给予立讯精密买入评级
读书 2023/08/03
共绘生态文明新画卷 ——一位日本七旬老人在甘肃的绿色梦想
电影 2023/08/03
半年报汇总丨这家公司上半年净利同比增608%
评论 2023/08/03
自主架构！龙芯全新国产CPU研制成功：对标10代酷睿
空间 2023/08/03
情侣qq分组 情侣qq分组名称简单好听）
悦读 2023/08/03
上海医博肛肠医院（上海医博肛泰医院医生简介
家居 2023/08/03
倍特期货：豆粕择机布局
公益 2023/08/03
吴京骑单车赶《巨齿鲨》路演，速度太快助理追不上，网友：接地气
原油 2023/08/03
7月份儋州新房住宅+商办共成交598套，新湾沁园、万通城中汇领跑！
机器 2023/08/03
广信材料(300537.SZ)：拟推150万股限制性股票激励计划
港股 2023/08/03
共续“山海情” 合作“两级跳”
专题 2023/08/03
攸县电商平台助力黄桃走出深山
零售 2023/08/03
新疆黄玉属于什么档次
饲料 2023/08/03
和田玉黑青和墨玉的区别
财讯 2023/08/03
泽宇智能：公司正在积极筹备泽宇智能的高新技术企业认证申报工作，后续有重要进展会及时披露，请您持续关注
头条 2023/08/03
北京暴雨60小时
vir 2023/08/03
龙岩长汀县签约开竣工项目22个，总投资24.8亿元
家庭 2023/08/03
用文本生成音乐，Meta 发布开源 AI 工具 AudioCraft
视频 2023/08/03
黑女巫法琳娜攻略，法琳娜攻略指南
网评 2023/08/03
38万元劳力士寄到后只剩空盒？最新进展→
科技 2023/08/03
和田墨玉的产量
家电 2023/08/03
【北京成交日报】08月02日新房成交387套、二手房391套;涨价房源261套
衣裳 2023/08/03
“卡努”预计4日夜间到5日加速向东北方向移动 上海今明有分散性阵雨或雷雨
电子 2023/08/03