2025年6月28日，深思考人工智能机器人创始人兼CEO杨志明博士受邀出席全球人工智能开发与应用大会（AICon），发表《深思考端侧多模态大模型TinyDongni&Deepseek的创新实践》主题演讲，全面解析深思考在端侧AI领域的技术突破与落地成果，展现端侧多模态大模型如何重构智能设备的本地计算范式。

一、端侧AI爆发前夜：技术需求与场景机遇并存

（一）端侧多模态大模型的技术定义

端侧多模态大模型是指在智能手机、IoT设备、嵌入式系统等终端设备本地运行的大规模深度学习模型，具备文本、图片、音频、视频等多模态数据处理能力。其核心特征在于轻量化设计（参数规模适配端侧算力）、本地离线运行（无需网络传输）、毫秒级响应（实时交互）及数据隐私保护（全流程本地处理）。

（二）端侧AI爆发的核心驱动力

·场景蓝海扩张：手机相册、家庭NAS、医疗器械、自动驾驶等端侧场景市场规模预计2032年达1436亿美元，覆盖从消费电子到工业检测的全领域。

·隐私安全刚需：全球数据监管趋严背景下，手表健康数据、医疗影像等敏感场景要求数据本地处理，避免云端传输泄露风险。

·实时交互升级：个人电脑本地搜索、自动驾驶等场景依赖毫秒级响应，端侧模型消除云端延迟，实现语音+视觉实时翻译等多模态交互。

·离线环境刚需：野外作业、工业检测等无网络场景，端侧模型支撑显微镜图像分析等实时诊断任务。

二、技术突围：深思考端侧多模态大模型的核心竞争力

（一）双模型矩阵：“TinyDongni”与“DeepSeek”超小端侧多模态大模型的技术特性

1.“TinyDongni”模型（1.5B/0.4B参数）

·多芯片协同推理：创新任务分解机制，支持将模型运算分配至不同芯片并行处理，大幅提升推理效率。

·内存优化技术：采用顺序加载策略（先视觉编码器后语言模型），以减少内存占用。

·定制调优能力：基于基础模型快速适配下游任务，支持垂直场景（如医疗、工业）的专属功能开发。

·量化压缩创新：TinyDongni使用自研的Dongni-AMDC技术对模型权重和输入同步压缩，可大量降低模型内存占用，提升编解码速度。

·Token数量压缩降低首token延迟：图像编码器token数量极致压缩，成倍降低首次访问延迟。

·低功耗低延迟低资源：通过深度优化的算法架构与硬件协同设计，实现极致能效比，尤其适合边缘设备与资源受限场景的实时部署需求

2.“DeepSeek”超小端侧多模态大模型（1B参数）

·多模态语义理解：通过Dongni-v多层次语义解码架构，实现图像与文本特征的跨模态对齐，赋予模型“视觉-语言”联合理解能力（如图像描述生成、视频内容解析）。

·模型量化优化：使用自研的Dongni-AMDC方法量化压缩了DeepSeekR1模型为DeepSeekR1-1B端侧模型，在压缩模型规模的同时保持推理精度，实现“低功耗、低延迟、低资源”的端侧部署。

（二）Dongni-AMDC量化算法：端侧推理全流程优化

·智能动态压缩策略：同步优化模型结构与输入数据，通过自适应稀疏压缩技术减少初始数据处理量，首Token延迟优化适配实时交互场景（如语音助手、相册搜索）。

·超低资源占用设计：动态加载与权重共享机制，使大模型可运行于手机（内存1.8G）、显微镜等资源受限设备，精度-效率平衡算法确保性能损失最小化。

·跨模态语义融合：Dongni-v架构通过自适应交互机制捕捉多模态间细粒度关联，独创“语义连贯度评估”技术提升医疗影像分析、跨模态搜索等复杂任务的准确性。

（三）全栈适配能力：从系统到芯片的端侧生态构建

·多系统兼容：已适配OpenHarmony、LinuxUbuntu22.04、统信UOS、Windows10/11、Android14等主流操作系统。

·芯片级优化：覆盖IntelCoreUltra/i系列、飞腾D2000、瑞芯微RK3588、高通骁龙8Gen3/8Elite等多算力层级芯片，在高通骁龙8Elite上实现30-35tokens/s的生成速度，兼顾高性能与低功耗。

三、场景落地：端侧AI重构智能设备应用范式

（一）消费电子领域：隐私保护与智能体验双升级

·AI手机：

·智能相册：支持“文字搜图/视频”“图搜图”“语音搜图”多模态检索，如输入“端午节海边合照”可毫秒级定位目标内容，全流程本地处理杜绝隐私泄露，保障用户隐私与数据安全，让智能体验更安心。

·多模态搜索引擎：突破文件名限制，深度解析图片、音频、视频、文档语义关联，输入“跳舞”即可呈现所有相关内容，100%端侧离线保障数据安全，杜绝隐私泄露风险。

·AI手表：构建“数据-解读-咨询-预警-情感陪伴”闭环，实时分析心率、睡眠等健康数据，结合情感识别提供个性化建议，如心率异常时即时推送休息提醒并提供健康建议。

（二）医疗健康领域：离线诊断与效率革新

·AI显微镜：集成端侧模型的医疗设备，支持离线运行与加密分析，可加载病理检测AI模块，提升细胞识别、病灶分析的稳定性与效率，已服务100多家顶级三甲医院及70%头部第三方检测机构。

四、生态共赢：深思考技术落地的行业标杆案例

（一）医疗重疾早筛生态

与多家医学机构合作，将AI显微镜技术应用于病理检测，通过端侧模型实现离线分析，缩短诊断周期，提升基层医疗服务能力。

（二）智能终端产业协同

携手多家知名企业，实现本地相册智能管理、车载多模态交互、家电语音控制等功能，推动端侧AI在消费场景的规模化应用。

五、结语：端侧AI新基建，深思考定义技术基准

杨志明博士在演讲中强调：“端侧多模态大模型是AI从云端走向终端的关键桥梁，深思考通过‘模型压缩-多模态融合-硬件协同’的全栈技术体系，正在构建端侧AI的新基建。”从技术创新到场景落地，深思考不仅能为设备厂商提供了低门槛的AI能力集成路径，更通过隐私保护与实时交互的技术优势，重新定义了智能终端的用户体验标准。随着端侧AI生态的持续扩张，深思考正引领行业从“云端依赖”迈向“终端智能”的全新时代。