在“嵌入即服务”模式下，用户与云端大语言模型交互时，常面临敏感信息泄露的风险。为解决这一难题，一种名为SnD的创新框架被提出，它通过在客户端对模型进行拆分并注入噪声，实现了强隐私保护与高推理效用的平衡，且无需改动原有模型，为隐私安全提供了低成本的新思路。
智能速览
SnD框架通过客户端拆分模型、注入噪声并本地去噪，实现隐私保护。
该技术基于本地差分隐私，确保原始数据不上传至服务器。
实验显示，在相同隐私预算下，SnD性能比基线平均提升超10%。
客户端去噪是平衡隐私与效用的关键，有效解决了服务器去噪效果差的问题。
SnD无需修改大模型参数，可直接应用于现有“嵌入即服务”中。
精华内容
SnD框架如何巧妙平衡隐私保护与模型效用？其核心在于将模型计算进行拆分，并结合了语义感知的噪声注入与客户端去噪技术，为解决云端推理的隐私泄露难题开辟了新路径。
核心原理：拆分与降噪
SnD框架的创新之处在于其四步工作流程。首先进行模型拆分，将Transformer架构的LLM拆分为客户端本地编码器与服务器云端编码器。
其次，在客户端本地，仅运行计算量低的令牌嵌入层，将文本转换为初始数字向量。随后，通过私有化模块，基于δ-privacy（一种为文本数据量身定制的本地差分隐私变体）为初始嵌入添加拉普拉斯噪声，并进行范数裁剪，将数值限制在可控范围内。
加噪后的嵌入被传输至云端服务器进行处理，得到带噪的最终嵌入后返回给客户端。最后，由客户端部署的预训练去噪模型，利用其对噪声水平和原始数据的知情权，对服务器返回的嵌入进行精细化去噪，输出有效嵌入以供下游任务使用。
性能优势：高效与安全
SnD在效率与安全上展现出显著优势。在计算开销上，客户端仅执行令牌嵌入生成、噪声注入和轻量级去噪，其计算复杂度远低于运行完整的LLM。通信开销也仅为O(nd)，相比基于同态加密的密码学方法，通信量降低了5000倍以上。
在隐私保护方面，由于服务器仅接收经过噪声处理的私有化嵌入，无法接触原始数据，有效抵御了推理攻击。实验数据显示，当隐私预算δ≤500时，BERT模型的令牌反转攻击准确率低于1%；当δ≤0.1时，T5模型的互信息MI小于0.02，攻击成功率接近于零。
在模型效用方面，通过客户端去噪，SnD在相同隐私预算下的下游任务性能比TokEmbPriv、Text2Text等基线平均提升了10%以上。在CoLA、QQP等任务中，其准确率损失被控制在5.25%以内，远低于基线超过15%的损失。
关键创新与差异
SnD与现有隐私保护方案存在本质区别。相较于采用同态加密的PCFT方案，SnD的LDP机制计算开销极低，更适合大规模Transformer模型。
与同为LDP方案的TokEmbPriv相比，SnD引入了语义感知的δ-privacy噪声机制，避免了传统噪声对文本语义的破坏，并创新性地采用客户端去噪，解决了TokEmbPriv缺乏去噪环节导致的效用低下问题，在AUC指标上高出15%-22%。
而与Text2Text这类文本扰动方案不同，SnD作用于向量嵌入层，而非离散的文本本身，更好地保留了文本的深层语义结构。与专注于提示微调阶段隐私的RAPT方案相比，SnD聚焦于推理阶段的嵌入生成，适用场景更广，尤其在低隐私预算下性能优势更为明显。
局限与未来
尽管SnD表现出色，但仍存在一些局限性。对于参数量巨大的超大规模LLM，其嵌入更为复杂，现有去噪机制难以完全消除噪声影响，下游任务准确率有待进一步提升。
此外，客户端的去噪模型仍需一定的计算资源，对移动端等资源受限设备不够友好。同时，当前框架尚不支持采用自回归机制的序列到序列（S2S）模型，因为噪声会在生成过程中被逐级放大。
未来研究方向包括设计更轻量级的去噪模型、开发支持S2S推理的逐步去噪机制，以及利用联邦学习等技术使去噪模型能自适应不同用户的私有数据分布，减少对公共数据集的依赖。
SnD框架为“嵌入即服务”场景提供了一套兼顾隐私、效用与成本的实用方案，它不仅推动了LLM推理阶段的隐私保护研究，也为企业满足合规要求、降低技术成本提供了可能。未来，随着模型轻量化与自适应技术的发展，该方案有望在更多领域落地应用，真正实现“隐私即服务”的愿景。
