先说一个你可能没意识到的产品设计问题。

如果你做的是一款AI陪伴、AI客服或者情感类AI产品,你的算法工程师大概率被要求做过一件事:提升用户停留时长、提升日活、提升复购。做法很直接——让AI变得更"懂你"、更会安慰、更会在你想走的时候多留你一句。

问题就出在这。监管现在盯的,正是这套"越贴心越留人"的机制。所谓"温柔陷阱",说白了就是:算法不是在提供服务,而是在制造依赖。用情绪价值把人黏住,本质和游戏防沉迷要防的是一回事。

我做AI合规咨询时,经常要跟做产品的老板讲清一个判断:情绪价值本身不违法,用算法刻意制造情感依赖并从中牟利,才是监管的靶心。

这条线怎么划,可以从现有框架推。中国这几年对AI已经搭了三层规则:2022年的算法推荐管理办法、2023年初的深度合成规定、2023年8月起施行的生成式人工智能服务管理暂行办法。这三层里反复出现的关键词是"算法向善""防沉迷""不得利用算法诱导用户"。情感类AI新规不是凭空冒出来的,是把这套原则往"情绪操纵"这个具体场景上收紧。

对做产品的你,落到实处是三件事:

一是告知。用户得清楚知道跟他聊天的是AI,不是真人。拟人化可以,伪装成真人不行。

二是防依赖设计。系统要有主动降温机制——比如识别到用户长时间高频依赖时给出提示,而不是变本加厉地留人。你的增长指标如果全靠"留得越久越好",合规上就危险。

三是未成年人和脆弱人群保护。这是重灾区。情感AI对青少年、独居老人的影响,监管会用更严的尺度看。

如果你的产品还打算出海,这套逻辑更要提前想。欧盟的AI监管、多个法域对"操纵性设计"(dark pattern)都已经有明确态度,情感操纵是被点名的高风险项。国内合规做扎实,出海时不至于推倒重来。具体条款以当地律师和现行有效法律为准,但方向是一致的:AI可以温柔,不能算计。

我的CS背景让我看这类产品时,习惯先问一句你的推荐逻辑和留存机制是怎么写的——因为合规风险往往不在用户协议里,而在代码里。

你现在能先做的一件事:把你产品里"提升用户停留/依赖"的那几个功能点列出来,逐条问一句"这是在服务用户,还是在留住用户"。分不清的,发来我帮你理一遍。

———
吴展鵾律师 · 涉外律师
涉外/跨境为主 · 办理广州/大湾区/全国刑事民商诉讼与法律顾问 · 中/英/西/日4语
主站:wzklaw.com · 预约:wzklaw.com/booking.php