模型对齐

同一个越界请求换五种问法——换语言、加角色扮演、拆成几个子问题——拒绝的措辞会变，边界一动不动。 拒答不是查黑名单，是训练时用人类反馈塑形出来的倾向。