做早期新兴技术识别时,筛选、多维数据和模型怎样衔接?【讨论记录】

问:

我想识别尚处早期的新兴技术。现在的设计分为两步:先从大量技术主题中筛出可见度较低、但已经出现增长趋势的候选主题,再用一套比较成熟的方法,从候选主题中识别新兴技术。第一步把窗口推到了更早的位置,第二步完成识别。这样能不能称为早期识别?

答:

先不争论它应该叫筛选还是识别。你先把第一步拿掉,让后面的方法直接处理全部技术主题,看看会发生什么。

假设原来有一万个主题,第一步筛完剩下一千个,第二步最后识别出五个。如果不筛选,第二步面对一万个主题仍然能找到这五个,那么第一步确定减少了计算量,却没有增加识别能力。如果不筛选就找不到,问题反而更尖锐:为什么一个原本无效的方法,在看过一份缩短的名单以后就有效了?前面表示“早”的那些信号并没有进入后面的方法,两个阶段之间实际传递的只是主题的去留。

一万个变成一千个是工作量的变化,不自动等于知识上的增量。输入对象处在早期,也不自动意味着方法获得了“早期识别”的能力。

问:

第一步至少把研究范围限定在了较早的时间窗口。这个限定本身不能体现弱信号的作用吗?

答:

那就再做一个更简单的对照:不用弱信号筛选,只把某个时间点以前的全部技术主题交给后面的方法。如果两种处理得到的结果相近,那么第一步真正起作用的可能只是时间截断。你当然可以限定时间窗口,但不能因为给这个窗口附加了“弱信号”的解释,就认为弱信号理论已经进入方法。

一个理论有没有发挥作用,不看它是否出现在第一阶段的名称里,而看换成更简单的操作以后,研究会不会失去只有这个理论才能提供的信息。复杂流程与简单时间限制等效时,复杂性本身不是贡献。

问:

如果弱信号不应该只负责筛掉一批主题,它可以在研究中怎样发挥作用?

答:

一种值得尝试的倒转是:不要先用几个既定指标筛技术主题,而是让弱信号理论帮助筛选可能具有早期意义的数据特征。前一种做法筛掉的是研究对象,筛完以后弱信号就退出了;后一种做法筛的是用于判断对象的信号,筛选结果会继续进入后面的识别和验证。

这一区别很重要。技术主题已经是聚类和汇总后的结果,许多细微变化可能在形成主题和指标的过程中被压缩掉。如果要寻找比成熟指标更早的迹象,可能需要回到更接近原始文本或底层表征的位置,从较多候选特征中判断哪些特征具有先行性。靠近原始数据不保证一定能发现弱信号,但至少保留了提出新信号的可能;只在几个成熟指标上重新设阈值,通常很难凭空产生时间优势。

问:

为什么“从容易取得的信号推断后来才能确认的结果”如此重要?

答:

可以把它类比成食品检测。有些成分的检测昂贵、缓慢或者操作困难,于是研究者寻找一些更容易检测的成分,用它们推测那些难以检测的成分。贡献不在于先删掉一批样品,再对剩下的样品照常进行昂贵检测;而在于容易检测的成分是否真的携带了关于难测成分的信息。

食品检测跨越的是检测难度与成本,早期识别跨越的是时间,两者共同的要求是:前一种信息必须能够推断后一种结果。成熟方法后来识别出十项技术,新方法的意义不一定是识别出二十项,而是只使用更早时点能够观察到的信息,能否提前指向后来被确认的那十项技术。如果不能建立这种对应关系,“早”仍然只是研究窗口的名称。

建筑穹顶的线条结构

问:

那么怎样证明早期信号不是研究者知道结果以后作出的事后解释?

答:

验证时必须把“后来才知道的结果”和“当时已经看得见的信息”分开。假设成熟方法在较晚时点确认了一百项新兴技术,可以拿其中六十项研究早期信号与最终结果之间的关系,把剩下四十项留作检验。检验时只能使用早期窗口内已经存在的数据,不能把后来出现的信息倒灌回去。

六十和四十只是一个便于理解的假设,比例本身不是重点。重点是那四十项在建立关系时不能被提前看见,时间顺序也不能被打乱。否则模型可能非常准确,却只是学会了用结果发生以后的痕迹解释结果。所谓早期识别,首先不是多识别几个,而是同一个后来成立的判断,能不能在信息尚不充分时被可靠地提前作出。

问:

研究框架中还有一个“多维数据融合”环节。把它作为一章的目标,有什么问题?

答:

融合是动作,不是目的。看到“多维数据融合”,读者只知道你做了什么,不知道为什么做,也不知道做完以后研究增加了什么能力。

同样的数据拼接,可以服务于不同目的:改善技术识别、解释技术之间的关系,或者描述技术在时间和空间上的变化。目的不同,需要保留的信息、融合方式和评价标准都会不同。先把“融合是为了什么”说清楚,才知道哪些数据应该进入同一个表示。否则融合很容易变成一种自我证明:因为论文声称使用多维数据,所以必须不断往向量里添加字段;字段越多,反而越难说明每一项为什么存在。

问:

如果把技术文本和分类编码融合,再根据分类编码映射出产业链标签,是否可以说数据又增加了一个维度?

答:

要看产业链标签是否带来了分类编码中原来没有的信息。如果标签完全由分类编码映射而来,那么表面上多了一列,信息并没有增加。

这就像电影院规定一米五以下免票。工作人员先问一个人多高,对方回答一米七;接着工作人员又记录了一项信息:“一米五以上。”表格里的确从一个字段变成了两个字段,但第二个判断完全可以由第一个数字推出。它不是新的观测,只是原信息换了一种粒度和说法。

问:

那这个产业链标签是不是就没有用了?

答:

不是。它可以帮助解释识别结果处在产业链的什么位置,也可以展示一个技术主题如何在不同环节间变化。即使把它送入模型,它也可能因为改变了信息的表达方式而使某种关系更容易被学习。但这属于特征表达的作用,不能说成增加了一种新的信息来源。

一个变量有没有价值,和它有没有提供新的输入信息,是两个不同问题。把这两件事分开,反而更容易为它找到准确的位置:它可以是一种解释框架、一种特征工程,也可以是结果呈现的维度,不必非要冒充独立数据源。

蓝色织物的交错纹理

问:

某类技术的产业链划分比较清楚,也容易把技术主题对应到不同环节。这能不能作为选择该类技术作为研究对象的理由?

答:

它首先证明的是这个研究对象便于操作,不一定证明它值得被单独选择。还要追问一句:换成其他产业,是否同样可以划分产业链并观察环节变化?如果答案也是可以,那么“产业链清楚”只是数据处理上的便利,不是这个案例区别于其他案例的特征。

案例选择至少有两种理由容易被混在一起。一种是可行性理由:数据容易取得、分类标准成熟、边界相对清楚。另一种是研究理由:这个案例能让某个关键机制表现得更清楚,能检验一个在其他案例中难以检验的判断,或者本身具有不可替代的重要性。可行性理由完全可以写,但不能冒充理论上的独特性。“别人还没有这样研究过”也只能说明文献中存在空位,不能单独回答为什么这个空位值得填。

问:

如果现在只有文本和分类编码两个维度,再加入空间信息,是不是就能更有把握地称为多维数据?

答:

“多维”这个名称不是靠再拼接一列数据获得的。先要问空间信息在识别中承担什么任务。

假如方法用“新颖性”识别新兴技术,那么空间维度中的新颖究竟是什么意思?某个地区过去一件相关申请也没有,今年突然出现了一件,这当然是这个地区的“从无到有”,但它未必是技术意义上的新颖。空间变化与技术新颖可能有关,也可能只是申请主体换了地点。变量已经进入向量,不等于它表达的含义就与研究概念一致。

如果研究先用文本和分类编码完成识别,之后再观察这些技术在不同地区如何分布,空间分析也完全可以有价值,只是它承担的是结果描述和解释,而不是识别。把它诚实地放在识别之后,比为了获得“三维”之名而把它塞进识别模型,更容易说清楚它究竟贡献了什么。

问:

某些地区的申请量特别大。把空间信息加入向量,会不会让这些地区支配最后的结果?

答:

数量大不一定等于区分力大。如果一个申请量很大的地区在所有技术主题中都以相近比例出现,那么它在每个主题里都“大”,未必能把主题彼此区分开。真正产生区分的,反而可能是某个主题具有异常的空间结构:其他主题主要集中在几个常见地区,唯独它在另一个地区显著出现。这种差异正可能是研究希望保留的信息。

这不表示数量偏差可以不处理。是否归一化、采用什么权重、结果对处理方式是否敏感,仍然需要检验。这里要纠正的只是一个直觉:数值最大的部分不一定提供最多信息。对于识别任务,更重要的是它是否造成有意义的差异。

问:

如果最终只能确认文本和分类编码两类输入,改称“双维数据”是不是更准确?

答:

未必。“多维”容易被质疑维度太少,“双维”则会引出另一个更严格的问题:为什么恰好是这两个,它们是否共同构成了一个不重不漏的整体?

当研究直接说“双维”时,读者容易把这两个维度理解为一套完整划分,而不仅是研究者从许多可能信息中选出的两类。文本和分类编码显然不是技术信息仅有的两个方面,因此换一个数字更精确的名称,不一定解决概念问题。与其在“双维”还是“多维”之间寻找更好听的包装,不如直接说清楚使用了哪两类数据,以及它们分别为研究任务提供什么信息。

问:

技术识别之后再研究技术演化,是不是天然的逻辑顺序?

答:

不天然。顺序取决于“演化”在研究中做什么。

如果先研究演化,是为了从演化过程中提取特征,再利用这些特征识别新兴技术,那么演化分析在逻辑上应该位于识别之前。如果先识别出研究对象,再追踪它们后来怎样变化,那么演化放在识别之后也完全成立。表面上都是“识别—演化”或“演化—识别”的章节排序,真正决定顺序的是前一部分有没有向后一部分交付信息。

所以,章节之间看起来符合常见套路还不够。前后顺序需要由依赖关系来解释,而不是由几个研究动作通常怎样排列来决定。

问:

识别公式和具体算法可以让生成式 AI 帮助设计。如果已经和它反复讨论过很多次,是不是就可以使用?

答:

反复讨论可以帮助改进方案,但讨论次数不能替代研究者自己的理解。最后仍然要问:公式中的每个量对应什么研究概念,它为什么以这种方式组合,结果发生变化时意味着什么,换一种合理的计算方式结论是否还成立?

生成式 AI 很容易给出一个形式完整、能够运行的公式,但“能够计算”与“测到了想测的东西”之间还有一段距离。前面空间新颖性的例子就是如此:模型完全可以算出某地从零到一的变化,问题在于这个结果是不是研究所说的技术新颖。如果研究者无法用自己的语言解释这种对应关系,也无法判断模型提出的方法何时不成立,那么方法实际上还没有进入研究设计,只是进入了代码。

AI 可以参与提出备选方案、实现计算和寻找反例,但概念与测量之间的责任不能交给它。一个很实际的判断标准是:不看 AI 的说明,研究者能否向另一个人讲清楚这套方法为什么合理,以及什么结果会证明它不合理。

问:

这些问题有没有一个共同而直接的检查办法?

答:

有。把你最想强调的那一步删掉一次。

删掉第一轮筛选,最后识别结果是否变化?把弱信号筛选换成简单的时间截断,是否得到同样结果?删掉由原编码推导出的标签,模型损失的是信息,还是只损失了一种便于解释的名称?删掉空间特征,识别能力是否下降;如果没有下降,空间信息是否仍然能在结果解释中完成一项独立的工作?交换演化与识别的顺序,后一步所需要的信息是否还在?

删掉、替换或移动以后真正失去的东西,就是这个环节最可信的存在理由。它可能减少计算成本,可能提供更早的信息,可能改善识别,也可能只负责解释结果。这些贡献都可以成立,但不能互相冒充。减少工作量不能写成增加了识别能力,派生标签不能写成增加了信息来源,结果描述也不能写成参与了识别。

研究设计的连贯,不在于概念、数据和模型都出现了,而在于每一部分都向下一部分交付了不可替代的东西。多加一步、多加一维之后,真正应该回答的始终是同一个问题:研究因此知道了什么原来不知道的东西?