年度归档： 2024 年

基础知识

• 《自然语言处理综论》Jurafsky

与研究的结合

• 作为工具黑盒
• 位于数据处理的前端
• 本身不构成研究意义

书籍下载

• 《Natural Language Processing with Python and Spacy》点击下载
• 《NLTK基础教程 用NLTK和Python库构建机器学习应用》点击下载
• 《Python和NLTK自然语言处理》点击下载

Bert

• Bert 论文

• BERTopic 点击跳转

在经济管理和社会科学的研究中，我们经常需要分析和建模不同类型的系统。这些系统有时表现出简单的规则性，有时则充满了随机性和复杂性。那么，如何根据不同系统的特征选择合适的分析方法呢？本文将探讨解析方法和统计方法的区别，并结合一张图表的解释，帮助大家更好地理解这两种方法在处理复杂社会系统时的适用性和局限性。

图源：书籍《系统化思维导论》——杰拉尔德·温伯格 [阅读笔记]

图表将系统分为了三个区域：

1. 有序的简单（机械）系统
2. 无序的复杂（聚合）系统
3. 有序的复杂（系统）系统

这些系统分别对应不同程度的复杂性和随机性，可以用不同的分析方法处理，具体如下：

I. 有序的简单（机械）系统

特点：有序的简单系统通常表现为规律性强、确定性高，系统的行为可以通过精确的理论模型或方程描述。这类系统的复杂性较低，随机性较小。可采用解析方法（Analytical Methods）是通过数学公式、理论模型或定理对问题进行精确求解的过程。这种方法适用于确定性系统，即系统行为可以被精确预测和描述。

适用方法：解析方法

例子：

• 市场需求和供给模型：在经典的经济学中，市场均衡价格可以通过需求曲线和供给曲线的交点精确计算。这种情况下，供需关系遵循特定的规律，适合用解析方法进行分析。
• 投资回报的确定性分析：如果投资项目的现金流稳定，并且市场利率固定，可以用净现值（NPV）或内部收益率（IRR）等解析方法精确计算投资的收益。

II. 无序的复杂（聚合）系统

特点：这种系统表现为高度的随机性和不确定性，尽管可能存在某些局部规律，但整体上难以通过确定的理论模型描述。复杂性高，随机性显著。可采用 统计方法（Statistical Methods）通过对大量数据进行分析和处理，从中找出趋势和模式。它适用于随机性较强的系统，无法精确预测个体行为时。

适用方法：统计方法

例子：

• 股市价格波动：由于股价受到多种经济因素、政策变化和投资者情绪的影响，表现出高度的随机性和波动性，因此需要使用统计方法（如时间序列分析、波动率模型等）来分析和预测市场趋势。
• 消费者行为的聚合分析：消费者购买行为会受到多种因素的影响，如收入水平、广告效应和社会趋势。这些行为难以用简单的解析方法描述，通常需要通过问卷调查数据的统计分析，找出影响消费者决策的主要因素。

III. 有序的复杂（系统）系统

特点：这种系统介于有序的简单系统和无序的复杂系统之间，尽管复杂性较高，但系统的行为仍然呈现出一定的规律和秩序。系统的整体行为可以分解为多个部分，每个部分之间有一定的关联性。

适用方法：解析方法和统计方法结合

例子：

• 宏观经济政策的影响分析：宏观经济系统虽然复杂，但可以通过经济模型（如IS-LM模型）结合统计数据来分析货币政策或财政政策对经济增长、失业率和通货膨胀的影响。
• 组织行为中的激励机制分析：在企业管理中，员工的激励和绩效之间存在复杂的关系。可以通过行为经济学的理论模型进行解析，同时结合员工满意度调查的统计分析，揭示激励机制的有效性。

一、关于技术本体的概念与现象

1. 关于技术的概念

• 推荐《技术的本质》布莱恩阿瑟 [下载书籍电子版] [阅读笔记]
• 推荐理由：探讨技术的概念和特性，阐明了技术的本质及其进化机制。
• 京东链接：https://item.jd.com/12372156.html

2. 关于技术所呈现的现象

• 推荐《科技想要什么》凯文·凯利 [下载中文版] [下载英文版]
• 推荐理由：探讨技术演化存在与人类发展相独立的特性。
• 京东链接：https://item.jd.com/12390709.html

二、关于技术的载体——专利

1. 专利的检索方式

• 德温特数据库检索方式，可参考这篇 [流程介绍]

2. 专利分析教程（研究报告类）

• 推荐《专利分析——方法、图表解读与情报挖掘》马天旗
  • 推荐理由：采用传统方法获取和分析技术信息。
    京东链接：https://item.jd.com/13315306.html
• 推荐《专利分析实务手册》张娴
  • 推荐理由：采用传统方法获取和分析技术信息。
    京东链接：https://item.jd.com/13106908.html

三、关于技术的发展脉络探索

1. 技术演化路径探测方法

• 推荐《技术演化路径探测方法研究——专利引用网络主路径视角》
• 推荐理由：采用学术性更强的方法分析技术演化。需要了解专利引用网络的弊端。
• 京东链接：https://item.jd.com/12922550.html

2. 特定技术类目的识别和演化分析

• 孔令凯.基于文本挖掘的产业关键共性技术识别及演化研究[D].哈尔滨工程大学,2022.
  • DOI:10.27060/d.cnki.ghbcu.2022.000089.
• 林超然.基于专利数据挖掘的关键共性技术识别及预测研究[D].哈尔滨工程大学,2020.
  • DOI:10.27060/d.cnki.ghbcu.2020.000234.
  • 评价：是一种陈旧思路：在专利文本分析中未采纳语义分析方法、演化分析中未充分考虑基于网络的深度学习方案。

一、如何进入

（校园网、个人热点、图书馆账号登录均可进入）

1.哈尔滨工程大学图书馆→数据库→所有数据库

2.首字母D→Derwent Innovation（DI）专利数据库

3.点击链接地址

4. 点击“快速启动 | IP 身份验证登陆”，进入搜索页面 。

5.进入主页→点击“专利检索”

二、如何检索

步骤一：根据交底技术确定技术特征的中文关键词

步骤二：确定英文关键词及连接关系

• 将中文关键词翻译成英文，同义词用or连接并且两边加上括号，不同的关键词之间用and连接。

步骤三：扩展关键词

同义关键词扩展越完全,检索的越全面，扩展关键词的方法有很多，常用的途径包括：

• 百科类：百度百科、维基百科
• 论文类：谷歌学术、知网
• 技术手册
• 工程师经验
• 其他公开资料：词典、百度、谷歌、必应

步骤四：检索

1.将搜索字段改为Text→Title /Abstract /Claims

2.将检索式复制上去

3.检查语法并检索

如果语法正确会显示correct，如果语法不正确可根据提示进行修正。正确后点击搜索进行检索

4.结果显示

在当前的生成式人工智能应用中，不同的任务需求决定了选择不同的平台和模型至关重要。根据网络条件、费用以及使用场景的不同，用户在访问和使用大语言模型时，需要根据任务的复杂性、推理需求以及具体的操作类型（如编程、文本生成等）做出相应的调整。

0. 一般原则

• 使用 大模型 替代你的脑力活动中的重复性劳力，而不是创造性思考。
• 使用 大模型 为你提供头脑风暴参考，但要确保你的判断力是可靠且理性的。
• 时常想想，大模型弱化了你的哪种能力，以及你是否容许它弱化你的这种能力。
• 代码是大模型和你的任务之间的重要桥接，能够很大程度上规避模型幻觉问题。与其让大模型为你提供处理结果，不如让它生成可复用的代码。
• 模型回答结果不理想时思考：① 可否换用在这项任务上更强的模型？② 你的提示词是否逻辑清晰、明确，包含必要的解释和案例？大多数情况下，由于问题 ② 的普遍，使得问题 ① 的上限远未被触及。
• 好的提示词长什么样的？可以参考这个 Github 仓库，它收集了 GPTs 泄露出的大量系统提示词。
• 有时我们需要结果也需要过程，例如阅读文献的实际收益在阅读前是未知的，使用大模型对 PDF 提问往往舍弃了阅读文献带给你我的真正启发。

1. 在线平台选择

• 免费：
  • 直接访问 OpenAi 官网使用免费 4o-mini 模型（需要有网络条件）
  • 访问 POE 使用免费模型（需要有网络条件）
• 付费（订阅制）：
  • 如需 Openai 的高级模型（4o/o1-preview）需要付月费（安卓手机绑定外币信用卡支付）
  • 或使用 Claude 中的高级模型（Sonnet 3.5）需要付月费
• 付费（按 Token 计费）：
  • NYai 包含很多高级模型，按量收费（最贵的模型一次问答 0.2元 左右），有免费额度。

2. 在线模型选择

• 复杂推理：GPT-o1 preview
• 轻推理重文字输出：GPT-4o
• 代码编写与 Debug： Claude 3.5 sonnet = Cursor > GPT-o1 preview > GPT-4o （不要使用其他模型编程，比如 Kimi ）
• 搜索结果归纳： 跃问 > Kimi >> 智谱清言 （不基于搜索结果的任何「知识性/逻辑性」问题都不建议问 Kimi，使用 智谱清言 的唯一场景是「这模型真的有说的那么差吗？我倒要看看。」）

3. 离线(本地)大语言模型选择

• 中文模型：Qwen2.5 > GLM4
• 英文模型：Llama3.1
• 多种模型及参数量比较：本地语言模型个人推荐 （2024-07-09）
• 离线大模型平台：Ollama （能被 Ollama 支持的模型，就不要自己搭建环境）

4. 离线(本地)模型硬件选择

5. 理论及原理学习

• 【课程】AI 大模型全栈工程师培养计划 知乎课程，内容一般，不值得购买，可以寻找 盗录视频 ，看看就行。
• 【书籍】What Is ChatGPT Doing … and Why Does It Work? 由 Stephen Wolfram 撰写，关于底层逻辑，不涉及原理和操作，内容非常好。
• 自然语言处理基础：https://www.linchaoran.com/nlp
• 关于 Python 的学习路径：https://www.linchaoran.com/python

6. 提示词工程参考

• 概念
  • Prompt_engineering 维基百科
• 案例
  • 提示工程指南
• 如何写好提示词 – 宝玉 XP
  • 如何写好提示词 1/6
  • 如何写好提示词 2/6
  • 如何写好提示词 3/6
  • 如何写好提示词 4/6
  • 如何写好提示词 5/6
  • 如何写好提示词 6/6

Z. 总结

1. 没有网络条件或需要少量且高质量的问答，使用 NYai 。
2. 高质量问答指的是「需要复杂逻辑推理/生成准确代码」，前者使用 GPT-o1 preview 后者使用 Claude 3.5 sonnet。
3. 代码输出仅推荐 Claude 3.5 sonnet，其次 Cursor、GPT-o1 preview，不要使用任何其他模型输出代码，它们往往给你带来的帮助和苦恼一样多。
4. Kimi 大模型能力很弱，它强在基于搜索结果的答案整合，如果你确信你需要答案不在搜索结果中，那就别用 Kimi 。
5. 慎重使用：xlchatbox.top，已被举报封禁。