o3-mini· OpenAI
LMArena Human Preference 140K
生成高质量调查数据
- User
生成高质量调查数据
- Assistant
下面提供一个 Python 脚本示例,该脚本利用潜变量模拟思路生成高质量调查数据,然后输出为 CSV 文件。生成的数据在 1–5 的李克特量表上具有一定内在相关性,即各问项值来源于其对应潜变量的“真实水平”加上随机噪音,最后再映射到 1~5 的整数值。
你可以根据需要调整样本数量、噪音水平等参数。
import numpy as np import pandas as pd np.random.seed(42) # 保证可重复性 # 样本数量 n_samples = 300 # 基本信息选项 company_types = [ "货主/生产制造企业", "物流服务提供商", "运输企业", "港口/场站运营商", "政府/行业协会", "其他" ] experience_options = ["1年以下", "1-3年", "3-5年", "5-10年", "10年以上"] company_sizes = ["50人以下", "50-200人", "201-500人", "500人以上"] # 区域 dummy 变量:每个样本随机选取1-3个区域(也可以固定概率) region_names = ["Region_Domestic", "Region_Asia", "Region_Europe", "Region_NA", "Region_Other"] # 潜变量名称及其对应问项数量 latent_vars = { "IL": 4, # 基础设施水平 "ITA": 4, # 信息技术应用 "PRE": 4, # 政策法规环境 "OCC": 4, # 运营协调能力 "MSL": 4, # 市场服务水平 "MTE": 5 # 多式联运效率(因变量) } # 平均数和标准差参数(可根据经验调整,使总体均值在中间3左右) latent_mean = 3.0 latent_std = 0.5 # 误差项噪声(较小,不宜太大,以保持内在一致性) noise_std = 0.3 # 定义一个函数:生成单个问项的评分,值为1-5的整数 def generate_item_score(latent_value, noise_std=noise_std): score = latent_value + np.random.normal(0, noise_std) # 限制在 1 到 5 之间,并四舍五入成为整数 score = int(np.round(np.clip(score, 1, 5))) return score # 创建空列表存放所有样本数据(每一行为一个字典记录) data = [] for i in range(1, n_samples+1): sample = {} # 受访者基本信息 sample["Respondent_ID"] = i sample["Company_Type"] = np.random.choice(company_types) sample["Experience_Years"] = np.random.choice(experience_options) sample["Company_Size"] = np.random.choice(company_sizes) # 随机生成区域,多选,每个区域独立0/1判断(概率可设为0.5或调整) for region in region_names: sample[region] = np.random.choice([0, 1], p=[0.4, 0.6]) # 选中概率 60% # 为每个潜变量,抽取一个“真实水平” latent_scores = {} for lv in latent_vars.keys(): latent_scores[lv] = np.random.normal(latent_mean, latent_std) # 根据潜变量生成观测变量(问项),字段命名格式为: {潜变量}{题项编号} for lv, n_items in latent_vars.items(): for j in range(1, n_items+1): col_name = f"{lv}{j}" item_score = generate_item_score(latent_scores[lv]) sample[col_name] = item_score data.append(sample) # 构造 DataFrame df = pd.DataFrame(data) # 调整基本信息列与问项列顺序,方便后续分析 cols_order = ["Respondent_ID", "Company_Type", "Experience_Years", "Company_Size"] + region_names # 按照潜变量顺序添加问项列 for lv in ["IL", "ITA", "PRE", "OCC", "MSL", "MTE"]: n_items = latent_vars[lv] for j in range(1, n_items+1): cols_order.append(f"{lv}{j}") df = df[cols_order] # 保存为 CSV 文件 output_filename = "simulated_multimodal_survey.csv" df.to_csv(output_filename, index=False, encoding="utf-8-sig") print(f"生成样本数据({n_samples}条)并保存至 {output_filename}") print(df.head())
说明
-
基本信息及区域选择:
- 随机选取企业类型、从业年限、企业规模。
- 对区域变量,每个区域独立产生一个 0/1 值,选中几率可依据实际情况调整。
-
潜变量与观测变量:
- 为每个潜变量(例如基础设施水平 IL)生成一个总体“真实水平”,再利用此值加上小幅噪音得到该潜变量下各问项的回答。
- 最后利用
np.clip保证数据落在 1~5 之间,并用round转为整数。
-
输出 CSV 文件:
- 将生成的 DataFrame 按照列顺序输出为 CSV 文件,便于后续利用 Python 进行数据读取与结构方程模型分析。
运行上述脚本后,你将得到一个名为
simulated_multimodal_survey.csv的数据文件,可直接在 Python 中使用pd.read_csv()加载并进行 SEM 分析。 -
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.