同步:更新daily_data_gen.py,200+话题+3000条/天 (2026-06-12)
This commit is contained in:
1 parent
7f8f607f26
commit
d962c768a5
1 file changed
+40
-3
+40
-3
@@ -12,9 +12,13 @@ sys.stdout = os.fdopen(sys.stdout.fileno(), 'w', buffering=1)
|
|||||||
from api_correction import batch_generate
|
from api_correction import batch_generate
|
||||||
|
|
||||||
MODEL_DIR = os.path.dirname(os.path.abspath(__file__))
|
MODEL_DIR = os.path.dirname(os.path.abspath(__file__))
|
||||||
MAX_WORKERS = 5 # 5并发
|
MAX_WORKERS = 5 # Astron 5并发(无限量)
|
||||||
BATCH_SIZE = 500
|
BATCH_SIZE = 500
|
||||||
|
|
||||||
|
# 每日生成量 — Astron无限量,直接拉满!
|
||||||
|
DAILY_TOPIC_QS = 2000 # 话题衍生
|
||||||
|
DAILY_NATURAL_QS = 1000 # 自然闲聊
|
||||||
|
|
||||||
# ===== 种子话题(每天随机选一批让小狸聊) =====
|
# ===== 种子话题(每天随机选一批让小狸聊) =====
|
||||||
SEED_TOPICS = [
|
SEED_TOPICS = [
|
||||||
"幼儿园", "学校", "朋友", "玩具", "动画片", "宠物", "零食", "天气",
|
"幼儿园", "学校", "朋友", "玩具", "动画片", "宠物", "零食", "天气",
|
||||||
@@ -30,6 +34,39 @@ SEED_TOPICS = [
|
|||||||
"1+1等于几", "数数", "认字", "背诗", "唱歌", "讲故事",
|
"1+1等于几", "数数", "认字", "背诗", "唱歌", "讲故事",
|
||||||
"礼貌", "分享", "排队", "帮助别人", "说谢谢", "对不起",
|
"礼貌", "分享", "排队", "帮助别人", "说谢谢", "对不起",
|
||||||
"害怕", "开心", "难过", "生气", "勇敢", "害羞",
|
"害怕", "开心", "难过", "生气", "勇敢", "害羞",
|
||||||
|
# 拓展话题
|
||||||
|
"奥特曼", "小猪佩奇", "汪汪队", "海底小纵队", "超级飞侠",
|
||||||
|
"白雪公主", "灰姑娘", "小红帽", "三只小猪", "匹诺曹",
|
||||||
|
"茉莉花", "向日葵", "蒲公英", "含羞草", "仙人掌",
|
||||||
|
"企鹅", "熊猫", "长颈鹿", "大象", "海豚", "松鼠", "刺猬",
|
||||||
|
"草莓", "西瓜", "葡萄", "芒果", "蓝莓", "橙子",
|
||||||
|
"汉堡", "薯条", "披萨", "面条", "饺子", "馄饨", "粽子",
|
||||||
|
"沙滩", "大海", "高山", "森林", "瀑布", "溶洞",
|
||||||
|
"火箭", "飞机", "高铁", "轮船", "自行车", "滑板",
|
||||||
|
"围棋", "象棋", "跳棋", "五子棋", "扑克牌",
|
||||||
|
"机器人", "变形金刚", "乐高", "磁力片", "橡皮泥",
|
||||||
|
"春天", "夏天", "秋天", "冬天", "刮风", "下雪", "打雷",
|
||||||
|
"刷牙", "洗脸", "洗澡", "剪指甲", "梳头", "穿衣服",
|
||||||
|
"诚实", "分享", "礼貌", "排队", "帮忙", "道歉", "谢谢",
|
||||||
|
"高兴", "生气", "难过", "害怕", "惊讶", "害羞", "委屈",
|
||||||
|
"萤火虫", "蜻蜓", "蜜蜂", "蝉", "蜗牛", "蚂蚁", "蜘蛛",
|
||||||
|
"玉米", "土豆", "番茄", "胡萝卜", "白菜", "茄子", "辣椒",
|
||||||
|
"毛笔", "铅笔", "蜡笔", "水彩笔", "画板", "颜料",
|
||||||
|
"竹笋", "蘑菇", "松树", "枫叶", "荷花", "梅花",
|
||||||
|
"元旦", "春节", "元宵节", "清明节", "端午节", "中秋节",
|
||||||
|
"万圣节", "感恩节", "圣诞节", "儿童节", "母亲节", "父亲节",
|
||||||
|
"月球", "太阳系", "银河", "彗星", "流星", "黑洞",
|
||||||
|
"恐龙", "猛犸象", "剑齿虎", "翼龙", "三角龙", "霸王龙",
|
||||||
|
"三字经", "弟子规", "唐诗", "宋词", "成语",
|
||||||
|
"捉迷藏", "老鹰捉小鸡", "丢手绢", "跳房子", "踢毽子",
|
||||||
|
"轮滑", "滑冰", "滑雪", "冲浪", "攀岩",
|
||||||
|
"钢琴", "吉他", "小提琴", "笛子", "鼓", "古筝",
|
||||||
|
"警察", "消防员", "医生", "护士", "科学家", "宇航员",
|
||||||
|
"红绿灯", "斑马线", "安全带", "头盔", "救生圈",
|
||||||
|
"原来如此", "没关系", "太好了", "加油", "真棒", "别担心",
|
||||||
|
"手影", "折纸", "翻花绳", "吹泡泡", "放风筝",
|
||||||
|
"长城", "故宫", "天安门", "兵马俑", "大熊猫基地",
|
||||||
|
"小木屋", "城堡", "树屋", "帐篷", "房车",
|
||||||
]
|
]
|
||||||
|
|
||||||
def generate_questions_from_topics(topics, count=500):
|
def generate_questions_from_topics(topics, count=500):
|
||||||
@@ -87,8 +124,8 @@ def main():
|
|||||||
|
|
||||||
# 1. 混合生成问题
|
# 1. 混合生成问题
|
||||||
random.seed(int(time.time()))
|
random.seed(int(time.time()))
|
||||||
n_topic_qs = random.randint(300, 500) # 话题衍生问题
|
n_topic_qs = DAILY_TOPIC_QS # 话题衍生
|
||||||
n_natural_qs = random.randint(200, 300) # 自然闲聊问题
|
n_natural_qs = DAILY_NATURAL_QS # 自然闲聊
|
||||||
|
|
||||||
random.shuffle(SEED_TOPICS)
|
random.shuffle(SEED_TOPICS)
|
||||||
topic_questions = generate_questions_from_topics(SEED_TOPICS, n_topic_qs)
|
topic_questions = generate_questions_from_topics(SEED_TOPICS, n_topic_qs)
|
||||||
|
|||||||
Reference in new issue
Block a user