抓取维基百科分类索引下某一分类下的子分类及其分类下的页面...

例如：游戏人工智能

子分类下的分类及其页面

代码：

import json
import requests
from lxml import html


w = open('thesaurus.txt', 'w', encoding='utf-8')


def subcat(key):
    s = requests.session()
    s.keep_alive = False
    url = 'https://zh.wikipedia.org/wiki/Category:' + key
    wiki = s.get(url)
    tree = html.fromstring(wiki.text)

    print('cat:' + key)
    term.append(key)
    # 子分类
    subcategories = tree.xpath('//a[@class="CategoryTreeLabel  CategoryTreeLabelNs14 CategoryTreeLabelCategory"]/text()')
    # print(subcategories)
    pages = tree.xpath('//div[@id="mw-pages"]//a/text()')
    # print(pages)

    for s in subcategories:
        if s in term:
            pass
        else:
            subcat(s)

            print(s)

    for p in pages:
        if p in term:
            pass
        else:
            term.append(p)
            print(p)


term = []
subcat('游戏人工智能')
for t in term:
    w.write(t+'\n')

结果：

游戏人工智能

电子卡牌游戏

电子卡牌游戏小作品

Template:Card-videogame-stub

瀏覽器一騎當千爆乳爭霸傳

激鬥棒球魂

舰娘收藏

潛龍諜影Ac!d

合金装备Ac!d2

卷軸 (遊戲)

卧龙传说-三国名将传

全民魔兽

卡牌对战电子游戏

霸天开拓史永恒之翼与失落之海

陆行鸟与魔法绘本

Emperors SaGa

火焰之纹章英雄

碧藍幻想

巫师之昆特牌

炉石传说

魔法風雲會Online

闇影詩章

刀劍亂舞

阴阳师 (游戏)

卡牌对决

去吧皮卡丘

坦克世界：将军

小冰冰传奇

恋与制作人

魔法門之冠軍對決

植物大战僵尸：英雄

植物大战僵尸：全明星

纸牌 (电子游戏)

三國殺Online

太阳神三国杀

植物大战僵尸Online

英雄杀

电子图版游戏

电子图版游戏小作品

Template:Board-videogame-stub

四人麻将

塔麻可吉64

愤怒的小鸟掷骰子！

五子连珠 (电子游戏)

羽生名人之趣味将棋

黑白棋 (電子遊戲)

TripleA

大富翁系列

Template:大富翁系列

大富翁2

大富翁3

大富翁4

大富翁5

大富翁7

大富翁8

林月如

大富翁Online

夢幻星球Online

大富翁6

趙靈兒

大富翁 (電子遊戲)

李逍遙

電子棋類遊戲

围棋软件

圍棋軟體

AlphaGo

AlphaGo Zero

AlphaZero

AQ (圍棋軟體)

CGI (圍棋軟體)

Darkforest

DeepZenGo

ELF OpenGo

GNU Go

Leela

Leela Zero

Master (围棋软件)

Minigo

PhoenixGo

QGo

绝艺

網路圍棋

围棋服务器

CGOS

KGS

Pandanet

高校网络围棋锦标赛

Bertie the Brain

Chess Titans

Chessmaster

美女黑白棋 - 決戰於黑白之間

GNOME Chess

本将棋内藤九段将棋秘传

OXO

PyChess

Wii国际象棋

Zillions of Games

奧林匹亞電腦遊戲程式競賽

方格連線

电脑象棋

计算机围棋

象棋巫师

BrettSpielWelt

富豪街系列

桃太郎電鐵系列

戀之千年王國

XBoard

富甲天下系列

虛擬人生系列

魔幻天下

A*搜尋演算法

國際電腦對局協會

寻路

极小化极大算法

洛斯阿拉莫斯西洋棋

競賽樹

计算机将棋

零玩家遊戲

推荐订阅源

qubeijun的博客

抓取维基百科分类索引下某一分类下的子分类及其分类下的页面（仅限词条）