Prepare test data
This commit is contained in:
NateScarlet
parent
748decd373
commit
4bcf0aed87
295
description_parsing_cases.json
Normal file
295
description_parsing_cases.json
Normal file
|
|
@ -0,0 +1,295 @@
|
||||||
|
[
|
||||||
|
{
|
||||||
|
"year": 2019,
|
||||||
|
"description": "2018年12月30日至2019年1月1日放假调休，共3天。2018年12月29日（星期六）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2018-12-30", "isOffDay": true },
|
||||||
|
{ "date": "2018-12-31", "isOffDay": true },
|
||||||
|
{ "date": "2019-01-01", "isOffDay": true },
|
||||||
|
{ "date": "2019-12-29", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2019,
|
||||||
|
"description": "2月4日至10日放假调休，共7天。2月2日（星期六）、2月3日（星期日）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2019-02-04", "isOffDay": true },
|
||||||
|
{ "date": "2019-02-05", "isOffDay": true },
|
||||||
|
{ "date": "2019-02-06", "isOffDay": true },
|
||||||
|
{ "date": "2019-02-07", "isOffDay": true },
|
||||||
|
{ "date": "2019-02-08", "isOffDay": true },
|
||||||
|
{ "date": "2019-02-09", "isOffDay": true },
|
||||||
|
{ "date": "2019-02-02", "isOffDay": false },
|
||||||
|
{ "date": "2019-02-03", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2019,
|
||||||
|
"description": "4月5日放假，与周末连休。",
|
||||||
|
"expected": [{ "date": "2019-04-05", "isOffDay": true }]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2019,
|
||||||
|
"description": "5月1日放假。",
|
||||||
|
"expected": [{ "date": "2019-05-01", "isOffDay": true }]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2019,
|
||||||
|
"description": "6月7日放假，与周末连休。",
|
||||||
|
"expected": [{ "date": "2019-06-07", "isOffDay": true }]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2019,
|
||||||
|
"description": "9月13日放假，与周末连休。",
|
||||||
|
"expected": [{ "date": "2019-09-13", "isOffDay": true }]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2019,
|
||||||
|
"description": "10月1日至7日放假调休，共7天。9月29日（星期日）、10月12日（星期六）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2019-10-01", "isOffDay": true },
|
||||||
|
{ "date": "2019-10-02", "isOffDay": true },
|
||||||
|
{ "date": "2019-10-03", "isOffDay": true },
|
||||||
|
{ "date": "2019-10-04", "isOffDay": true },
|
||||||
|
{ "date": "2019-10-05", "isOffDay": true },
|
||||||
|
{ "date": "2019-10-06", "isOffDay": true },
|
||||||
|
{ "date": "2019-10-07", "isOffDay": true },
|
||||||
|
{ "date": "2019-09-29", "isOffDay": false },
|
||||||
|
{ "date": "2019-10-12", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2018,
|
||||||
|
"description": "1月1日放假，与周末连休。",
|
||||||
|
"expected": [{ "date": "2018-01-01", "isOffDay": true }]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2018,
|
||||||
|
"description": "2月15日至21日放假调休，共7天。2月11日（星期日）、2月24日（星期六）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2018-02-15", "isOffDay": true },
|
||||||
|
{ "date": "2018-02-16", "isOffDay": true },
|
||||||
|
{ "date": "2018-02-17", "isOffDay": true },
|
||||||
|
{ "date": "2018-02-18", "isOffDay": true },
|
||||||
|
{ "date": "2018-02-19", "isOffDay": true },
|
||||||
|
{ "date": "2018-02-20", "isOffDay": true },
|
||||||
|
{ "date": "2018-02-21", "isOffDay": true },
|
||||||
|
{ "date": "2018-02-11", "isOffDay": false },
|
||||||
|
{ "date": "2018-02-24", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2018,
|
||||||
|
"description": "4月5日至7日放假调休，共3天。4月8日（星期日）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2018-04-05", "isOffDay": true },
|
||||||
|
{ "date": "2018-04-06", "isOffDay": true },
|
||||||
|
{ "date": "2018-04-07", "isOffDay": true },
|
||||||
|
{ "date": "2018-04-08", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2018,
|
||||||
|
"description": "4月29日至5月1日放假调休，共3天。4月28日（星期六）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2018-04-29", "isOffDay": true },
|
||||||
|
{ "date": "2018-04-30", "isOffDay": true },
|
||||||
|
{ "date": "2018-05-01", "isOffDay": true },
|
||||||
|
{ "date": "2018-04-28", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2018,
|
||||||
|
"description": "6月18日放假，与周末连休。",
|
||||||
|
"expected": [{ "date": "2018-06-18", "isOffDay": true }]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2018,
|
||||||
|
"description": "9月24日放假，与周末连休。",
|
||||||
|
"expected": [{ "date": "2018-09-24", "isOffDay": true }]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2018,
|
||||||
|
"description": "10月1日至7日放假调休，共7天。9月29日（星期六）、9月30日（星期日）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2018-10-01", "isOffDay": true },
|
||||||
|
{ "date": "2018-10-02", "isOffDay": true },
|
||||||
|
{ "date": "2018-10-03", "isOffDay": true },
|
||||||
|
{ "date": "2018-10-04", "isOffDay": true },
|
||||||
|
{ "date": "2018-10-05", "isOffDay": true },
|
||||||
|
{ "date": "2018-10-06", "isOffDay": true },
|
||||||
|
{ "date": "2018-10-07", "isOffDay": true },
|
||||||
|
{ "date": "2018-09-29", "isOffDay": false },
|
||||||
|
{ "date": "2018-09-30", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2013,
|
||||||
|
"description": "1月1日至3日放假调休，共3天。1月5日(星期六)、1月6日(星期日)上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2013-01-01", "isOffDay": true },
|
||||||
|
{ "date": "2013-01-02", "isOffDay": true },
|
||||||
|
{ "date": "2013-01-03", "isOffDay": true },
|
||||||
|
{ "date": "2013-01-05", "isOffDay": false },
|
||||||
|
{ "date": "2013-01-06", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2013,
|
||||||
|
"description": "2月9日至15日放假调休，共7天。2月16日(星期六)、2月17日(星期日)上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2013-02-09", "isOffDay": true },
|
||||||
|
{ "date": "2013-02-10", "isOffDay": true },
|
||||||
|
{ "date": "2013-02-11", "isOffDay": true },
|
||||||
|
{ "date": "2013-02-12", "isOffDay": true },
|
||||||
|
{ "date": "2013-02-13", "isOffDay": true },
|
||||||
|
{ "date": "2013-02-14", "isOffDay": true },
|
||||||
|
{ "date": "2013-02-15", "isOffDay": true },
|
||||||
|
{ "date": "2013-02-16", "isOffDay": false },
|
||||||
|
{ "date": "2013-02-17", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2013,
|
||||||
|
"description": "4月4日至6日放假调休，共3天。4月7日(星期日)上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2013-04-04", "isOffDay": true },
|
||||||
|
{ "date": "2013-04-05", "isOffDay": true },
|
||||||
|
{ "date": "2013-04-06", "isOffDay": true },
|
||||||
|
{ "date": "2013-04-07", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2013,
|
||||||
|
"description": "4月29日至5月1日放假调休，共3天。4月27日(星期六)、4月28日(星期日)上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2013-04-29", "isOffDay": true },
|
||||||
|
{ "date": "2013-04-30", "isOffDay": true },
|
||||||
|
{ "date": "2013-05-01", "isOffDay": true },
|
||||||
|
{ "date": "2013-04-27", "isOffDay": false },
|
||||||
|
{ "date": "2013-04-28", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2013,
|
||||||
|
"description": "6月10日至12日放假调休，共3天。6月8日(星期六)、6月9日(星期日)上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2013-06-10", "isOffDay": true },
|
||||||
|
{ "date": "2013-06-11", "isOffDay": true },
|
||||||
|
{ "date": "2013-06-12", "isOffDay": true },
|
||||||
|
{ "date": "2013-06-08", "isOffDay": false },
|
||||||
|
{ "date": "2013-06-09", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2013,
|
||||||
|
"description": "9月19日至21日放假调休，共3天。9月22日(星期日)上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2013-09-19", "isOffDay": true },
|
||||||
|
{ "date": "2013-09-20", "isOffDay": true },
|
||||||
|
{ "date": "2013-09-21", "isOffDay": true },
|
||||||
|
{ "date": "2013-09-22", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2013,
|
||||||
|
"description": "10月1日至7日放假调休，共7天。9月29日(星期日)、10月12日(星期六)上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2013-10-01", "isOffDay": true },
|
||||||
|
{ "date": "2013-10-02", "isOffDay": true },
|
||||||
|
{ "date": "2013-10-03", "isOffDay": true },
|
||||||
|
{ "date": "2013-10-04", "isOffDay": true },
|
||||||
|
{ "date": "2013-10-05", "isOffDay": true },
|
||||||
|
{ "date": "2013-10-06", "isOffDay": true },
|
||||||
|
{ "date": "2013-10-07", "isOffDay": true },
|
||||||
|
{ "date": "2013-09-29", "isOffDay": false },
|
||||||
|
{ "date": "2013-10-12", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "2007年12月30日—2008年1月1日放假，共3天。其中，1月1日（星期二）为法定节假日，12月30日（星期日）为公休日，12月29日（星期六）公休日调至12月31日（星期一），12月29日（星期六）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2007-12-30", "isOffDay": true },
|
||||||
|
{ "date": "2007-12-31", "isOffDay": true },
|
||||||
|
{ "date": "2008-01-01", "isOffDay": true },
|
||||||
|
{ "date": "2019-12-29", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "2月6日—12日（农历除夕至正月初六）放假，共7天。其中，2月6日（除夕）、2月7日（春节）、2月8日（正月初二）为法定节假日，2月9日（星期六）、2月10日（星期日）照常公休，2月2日（星期六）、2月3日（星期日）两个公休日调至2月11日（星期一）、2月12日（星期二），2月2日（星期六）、2月3日（星期日）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2008-02-06", "isOffDay": true },
|
||||||
|
{ "date": "2008-02-07", "isOffDay": true },
|
||||||
|
{ "date": "2008-02-08", "isOffDay": true },
|
||||||
|
{ "date": "2008-02-09", "isOffDay": true },
|
||||||
|
{ "date": "2008-02-10", "isOffDay": true },
|
||||||
|
{ "date": "2008-02-11", "isOffDay": true },
|
||||||
|
{ "date": "2008-02-12", "isOffDay": true },
|
||||||
|
{ "date": "2008-02-02", "isOffDay": false },
|
||||||
|
{ "date": "2008-02-03", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "4月4日—6日放假，共3天。其中，4月4日（清明节）为法定节假日，4月5日（星期六）、4月6日（星期日）照常公休。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2008-04-04", "isOffDay": true },
|
||||||
|
{ "date": "2008-04-05", "isOffDay": true },
|
||||||
|
{ "date": "2008-04-06", "isOffDay": true }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "5月1日—3日放假，共3天。其中，5月1日为法定节假日，5月3日（星期六）为公休日，5月4日（星期日）公休日调至5月2日（星期五），5月4日（星期日）上班。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2008-05-01", "isOffDay": true },
|
||||||
|
{ "date": "2008-05-02", "isOffDay": true },
|
||||||
|
{ "date": "2008-05-03", "isOffDay": true },
|
||||||
|
{ "date": "2008-05-04", "isOffDay": false }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "6月7日—9日放假，共3天。其中，6月7日（星期六）照常公休，6月8日（农历五月初五，端午节）为法定节假日，6月8日（星期日）公休日调至6月9日（星期一）。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2008-06-07", "isOffDay": true },
|
||||||
|
{ "date": "2008-06-08", "isOffDay": true },
|
||||||
|
{ "date": "2008-06-09", "isOffDay": true }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "9月13日—15日放假，共3天。其中，9月13日（星期六）为公休日，9月14日（农历八月十五，中秋节）为法定节假日，9月14日（星期日）公休日调至9月15日（星期一）。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2008-09-13", "isOffDay": true },
|
||||||
|
{ "date": "2008-09-14", "isOffDay": true },
|
||||||
|
{ "date": "2008-09-15", "isOffDay": true }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "9月13日—15日放假，共3天。其中，9月13日（星期六）为公休日，9月14日（农历八月十五，中秋节）为法定节假日，9月14日（星期日）公休日调至9月15日（星期一）。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2008-09-13", "isOffDay": true },
|
||||||
|
{ "date": "2008-09-14", "isOffDay": true },
|
||||||
|
{ "date": "2008-09-15", "isOffDay": true }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"year": 2008,
|
||||||
|
"description": "9月29日—10月5日放假，共7天。其中，10月1日、2日、3日为法定节假日，9月27日（星期六）、9月28日（星期日）两个公休日调至9月29日（星期一）、30日（星期二），10月4日（星期六）、5日（星期日）照常公休。",
|
||||||
|
"expected": [
|
||||||
|
{ "date": "2008-09-29", "isOffDay": true },
|
||||||
|
{ "date": "2008-09-30", "isOffDay": true },
|
||||||
|
{ "date": "2008-10-01", "isOffDay": true },
|
||||||
|
{ "date": "2008-10-02", "isOffDay": true },
|
||||||
|
{ "date": "2008-10-03", "isOffDay": true },
|
||||||
|
{ "date": "2008-10-04", "isOffDay": true },
|
||||||
|
{ "date": "2008-10-05", "isOffDay": true },
|
||||||
|
{ "date": "2008-09-27", "isOffDay": false },
|
||||||
|
{ "date": "2008-09-28", "isOffDay": false }
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
69
fetch_holidays.py
Normal file
69
fetch_holidays.py
Normal file
|
|
@ -0,0 +1,69 @@
|
||||||
|
#!/usr/bin/env python3
|
||||||
|
"""Fetch holidays from gov.cn """
|
||||||
|
|
||||||
|
import argparse
|
||||||
|
import re
|
||||||
|
|
||||||
|
import bs4
|
||||||
|
import requests
|
||||||
|
|
||||||
|
SEARCH_URL = ('http://sousuo.gov.cn/s.htm'
|
||||||
|
'?t=paper&advance=true&sort=&title={year}+%E8%8A%82%E5%81%87%E6%97%A5'
|
||||||
|
'&puborg=%E5%9B%BD%E5%8A%A1%E9%99%A2%E5%8A%9E%E5%85%AC%E5%8E%85'
|
||||||
|
'&pcodeJiguan=%E5%9B%BD%E5%8A%9E%E5%8F%91%E6%98%8E%E7%94%B5')
|
||||||
|
|
||||||
|
|
||||||
|
def get_paper_urls(year):
|
||||||
|
url = SEARCH_URL.format(year=year)
|
||||||
|
body = requests.get(url).text
|
||||||
|
ret = re.findall(
|
||||||
|
r'<li class="res-list".*?<a href="(.+?)".*?</li>', body, flags=re.S)
|
||||||
|
assert all(
|
||||||
|
re.match(
|
||||||
|
r'http://www.gov.cn/zhengce/content/\d{4}-\d{2}/\d{2}/content_\d+.htm', i)
|
||||||
|
for i in ret), 'Site changed, need human verify'
|
||||||
|
|
||||||
|
return ret
|
||||||
|
|
||||||
|
|
||||||
|
def get_paper(url):
|
||||||
|
response = requests.get(url)
|
||||||
|
response.encoding = 'utf-8'
|
||||||
|
soup = bs4.BeautifulSoup(response.text, features='html.parser')
|
||||||
|
container = soup.find('td', class_='b12c')
|
||||||
|
assert container, f'Can not get paper container from url: {url}'
|
||||||
|
ret = container.get_text()
|
||||||
|
assert ret, f'Can not get paper context from url: {url}'
|
||||||
|
return ret
|
||||||
|
|
||||||
|
|
||||||
|
def get_rules(paper: str):
|
||||||
|
lines: list = paper.splitlines()
|
||||||
|
for i in sorted(set(lines), key=lines.index):
|
||||||
|
match = re.match(r'[一二三四五六七八九十]、(.+?)：(.+)', i)
|
||||||
|
if match:
|
||||||
|
yield match.groups()
|
||||||
|
|
||||||
|
|
||||||
|
def parse_holiday_description(year, description):
|
||||||
|
pass
|
||||||
|
|
||||||
|
|
||||||
|
def parse_paper(url):
|
||||||
|
pass
|
||||||
|
|
||||||
|
|
||||||
|
def main():
|
||||||
|
parser = argparse.ArgumentParser()
|
||||||
|
parser.add_argument('year')
|
||||||
|
args = parser.parse_args()
|
||||||
|
|
||||||
|
papers = get_paper_urls(args.year)
|
||||||
|
|
||||||
|
for i in papers:
|
||||||
|
paper = get_paper(i)
|
||||||
|
[print(i) for i in get_rules(paper)]
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == '__main__':
|
||||||
|
main()
|
||||||
2
requirements.txt
Normal file
2
requirements.txt
Normal file
|
|
@ -0,0 +1,2 @@
|
||||||
|
requests ~= 2.21.0
|
||||||
|
beautifulsoup4 ~= 4.7.1
|
||||||
24
test_fetch_holidays.py
Normal file
24
test_fetch_holidays.py
Normal file
|
|
@ -0,0 +1,24 @@
|
||||||
|
|
||||||
|
import json
|
||||||
|
import sys
|
||||||
|
|
||||||
|
from fetch_holidays import parse_holiday_description
|
||||||
|
|
||||||
|
|
||||||
|
def _generate_tests():
|
||||||
|
with open('description_parsing_cases.json', 'r', encoding='utf-8', ) as f:
|
||||||
|
cases = json.load(f)
|
||||||
|
|
||||||
|
def create_test(case):
|
||||||
|
def _test():
|
||||||
|
year, description, expected = case['year'], case['description'], case['expected']
|
||||||
|
assert parse_holiday_description(
|
||||||
|
year, description) == expected, case
|
||||||
|
return _test
|
||||||
|
|
||||||
|
for index, case in enumerate(cases, 1):
|
||||||
|
setattr(sys.modules[__name__],
|
||||||
|
f'test_parse_holiday_description_{index}', create_test(case))
|
||||||
|
|
||||||
|
|
||||||
|
_generate_tests()
|
||||||
Loading…
Reference in New Issue
Block a user