#!/usr/bin/python
# -*- coding: utf-8 -*-
#
# azb (User:e_thp)
#
# Distributed under the terms of the CC-BY-SA 3.0 .
# -*- coding: utf-8 -*-
import re,cosmetic_changes
import wikipedia,pagegenerators
from wikipedia import i18n
testpass=False
wikipedia.config.put_throttle = 0
wikipedia.put_throttle.setDelay()
cleaning_version=u'۱'
msg=u'('+cleaning_version +u')'
faSite = wikipedia.getSite('azb')
#-----------------
def minor_edits (text):
text=text.replace(u'\r',u'')
text=text.replace(u'\n \n \n',u'\n\n').replace(u'\n \n',u'\n\n').replace(u'\n \n',u'\n\n').replace(u'\n \n',u'\n\n').replace(u"--------",u'----').replace(u"-----",u'----').replace(u"--------",u'----').replace(u"-----",u'----')
text = re.sub('[\r\n]{3,}', "\n\n",text)
text=text.replace(u'[[ ',u'[[').replace(u' ]]',u']]').replace(u' }}',u'}}').replace(u'{{ ',u'{{').replace(u'< ',u'<').replace(u' >',u'>').replace(u'</ ',u'</').replace(u' />',u'/>').replace(u'<!--\n',u'<!--').replace(u'\n-->',u'-->').replace(u'<!---\n',u'<!---').replace(u'\n--->',u'--->')
text=text.replace(u'[[ ',u'[[').replace(u' ]]',u']]').replace(u' }}',u'}}').replace(u'{{ ',u'{{').replace(u'== ',u'== ').replace(u'== ',u'== ').replace(u' ==',u' ==').replace(u' ==',u' ==')
text=text.replace(u'\n<ref',u'<ref').replace(u'</ref>\n<ref',u'</ref><ref')
text = re.sub(re.compile(ur'^(\=+)\s*(.*?)\s*(\=+)$', re.MULTILINE), ur"\1 \2 \3",text)
text=text.replace(u'\n\n*',u'\n*').replace(u'\n\n#',u'\n#')
#یاریم فاصیله دوزلتمه
text = re.sub(u'{2,}', u'', text) # بیر بیرینین دالیجا
text = re.sub(u'\[\[([^\]\|]*?)]](%s+)' % faChrs, ur'[[\1|\1\2]]', text) # Piping
text = re.sub(u'(?![ئاآأإژزرذدوؤةبپتثجچحخسشصضطظعغفقکگلمنهیيًٌٍَُِّْٰٓٔ]|[\u0900-\u097F]|ֹ)', '', text) # دالدا
text = re.sub(u'(?<![ئبپتثجچحخسشصضطظعغفقکگلمنهیيًٌٍَُِّْٰٓٔ]|[\u0900-\u097F]|f|ֹ)', '', text) # دالدا
#a: شابلون آرتما
if text.find(u'{{قایناقلار')==-1:
if text.find(u'= قایناقلار =') !=-1:
text = re.sub(ur'(= قایناقلار =+\n)', ur'\1{{قایناقلار}}\n', text, re.S)
minor_text=text.strip()
return minor_text
def arabic_to_farsi(text):
exceptions = ['gallery', 'hyperlink', 'interwiki', 'math', 'pre', 'template', 'timeline', 'ref', 'source', 'startspace', 'inputbox']
text = wikipedia.replaceExcept(text, u'آزرب', u'آذرب', exceptions)
return text
def cleaning(text,msg_short,msg=msg):
old_text=text
text=text.replace(u'\r',u'').replace(u'\n^ "',u'\n*"').replace(u'‌',u'').replace(u'\n \n \n',u'\n\n').replace(u'\n \n',u'\n\n').replace(u'\n \n',u'\n\n').replace(u'\n \n',u'\n\n')
text=text.replace(u'< ',u'<').replace(u' >',u'>').replace(u'<!--\n',u'<!--').replace(u'\n-->',u'-->').replace(u'<!---\n',u'<!---').replace(u'\n--->',u'--->')
#یاریم فاصیله دوزلتمه
text = re.sub(u'{2,}', u'', text) # بیر بیرینین دالیجا
text = re.sub(u'\[\[([^\]\|]*?)]](%s+)' % faChrs, ur'[[\1|\1\2]]', text) # Piping
text = re.sub(u'(?![ئاآأإژزرذدوؤةبپتثجچحخسشصضطظعغفقکگلمنهیيًٌٍَُِّْٰٓٔ]|[\u0900-\u097F]|ֹ)', '', text) # دالدا
text = re.sub(u'(?<![ئبپتثجچحخسشصضطظعغفقکگلمنهیيًٌٍَُِّْٰٓٔ]|[\u0900-\u097F]|f|ֹ)', '', text) # دالدا
text=arabic_to_farsi(text)
#عنوان دوزلتلمه
#----cleaning for subsections-----
text=text.replace(u'[[دوغو آذربایجان ایالتی]]',u'[[دوغو آذربایجان ایالتی|دوغو آذربایجان ایالتی]]').replace(u'[[اهر بولگه سی|اهر بولگه سی]]',u'[[اهر بؤلگه‌سی|اهر بؤلگه‌سی]]').replace(u'[[اهر بولگه سی]]',u'[[اهر بؤلگه‌سی|اهر بؤلگه‌سی]]').replace(u'',u'').replace(u'Kitab bildir',u'قایناق کیتاب').replace(u'<ref>http://amar.sci.org ایرانین آمار مركزی؛ 1385 اینجی ایلین نوفوس سایی سی</ref>',u'<ref>[http://amar.sci.org ایرانین آمار مركزی؛ 1385 اینجی ایلین نوفوس سایی سی] </ref> ')
text=re.sub(ur"\n\n\'\'\'(.*?)\'\'\'(\s)\n\n",r"\n\n== \1 ==\n\n",text)
text=re.sub(ur"\n\n\'\'\'(.*?)\'\'\'(\s)\n([\n\#\*])",r"\n\n== \1 ==\n\3",text)
text = re.sub(re.compile(ur'^(\=+)\s*(.*?)\s*(\=+)$', re.MULTILINE), ur"\1 \2 \3",text).replace(u"== ",u'== ').replace(u" ==",u' ==')
for i in range(0,40):
text=text.replace(u"= =",u'==').replace(u"= =",u'==')
text=text.replace(u"== '",u'==').replace(u"' ==",u'==').replace(u"--------",u'----').replace(u"-----",u'----')
text=text.replace(u'== "',u'==').replace(u'" ==',u'==')
for i in u":,;'»«&^#@•-→←↔↑↓—–…~٫،؛ٔ*":
text=text.replace(u'== '+i,u'== ').replace(i+u' ==',u' ==').replace(u'\n\n'+i+u'\n\n',u'\n\n').replace(u'=\n'+i+u'\n\n',u'=\n\n')
if text.find(u'==')==-1:
text = re.sub(re.compile(ur'^\=([^\=\r\n]+)\=$', re.MULTILINE), ur"== \1 ==",text)
#----cleaning for links and wiki syntaxes-----
text=text.replace(u'[[ ',u'[[').replace(u' ]]',u']]').replace(u' }}',u'}}').replace(u'{{ ',u'{{').replace(u'< ',u'<').replace(u' >',u'>').replace(u'</ ',u'</').replace(u' />',u'/>')
text=text.replace(u'[[ ',u'[[').replace(u' ]]',u']]').replace(u' }}',u'}}').replace(u'{{ ',u'{{').replace(u'== ',u'== ').replace(u'== ',u'== ').replace(u' ==',u' ==').replace(u' ==',u' ==')
text = re.sub(u'(?:'+zaed+u')', '', text)
#e: عنوانلار
txet=text.replace(u'<small>',u'<small>').replace(u'</small>',u'</small>')
text=text.replace(u'== قایناقلار ==\n\n== قایناقلار ==',u'== قایناقلار ==').replace(u'== قایناقلار ==\n\n\n== قایناقلار ==',u'== قایناقلار ==').replace(u'== قایناقلار ==\n== قایناقلار ==',u'== قایناقلار ==')
#خطلر دوزلتلمه
text=text.replace(u'\n\n{{-}}\n\n',u'\n{{-}}\n').replace(u' [[file:]] ',u'').replace(u'<!---->\n',u'').replace(u'<!---->',u'')
text = re.sub('[\r\n]{3,}', "\n\n",text)
if old_text!=text:
if msg_short:
msg=u' دوزلتمه+'+msg
else:
msg=u' دوزلتمه + '+msg
return text.strip(),msg
def persian_sort(categorylist):
finallradeh,s_radeh=[],[]
alphabets=u' ۰۱۲۳۴۵۶۷۸۹آابپتثجچحخدذرزژسشصضعغفقکگلمنوهی'
for radeh in categorylist:
radeh=radeh.replace(u'[[Kateqoriya:',u'').replace(u']]',u'')
coderadeh=radeh
for i in range(0,len(alphabets)):
alphabet=alphabets[i]
if i<10:
j='0'+str(i)
else:
j=str(i)
coderadeh=coderadeh.replace(alphabet,j)
s_radeh.append(coderadeh+u'0000000000000000000@@@@'+radeh)
s_radeh=list(set(s_radeh))
sortedradeh=sorted(s_radeh)
for radeh in sortedradeh:
radeh=u'[[Kateqoriya:'+radeh.split(u'@@@@')[1]+u']]'
finallradeh.append(radeh)
return finallradeh
def catsorting(text,page,msg_short,msg=msg):
new_text=text
RE=re.compile(u"(\[\[Kateqoriya\:(?:.+?)\]\])")
cats=RE.findall(text)
if not cats:
return text,msg
for i in cats:
new_text=new_text.replace(i,u"")
cats=persian_sort(cats)
for name in cats:
if re.search(u"\[\[(.+?)\|[ \*]\]\]",name) or u"[[Kateqoriya:"+page.title()==name.split(u"]]")[0].split(u"|")[0]:
cats.remove(name)
cats.insert(0, name)
if cats==RE.findall(text):
return text,msg
for i in cats:
new_text=new_text+u"\n"+i
ccToolkit = cosmetic_changes.CosmeticChangesToolkit(page.site(), redirect=page.isRedirectPage(), namespace = page.namespace(), pageTitle=page.title())
new_text = ccToolkit.change(new_text)
if msg_short:
msg=u'ترتیب+'+msg
else:
msg=u' + ترتیبلمه Kateqoriyaها + '+msg
return new_text,msg
def fa_cosmetic_changes(text,page,msg_short=True,msg=msg):
old_text=text
old_msg=msg
if page.namespace()==0 or testpass:#-------These functions are designed for namespace=0.
text,msg=cleaning(text,msg_short,msg)
if text==minor_edits(old_text):#---------------Undoing minor changes
text=old_text
msg=old_msg
text_new,msg=catsorting(text,page,msg_short,msg)
if text_new!=text:
text=minor_edits(text_new)
if msg_short:
msg=msg.replace(u"+(",u"(")
else:
msg=msg.replace(u"+ (",u" (")
if msg.strip()==u'('+cleaning_version +u')':
msg=u''
else:
msg=u'+'+msg
return text,cleaning_version,msg
def run(preloadingGen,msg):
for fapage in preloadingGen:
try:
text=fapage.get()
old_text=text
text,cleaning_version,msg=fa_cosmetic_changes(text,fapage,msg_short=True,msg=msg)
if old_text!=text and text!=minor_edits(old_text):
wikipedia.output(u'-------------------------------------------')
fapage.put(text,u'Beautification Vikipediya)'+u' ('+cleaning_version +u')')
except:
continue
def main():
summary_commandline,gen = None,None
exceptions,PageTitles,namespaces = [],[],[]
autoText,autoTitle = False,False
genFactory = pagegenerators.GeneratorFactory()
wikipedia.setAction( msg )
arg=True#------if you dont want to work with arguments leave it False if you want change it to True---
if arg==True:
for arg in wikipedia.handleArgs():
if arg == '-autotitle':
autoTitle = True
elif arg == '-autotext':
autoText = True
elif arg.startswith( '-page:' ):
if len(arg) == 6:
PageTitles.append(wikipedia.input( u'Which page do you want to chage?' ))
else:
PageTitles.append(arg[6:])
elif arg.startswith( '-cat:' ):
if len(arg) == 5:
PageTitles.append(wikipedia.input( u'Which Category do you want to chage?' ))
else:
PageTitles.append('Category:'+arg[5:])
elif arg.startswith('-except:'):
exceptions.append(arg[8:])
elif arg.startswith( '-namespace:' ):
namespaces.append( int( arg[11:] ) )
elif arg.startswith( '-ns:' ):
namespaces.append( int( arg[4:] ) )
elif arg.startswith( '-summary:' ):
wikipedia.setAction( arg[9:] )
summary_commandline = True
else:
generator = genFactory.handleArg(arg)
if generator:
gen = generator
else:
PageTitles = [raw_input(u'Page:> ').decode('utf-8')]
if PageTitles:
pages = [wikipedia.Page(faSite,PageTitle) for PageTitle in PageTitles]
gen = iter( pages )
if not gen:
wikipedia.stopme()
if namespaces != []:
gen = pagegenerators.NamespaceFilterPageGenerator( gen,namespaces )
preloadingGen = pagegenerators.PreloadingGenerator( gen,pageNumber = 60 )#---number of pages that you want load at same time
run(preloadingGen,msg)
if __name__ == "__main__":
testpass=True
msg=u' '
main()
سالاملار و سایغیلار سعید بی. بؤیوک ویکیلر کیمی بیز ده حساس مقاله‌لرده ائدیلن دییشیکلیکلری ایداره‌چیلرین تأییدینه باغلی ائده بیلریک؟ بعضی تاریخی مقاله‌لره مۆختلیف آی‌پی‌لر یوْلویلا قایناقسیز-قایداسیز یازیلار علاوه اوْلونور. حؤرمتله --Ilğım (دانیشیق) ۱۴ نووامبر ۲۰۱۵، ساعت ۱۲:۳۷ (UTC)
سلام سعید بی. سون دییشیکلیکلر شابلونونون کئچن 24 ساعاتدا یارانان یئنی مقاله‌لر ساییسی بؤلومونده بئله گؤرونور کی بو سایی یانلیش گؤستریلیر. عیلّتینی بیلیرسینیز؟ حؤرمتله Matreeks (دانیشیق) ۲۱ نووامبر ۲۰۱۵، ساعت ۲۰:۰۳ (UTC)
سلام بی. باخیب الدن گلسه دوزلدرم. حورمتلهE THP (دانیشیق) ۲۳ نووامبر ۲۰۱۵، ساعت ۰۷:۲۶ (UTC)
