How to use obter_atributo method in SeleniumBase

Best Python code snippet using SeleniumBase

Alvaro.py

Source:Alvaro.py

...227                            sins_lema1.remove(lema1)228                        if lema2 in sins_lema2:229                            sins_lema2.remove(lema2)230                        for sin_iter1 in sins_lema1:231                            for ex_iter in BaseOx.obter_atributo(BaseOx.INSTANCE, lema2, pos, def2, 'exemplos'):232                                if lema2 in ex_iter:233                                    ex_def2 = ex_iter.replace(lema2, sin_iter1)234                                    sc_wmd = wmd(235                                        RepVetorial.INSTANCE, ex_iter, ex_def2)236                                    # lema, def, pos, sin, lema, def, pos, ex237                                    padrao_cmd = "%s@@@@%s@@@@%s@@@@@%s@@@@%s@@@@%s@@@@%s@@@@%f"238                                    padrao_cmd = padrao_cmd % (239                                        lema1, def1, pos, sin_iter1, lema2, def2, ex_def2, sc_wmd)240                                    os.system(241                                        'echo \"%s\" >> ../Bases/linhas.txt' % padrao_cmd)242                        for sin_iter2 in sins_lema2:243                            for ex_iter in BaseOx.obter_atributo(BaseOx.INSTANCE, lema1, pos, def1, 'exemplos'):244                                if lema1 in ex_iter:245                                    ex_def1 = ex_iter.replace(lema1, sin_iter2)246                                    sc_wmd = wmd(247                                        RepVetorial.INSTANCE, ex_iter, ex_def1)248                                    # lema, def, pos, sin, lema, def, pos, ex249                                    padrao_cmd = "%s@@@@%s@@@@%s@@@@@%s@@@@%s@@@@%s@@@@%s@@@@%f"250                                    padrao_cmd = padrao_cmd % (251                                        lema2, def2, pos, sin_iter2, lema1, def1, ex_def1, sc_wmd)252                                    os.system(253                                        'echo \"%s\" >> ../Bases/linhas.txt' % padrao_cmd)254                        sc = None255                    Alvaro.PONDERACAO_DEFINICOES[str(chave)] = 1256        return None257    # Obtem a palavra mais usual para o significado mais usual para uma palavra258    def sugestao_contigencial(self, palavra,259                              pos, fontes_def='oxford',260                              metodo='definicao_usual',261                              ctx=None, med_sim='cosine'):262        if metodo == 'definicao_usual':263            if pos == 'r':264                sins = wn.synsets(palavra, pos)[0].lemma_names()265                try:266                    sins.remove(palavra)267                except:268                    pass269                return sins270            if fontes_def == 'wordnet':271                for syn in wn.synsets(palavra, pos):272                    for lema in syn.lemma_names():273                        if not Util.e_mpalavra(lema) and lema != palavra:274                            return [lema]275            elif fontes_def == 'oxford':276                try:277                    pos_ox = Util.cvsr_pos_semeval_ox(pos)278                    todas_definicoes = BaseOx.obter_definicoes(palavra, pos_ox)279                    def_prin = todas_definicoes[0]280                    sins = BaseOx.obter_sins(palavra, def_prin)281                    return sins282                except Exception, e:283                    print(e)284                    pass285        elif metodo == 'desambiguador':286            if fontes_def == 'wordnet':287                raise("\n\nFuncao nao implementada!\n\n")288            elif fontes_def == 'oxford':289                des_ox = DesOx(self.cfgs, self.base_ox,290                               rep_vetorial=self.rep_vetorial)291                try:292                    label, definicao, exemplos = DesOx.desambiguar(293                        des_ox, ctx, palavra, pos, nbest=True, med_sim=med_sim)[0][0]294                    sins_preditos = BaseOx.obter_sins(palavra, definicao, pos)295                    return sins_preditos296                except Exception, e:297                    pass298        else:299            raise("\nOpcao invalida para o metodo de SUGESTAO CONTIGENCIAL!\n")300        return [""]301    # Gabarito no formato [[palavra, voto], ...]302    def possui_moda(self, gabarito):303        todos_votos = sorted([v[1] for v in gabarito], reverse=True)304        try:305            return todos_votos[0] > todos_votos[1]306        except IndexError:307            return True308        return False309    """310    Recebe uma lista de pares <palavra, definicao> e311    retorna sinonimos para cada par. Vale lembrar: sinonimos312    compartilhados entre os pares nao sao permitidos no313    conjunto-resposta. O intuito Ã© fazer da lista de sinÃ´nimos314    um importante fator discriminante entre "sinonimos de 1a ordem".315    """316    @staticmethod317    def obter_sinonimos_filtrados(lista_definicoes, pos, remover_sinonimos_replicados=True):318        conjunto_universo_sinonimos = {}319        # Estrutura com pares <(palavra, definicao>: sinonimo)>320        definicoes_sinonimos = {}321        for palavra, definicao in lista_definicoes:322            lista_sinonimos = BaseOx.obter_sins(323                BaseOx.INSTANCE, palavra, definicao, pos, remover_sinonimos_replicados=True)324            for s in lista_sinonimos:325                if not s in conjunto_universo_sinonimos:326                    conjunto_universo_sinonimos[s] = []327                conjunto_universo_sinonimos[s].append(328                    str((palavra, definicao)))329            definicoes_sinonimos[str((palavra, definicao))] = []330        for palavra, definicao in lista_definicoes:331            lista_sinonimos = BaseOx.obter_sins(332                BaseOx.INSTANCE, palavra, definicao, pos, remover_sinonimos_replicados=True)333            for s in lista_sinonimos:334                # Se Sinonimo esta vinculado a somente um par <palavra, definicao>335                if conjunto_universo_sinonimos[s].__len__() == 1:336                    definicoes_sinonimos[str((palavra, definicao))].append(s)337        return definicoes_sinonimos338    @staticmethod339    def gerar_ngrams_exemplos(candidato, pos):340        for def_iter in BaseOx.obter_definicoes(BaseOx.INSTANCE, candidato, pos=pos):341            for ex in BaseOx.obter_atributo(BaseOx.INSTANCE, candidato, pos, def_iter, 'exemplos'):342                ex_blob = textblob.TextBlob(ex)343                for ng in ex_blob.ngrams(n=Util.CONFIGS['ngram']['max']):344                    ng_str = " ".join(ng)345                    #ng_tags = str(nltk.pos_tag(nltk.word_tokenize(ng_str)))346                    chave_reg = "%s:::%s" % (candidato, def_iter)347                    if not chave_reg in Alvaro.INDEXES_REGID:348                        Alvaro.INDEXES_REGID[chave_reg] = len(349                            Alvaro.INDEXES_REGID)350                        Alvaro.INDEXES_IDREG[len(351                            Alvaro.INDEXES_REGID)-1] = chave_reg352                    if not ng_str in Alvaro.NGRAMS_EXOX_PLAIN:353                        Alvaro.NGRAMS_EXOX_PLAIN[ng_str] = set(354                            [Alvaro.INDEXES_REGID[chave_reg]])355                    else:356                        Alvaro.NGRAMS_EXOX_PLAIN[ng_str].add(357                            Alvaro.INDEXES_REGID[chave_reg])358                ex_blob = None359    @staticmethod360    def indexar_exemplos(cand_iter, pos, fonte='oxford'):361        from Indexador import Whoosh362        singleton = BaseOx.INSTANCE363        if not cand_iter in Alvaro.PALAVRAS_EXEMPLOS_INDEXADOS:364            documentos = []365            for def_iter in BaseOx.obter_definicoes(BaseOx.INSTANCE, cand_iter, pos):366                titulo = cand_iter + ":::" + def_iter367                dir_doc = "%s-%s.json" % (cand_iter, pos)368                exemplos = BaseOx.obter_atributo(369                    singleton, cand_iter, pos, def_iter, 'exemplos')370                exemplos = ":::".join(exemplos)371                documentos.append((titulo, dir_doc, exemplos))372            Whoosh.iniciar_indexacao_exemplos(documentos)373            Alvaro.PALAVRAS_EXEMPLOS_INDEXADOS.add(cand_iter)374    def selec_ngrams(self, palavra, frase, cands):375        cfgs = self.cfgs376        min_ngram = cfgs['ngram']['min']377        max_ngram = cfgs['ngram']['max']378        pont_ngram = dict([(p, 0.00) for p in cands])379        ngrams_coca = Alvaro.NGRAMS_COCA380        ngrams_signalmedia = Alvaro.NGRAMS_SIGNALMEDIA381        for cand_iter in cands:382            nova_frase = frase.replace(palavra, cand_iter)383            ngrams_derivados_frase = Alvaro.gerar_ngrams_tagueados(384                nova_frase, min_ngram,385                max_ngram, cand_iter)386            ngrams_leipzig = {}387            # Carregando N-grams de Leipzig e derivando N-grams para N = 2, 3, 4 e 5388            if True:389                if "leipzig" in self.cfgs['ngram']['fontes']:390                    ngrams_leipzig = Alvaro.carregar_ngrams_leipzig(391                        palavra, cand_iter)392                    # derivando demais n-grams393                    dir_ngrams_derivados = cfgs['ngram']['dir_derivado'] % cand_iter394                    if os.path.exists(dir_ngrams_derivados) == False:395                        min_ng, max_ng = cfgs['ngram']['min'], cfgs['ngram']['max']396                        ngrams_derivados_leipzig = Alvaro.derivar_ngrams(397                            ngrams_leipzig, min_ng, max_ng)398                        Util.salvar_json(dir_ngrams_derivados,399                                         ngrams_derivados_leipzig)400                    else:401                        ngrams_derivados_leipzig = Util.abrir_json(402                            dir_ngrams_derivados)403                    for ng_str in ngrams_derivados_leipzig:404                        ngrams_leipzig[ng_str] = ngrams_derivados_leipzig[ng_str]405                    ngrams_derivados_leipzig = None406            for __ng_iter__ in ngrams_derivados_frase:407                ng_iter = [(unicode(p), pt) for (p, pt) in __ng_iter__]408                ng_iter_sm = " ".join([p for (p, pt) in __ng_iter__])409                freq_ngram = 0410                nova_pont = 0411                corpus_ngrams = {412                    "coca": {"ngrams": ngrams_coca, "ng_chave": unicode(ng_iter)},413                    "leipzig": {"ngrams": ngrams_leipzig, "ng_chave": unicode(__ng_iter__)},414                    "signalmedia": {"ngrams": ngrams_signalmedia, "ng_chave": unicode(ng_iter_sm)}415                }416                for nome_corpus in set(corpus_ngrams.keys()) & set(self.cfgs['ngram']['fontes']):417                    ngrams = corpus_ngrams[nome_corpus]['ngrams']418                    ng_chave = corpus_ngrams[nome_corpus]['ng_chave']419                    if ng_chave in ngrams:420                        freq_ngram = int(ngrams[ng_chave])421                        nova_pont = Alvaro.pont_colocacao(422                            freq_ngram, len(__ng_iter__), max_ngram)423                        pont_ngram[cand_iter] += nova_pont424            ngrams_leipzig = None425            ngrams_derivados_frase = None426        top_ngrams = [(p, pont_ngram[p]) for p in cands]427        return top_ngrams428    @staticmethod429    def derivar_ngrams(ngrams, _min_, _max_):430        novos_ngrams = {}431        for ng_str in ngrams:432            try:433                ng = eval(ng_str)434                for n in range(_min_, _max_):435                    for i in range(_max_-n):436                        try:437                            novo_ng = str(ng[i:i+n])438                            if not novo_ng in novos_ngrams:439                                novos_ngrams[novo_ng] = ngrams[ng_str]440                            else:441                                novos_ngrams[novo_ng] += ngrams[ng_str]442                        except:443                            pass444            except Exception, e:445                print("\nErro para ngram: %s\n" % str(ng))446                print(e)447        return novos_ngrams448    @staticmethod449    def derivar_ngrams_string(ngrams, _min_, _max_):450        novos_ngrams = {}451        for ng_str in ngrams:452            try:453                ng = ng_str.split(" ")454                for n in range(_min_, _max_):455                    for i in range(_max_-n):456                        try:457                            novo_ng = " ".join(ng[i:i+n])458                            if not novo_ng in novos_ngrams:459                                novos_ngrams[novo_ng] = ngrams[ng_str]460                            else:461                                novos_ngrams[novo_ng] += ngrams[ng_str]462                        except:463                            pass464            except Exception, e:465                print("\nErro para ngram: %s\n" % str(ng))466                print(e)467        return novos_ngrams468    def selec_candidatos(self, palavra, pos, fontes=['wordnet'], indice_definicao=-1):469        maxpordef_wn = Util.CONFIGS['alvaro']['mxspdef_wn']470        maxpordef_ox = Util.CONFIGS['alvaro']['mxspdef_ox']471        candidatos_best = set()472        candidatos_oot = set()473        comprimento = None474        if fontes in [[], None]:475            raise Exception("Fontes nao foram informadas!")476        if indice_definicao != -1 and fontes != ['oxford']:477            msg = "\nVoce nao pode selecionar um unico indice para mais de duas fontes! "478            msg += "O casamento de definicoes nao existe implementado!\n"479            raise Exception(msg)480        if 'wordnet' in fontes:481            for s in wn.synsets(palavra, pos):482                for l in list(set(s.lemma_names()) - set(candidatos_oot))[:maxpordef_wn]:483                    candidatos_oot.update([l])484                    candidatos_best.update([l])485                try:486                    if pos in ['n']:487                        for h in s.hypernyms():488                            candidatos_oot.update(489                                h.lemma_names()[:maxpordef_wn])490                        for h in s.hyponyms():491                            candidatos_oot.update(492                                h.lemma_names()[:maxpordef_wn])493                    elif pos in ['a', 'r', 'v']:494                        for similar in s.similar_tos():495                            candidatos_oot.update(496                                similar.lemma_names()[:maxpordef_wn])497                except Exception, e:498                    pass499        if 'oxford' in fontes:500            todas_definicoes = BaseOx.obter_definicoes(501                BaseOx.INSTANCE, palavra, pos)502            for definicao in todas_definicoes:503                try:504                    cands_iter = []505                    todos_sinonimos = BaseOx.obter_sins(506                        BaseOx.INSTANCE, palavra, definicao, pos)507                    for c in todos_sinonimos:508                        if not c in cands_iter and len(cands_iter) < maxpordef_ox:509                            cands_iter.append(c)510                    candidatos_tmp = cands_iter511                    #candidatos_tmp = BaseOx.obter_sins(BaseOx.INSTANCE, palavra, definicao, pos)[:maxpordef_ox]512                except:513                    candidatos_tmp = []514                candidatos_best.update(515                    [] if candidatos_tmp == None else candidatos_tmp)516                candidatos_oot.update(517                    [] if candidatos_tmp == None else candidatos_tmp)518        comprimento = len(candidatos_oot)519        if set(['wordembbedings', 'embbedings']).intersection(set(fontes)):520            obter_palavras_relacionadas = self.rep_vetorial.obter_palavras_relacionadas521            ptmp = [p[0] for p in obter_palavras_relacionadas(positivos=[palavra],522                                                              pos=pos, topn=comprimento)]523            candidatos_oot.update(ptmp)524        if palavra in candidatos_oot:525            candidatos_oot.remove(palavra)526        cands = [p for p in list(candidatos_oot) if len(p) > 1]527        cands = [p for p in cands if p.istitle() == False]528        cands = [p for p in cands if not Util.e_mpalavra(p)]529        retorno = {}530        retorno['uniao'] = list(candidatos_best.union(candidatos_oot))531        retorno['best'] = candidatos_best532        retorno['oot'] = candidatos_oot533        return retorno534    # Retirado de https://stevenloria.com/tf-idf/535    @staticmethod536    def tf(word, text_blob):537        return float(text_blob.words.count(word))538        # return float(blob.words.count(word)) / float(len(blob.words))539    @staticmethod540    def n_containing(word, bloblist):541        return sum(1 for blob in bloblist if word in blob.words)542    @staticmethod543    def idf(word, bloblist):544        # return math.log(len(bloblist) / len((1 + self.n_containing(word, bloblist))))545        x = Alvaro.n_containing(word, bloblist)546        return math.log(len(bloblist) / (x if x else 1))547    @staticmethod548    def tfidf(word, blob, bloblist):549        return Alvaro.tf(word, blob) * Alvaro.idf(word, bloblist)550    551    # https://corpus.byu.edu/mutualInformation.asp552    # https://corpustools.readthedocs.io/en/latest/mutual_information.html553    # https://stackoverflow.com/questions/13488817/pointwise-mutual-information-on-text554    # https://medium.com/@nicharuch/collocations-identifying-phrases-that-act-like-individual-words-in-nlp-f58a93a2f84a555    @staticmethod556    def pontuar_pmi(freq_x, freq_y, freq_xy, indexes):557        searcher = Whoosh.searcher(Whoosh.DIR_INDEXES)558        total_sentencas = searcher.doc_count()559        px = float(freq_x) / total_sentencas560        py = float(freq_y) / total_sentencas561        pxy = float(freq_xy) / total_sentencas562        return math.log(pxy / (px * py), 2)563    @staticmethod564    def abrir_contadores_pmi():565        cfgs = Util.CONFIGS566        try:567            Alvaro.FREQUENCIA_PMI = Util.abrir_json(568                cfgs['metodo_pmi']['dir_contadores'], criarsenaoexiste=False)569            return Alvaro.FREQUENCIA_PMI != None570        except:571            return False572    @staticmethod573    def salvar_contadores_pmi():574        cfgs = Util.CONFIGS575        if Alvaro.FREQUENCIA_PMI != None:576            Util.salvar_json(cfgs['metodo_pmi']577                             ['usar_metodo'], Alvaro.FREQUENCIA_PMI)578            Alvaro.FREQUENCIA_PMI = None579            return True580        else:581            return False582    @staticmethod583    def gerar_ngrams_tagueados(sentenca, _min_, _max_, palavra_central=None):584        ngrams_dict = {}585        tokens_tagueados = nltk.pos_tag(nltk.word_tokenize(sentenca))586        for n in range(_min_, _max_+1):587            ngrams_dict[n] = []588        for n in range(_min_, _max_+1):589            for i in range(0, len(tokens_tagueados)-n):590                if i+n < len(tokens_tagueados):591                    novo_ngram = tokens_tagueados[i:i+n]592                    if palavra_central in [t for (t, pt) in novo_ngram] or palavra_central == None:593                        novo_ngram = [(t, pt) for (t, pt)594                                      in novo_ngram if not t in punctuation]595                        if palavra_central in [t for (t, pt) in novo_ngram] or palavra_central == None:596                            try:597                                if not novo_ngram in ngrams_dict[len(novo_ngram)]:598                                    ngrams_dict[len(novo_ngram)].append(599                                        novo_ngram)600                            except:601                                pass602        ngrams = []603        for n in sorted(ngrams_dict.keys(), reverse=True):604            ngrams += ngrams_dict[n]605        return ngrams606    @staticmethod607    def carregar_coca_ngrams(diretorio):608        min_ngram = Util.CONFIGS['ngram']['min']609        max_ngram = Util.CONFIGS['ngram']['max']610        arquivo_ngrams = open(diretorio, 'r')611        todas_linhas = arquivo_ngrams.readlines()612        arquivo_ngrams.close()613        todos_ngrams_tuplas = {}  # <ngram : count>614        for linha_iter in todas_linhas:615            colunas = str(linha_iter).lower().split("\t")616            freq, tokens = int(colunas[0]), "\t".join(colunas[1:])617            ngrams = Alvaro.gerar_ngrams_tagueados(618                tokens, min_ngram, max_ngram)619            for ng in ngrams:620                if not str(ng) in todos_ngrams_tuplas:621                    todos_ngrams_tuplas[str(ng)] = int(freq)622                else:623                    todos_ngrams_tuplas[str(ng)] += int(freq)624        return todos_ngrams_tuplas625    @staticmethod626    def pont_colocacao(freq, len_sintagma, max_sintagma):627        return freq * (len_sintagma ** 3)628    # https://stackoverflow.com/questions/24192979/629    @staticmethod630    def obter_antonimos(palavra, pos):631        if not pos in ['a', 's']:632            return []633        anto = []634        for s in wn.synsets(palavra, pos):635            for l in s.lemmas():636                for a in l.antonyms():637                    if not a.name() in anto:638                        anto.append(a.name())639        return anto640    @staticmethod641    def carregar_ngrams_leipzig(palavra, substituto):642        if substituto in Util.CONFIGS["ngram"]["blacklist"]:643            return {}644        dir_conts_ngrams_leipzig = Util.CONFIGS['ngram']['leipzig_conts'] % substituto645        if os.path.exists(dir_conts_ngrams_leipzig) == True:646            return Util.abrir_json(dir_conts_ngrams_leipzig)647        dict_freq_ngrams = {}648        print("\nExtraindo do corpus sentencas para '%s'" % substituto)649        try:650            obj = Alvaro.gerar_ngrams_leipzig([substituto])651        except:652            obj = []653        print("Sentencas extraidas!")654        print("Contabilizando n-grams!")655        for reg in obj:656            ng_str = str(nltk.pos_tag(nltk.word_tokenize(" ".join(reg))))657            if not ng_str in dict_freq_ngrams:658                dict_freq_ngrams[ng_str] = 1659            else:660                dict_freq_ngrams[ng_str] += 1661        print("n-grams contabilizados!")662        print("\n")663        obj = None664        arq = None665        Util.salvar_json(dir_conts_ngrams_leipzig, dict_freq_ngrams)666        return dict_freq_ngrams667    @staticmethod668    def gerar_ngrams_leipzig(lista_palavras, postags=False):669        if type(lista_palavras) != list:670            raise Exception("Tipo errado!")671        system = os.system672        file_ngrams_tmp = '../Bases/ngrams.tmp'673        diretorio_leipzig_txt = "~/Bases/Corpora/Leipzig/*"674        if os.path.exists(file_ngrams_tmp) == True:675            system('rm '+file_ngrams_tmp)676        filtro = "".join(' | grep "%s"' % p for p in lista_palavras)677        comando_filtro = 'cat %s %s >> %s' % (678            diretorio_leipzig_txt, filtro, file_ngrams_tmp)679        os.system(comando_filtro)680        print(comando_filtro)681        cont_linhas = 0682        with open(file_ngrams_tmp, 'r') as saida_grep:683            for linha_iter in saida_grep:684                cont_linhas += 1685        if cont_linhas > 30000:686            raise Exception("Arquivo de n-grams grande!")687        resultado = []688        with open(file_ngrams_tmp, 'r') as saida_grep:689            for linha_iter in saida_grep:690                saida_blob = textblob.TextBlob(691                    Util.completa_normalizacao(linha_iter))692                ngrams_linha = saida_blob.ngrams(693                    n=Util.CONFIGS['ngram']['max'])694                for ng in ngrams_linha:695                    if len(set(lista_palavras) & set(ng)) == len(lista_palavras):696                        if postags == False:697                            resultado.append(ng)698                        else:699                            resultado.append(nltk.pos_tag(ng))700                saida_blob = None701                ngrams_linha = None702        if os.path.exists(file_ngrams_tmp) == True:703            os.system('rm ' + file_ngrams_tmp)704        return resultado705    @staticmethod706    def carregar_base_ponderacao_definicoes():707        import json708        dir_arq = "../Bases/ponderacao_definicoes.json"709        if os.path.exists(dir_arq) == True:710            Alvaro.PONDERACAO_DEFINICOES = Util.abrir_json(dir_arq)711        else:712            Alvaro.PONDERACAO_DEFINICOES = {}713        return Alvaro.PONDERACAO_DEFINICOES714    @staticmethod715    def salvar_base_ponderacao_definicoes():716        dir_arq = "../Bases/ponderacao_definicoes.json"717        if Alvaro.PONDERACAO_DEFINICOES != None:718            Util.salvar_json(dir_arq, Alvaro.PONDERACAO_DEFINICOES)719    """720    Gera tokens de correlacao entre palavras da frase e sinonimos-candidatos721    """722    @staticmethod723    def gerar_pares_pmi(palavra, frase, cands):724        pos_uteis_frase = ['N', 'V']725        tokens_tagueados = nltk.pos_tag(nltk.word_tokenize(frase.lower()))726        tokens_frase = [r[0] for r in tokens_tagueados if r[1]727                        [0] in pos_uteis_frase and r[0] != palavra]728        if palavra in tokens_frase:729            tokens_frase.remove(palavra)730        for t in list(tokens_frase):731            if Util.singularize(t) != t:732                tokens_frase.append(Util.singularize(t))733        # Gerando pares de correlaÃ§Ã£o734        pares = list(set(list(itertools.product(*[tokens_frase, cands]))))735        return [reg for reg in pares if len(reg[0]) > 1 and len(reg[1]) > 1]736    @staticmethod737    def pontuar_frase_correlacao_pmi(pares_frase, pos, palavra=None, frase=None):738        deletar_docs_duplicados = Util.CONFIGS['corpora']['deletar_docs_duplicados']739        verbose_pmi = Util.CONFIGS['metodo_pmi']['verbose']740        pontuacao_definicoes = {}741        for par in pares_frase:742            token_frase, cand_par = par743            indexes_ex = Whoosh.DIR_INDEXES_EXEMPLOS744            obter_docs = Whoosh.consultar_documentos745            if Util.singularize(token_frase) != Util.singularize(cand_par):746                # Pesquisa747                if not str(par) in Alvaro.FREQUENCIA_PMI:748                    docs_corpora = obter_docs(749                        list(par), operador="AND", dir_indexes=Whoosh.DIR_INDEXES)750                    Alvaro.FREQUENCIA_PMI[str(par)] = len(docs_corpora)751                    frequencia_par = len(docs_corpora)752                    docs_corpora = None753                else:754                    frequencia_par = Alvaro.FREQUENCIA_PMI[str(par)]755                # Se o par ocorre no minimo uma vez...756                if frequencia_par > 0:757                    token_frase, cand_par = par758                    if cand_par in Alvaro.FREQUENCIA_PMI:759                        if Alvaro.FREQUENCIA_PMI[cand_par] == 0:760                            del Alvaro.FREQUENCIA_PMI[cand_par]761                    if token_frase in Alvaro.FREQUENCIA_PMI:762                        if Alvaro.FREQUENCIA_PMI[token_frase] == 0:763                            del Alvaro.FREQUENCIA_PMI[token_frase]764                    if not token_frase in Alvaro.FREQUENCIA_PMI:765                        Alvaro.FREQUENCIA_PMI[token_frase] = Whoosh.count(766                            token_frase, Whoosh.DIR_INDEXES)767                    if not cand_par in Alvaro.FREQUENCIA_PMI:768                        Alvaro.FREQUENCIA_PMI[cand_par] = Whoosh.count(769                            cand_par, Whoosh.DIR_INDEXES)770                    try:771                        min_par = min(772                            Alvaro.FREQUENCIA_PMI[cand_par], Alvaro.FREQUENCIA_PMI[token_frase])773                        percentagem_par = float(frequencia_par)/float(min_par)774                    except:775                        percentagem_par = 0.00776                    if verbose_pmi:777                        print("\n")778                        print("Par: " + str(par))779                        print("Frequencia no corpus de '%s': %d" % (780                            token_frase, Alvaro.FREQUENCIA_PMI[token_frase]))781                        print("Frequencia no corpus de '%s': %d" % (782                            cand_par, Alvaro.FREQUENCIA_PMI[cand_par]))783                        print("Porcentagem: " + str(percentagem_par) + "%")784                        print("\n")785                    # Se a frequencia de cada um Ã© maior que ZERO786                    if Alvaro.FREQUENCIA_PMI[token_frase] > 0 and Alvaro.FREQUENCIA_PMI[cand_par] > 0:787                        # Calculando PMI para palavras co-ocorrentes no Corpus788                        pmi = Alvaro.pontuar_pmi(789                            Alvaro.FREQUENCIA_PMI[token_frase],790                            Alvaro.FREQUENCIA_PMI[cand_par],791                            frequencia_par,792                            Whoosh.DIR_INDEXES)793                        if verbose_pmi or True:794                            print("PMI para '%s': %f" % (str(par), pmi))795                        #os.system('echo "%s" >> /mnt/ParticaoAlternat/pmi-log.txt'%frase)796                        #os.system('echo "%s" >> /mnt/ParticaoAlternat/pmi-log.txt'%str(par))797                        #os.system('echo "%s" >> /mnt/ParticaoAlternat/pmi-log.txt'%str(pmi))798                        # Filtrando do corpus do dicionario documentos799                        # referentes Ã  definicao do candidato + POS tag800                        docs_exemplos_tmp = obter_docs(list(par),801                                                       dir_indexes=Whoosh.DIR_INDEXES_EXEMPLOS)802                        docs_exemplos = []803                        # Se os documentos804                        for doc in docs_exemplos_tmp:805                            # So selecionando exemplos pertencentes ao candidato806                            if cand_par in doc['title'] and cand_par + '-' + pos in doc['path']:807                                docs_exemplos.append(doc)808                        docs_exemplos_tmp = None809                    else:810                        docs_exemplos = []811                    if docs_exemplos:812                        for doc in docs_exemplos:813                            if cand_par in doc['title'] and cand_par + '-' + pos in doc['path']:814                                if verbose_pmi:815                                    print('\n')816                                    print((cand_par, token_frase))817                                    print(doc['title'])818                                    print(doc['path'])819                                    print('\n')820                                # Exemplo de uma dada definicao821                                exemplos_selecionados = doc['content']822                                blob_ex = textblob.TextBlob(823                                    exemplos_selecionados)824                                print("\n\n")825                                #print("PALAVRA: " + palavra)826                                #print("FRASE: " + frase)827                                print(doc['title'])828                                print("\n")829                                print("TF Exemplos:")830                                palavras_relevantes_exemplos_tmp = Alvaro.tf_exemplos(831                                    blob_ex, min_freq=2)832                                palavras_relevantes_exemplos = [833                                    p for p, freq in palavras_relevantes_exemplos_tmp]834                                for palavra in palavras_relevantes_exemplos:835                                    inst = RepVetorial.INSTANCE836                                    # obter_palavras_relacionadas(self, positivos=None, negativos=None, pos=None, topn=1):837                                    try:838                                        res = RepVetorial.obter_palavras_relacionadas(839                                            inst, positivos=[palavra], topn=200)840                                        print("\n\t%s: %s" %841                                              (palavra.upper(), str(res)))842                                    except:843                                        pass844                                print("\nPalavras relevantes exemplos:")845                                raw_input(palavras_relevantes_exemplos_tmp)846                                print("\n\n")847                                # Frequencia848                                ftoken_frase = Alvaro.tf(token_frase, blob_ex)849                                if verbose_pmi:850                                    fm_token_frase = Alvaro.tf(851                                        token_frase, blob_ex)/blob_ex.split(':::').__len__()852                                    print("FreqMedia '%s': %f" % (853                                        token_frase, fm_token_frase))854                                    print("Frequencia '%s': %f" % (855                                        token_frase, ftoken_frase))856                                    print("PMI x Frequencia: %f" %857                                          (ftoken_frase * pmi))858                                if not doc['title'] in pontuacao_definicoes:859                                    pontuacao_definicoes[doc['title']] = []860                                pontuacao_definicoes[doc['title']].append(861                                    ftoken_frase * pmi)862                    else:863                        if verbose_pmi:864                            print(865                                "Palavras %s nao sao relacionadas no dicionario!" % str(par))866                    docs_exemplos = None867                # Deletando arquivos duplicados868                if deletar_docs_duplicados == True:869                    # Usado para reconhecer documentos duplicados870                    # na indexacao e, posteriormente, deleta-los871                    set_docs_corpora = set()872                    paths_repetidos = set()873                    documentos_deletaveis = []874                    try:875                        for doc_iter in docs_corpora:876                            if len(doc_iter['content']) > Util.CONFIGS['max_text_length']:877                                md5_doc = Util.md5sum_string(878                                    doc_iter['content'])879                                if not md5_doc in set_docs_corpora:880                                    set_docs_corpora.add(md5_doc)881                                else:882                                    if not doc_iter['path'] in paths_repetidos:883                                        doc_tmp = Whoosh.buscar_docnum(884                                            doc_iter['path'])885                                        documentos_deletaveis.append(doc_tmp)886                                        paths_repetidos.add(doc_iter['path'])887                        if documentos_deletaveis:888                            Whoosh.remover_docs(documentos_deletaveis)889                    except Exception, e:890                        pass891                else:892                    docs_corpora = None893                    set_docs_corpora = None894                    paths_repetidos = None895                    documentos_deletaveis = None896        return pontuacao_definicoes897    @staticmethod898    def pmi(palavra1, palavra2):899        freq_x = Whoosh.count(palavra1, Whoosh.DIR_INDEXES)900        freq_y = Whoosh.count(palavra2, Whoosh.DIR_INDEXES)901        freq_xy = Whoosh.count([palavra1, palavra2], Whoosh.DIR_INDEXES)902        return Alvaro.pontuar_pmi(freq_x, freq_y, freq_xy, Whoosh.DIR_INDEXES)903    """904    A partir de um conjunto de exemplos, armazenados905    em um BlobText, gere o ranking de palavras mais frequentes906    """907    @staticmethod908    def tf_exemplos(blob_exemplos, min_freq=1):909        contadores = { }910        cfgs = Util.CONFIGS911        pro = [p.lower() for p in cfgs['pronomes']]912        prep = [p.lower() for p in cfgs['preposicoes']]913        artigos = [p.lower() for p in cfgs['artigos']]914        conj = [p.lower() for p in cfgs['conjuncoes']]915        verbos_lig = [p.lower() for p in cfgs['verbos_ligacao']]916        palavras_excluiveis = pro + prep + artigos + conj + verbos_lig917        for p in blob_exemplos.words:918            freq = Alvaro.tf(p, blob_exemplos)919            if freq >= min_freq:920                if not p.lower() in palavras_excluiveis:921                    contadores[p] = freq922        return sorted(contadores.items(), key=lambda x: x[1], reverse=True)923    """924    Obtem palavras similares (interseccao) comuns ao925    contexto das duas palavras passadas como parametros do metodo926    """927    @staticmethod928    def interseccao_palavras(p1, p2, pos):929        inst = RepVetorial.INSTANCE930        set_p1 = RepVetorial.obter_palavras_relacionadas(931            inst, positivos=[p1], pos=pos, topn=200)932        set_p2 = RepVetorial.obter_palavras_relacionadas(933            inst, positivos=[p2], pos=pos, topn=200)934        set_p1 = [p for p, s in set_p1]935        set_p2 = [p for p, s in set_p2]936        return list(set(set_p1) & set(set_p2))937    @staticmethod938    def palavras_similares(c, pos):939        dir_arq = "../Bases/PalavrasSimilaresEmbbedings/%s-%s.json" % (c, pos)940        if Util.arq_existe(None, dir_arq) == False:941            similares = RepVetorial.obter_palavras_relacionadas942            try:943                similares_embbedings = similares(944                    RepVetorial.INSTANCE, positivos=[c], topn=200, pos=pos)945                Util.salvar_json(dir_arq, similares_embbedings)946            except:947                return []948        else:949            similares_embbedings = Util.abrir_json(950                dir_arq, criarsenaoexiste=False)951        return similares_embbedings952    @staticmethod953    def aplicar_wmd_sinonimia(palavra_target, pos, candidatos):954        resultado = Alvaro.pontuar_definicoes_frases(palavra_target, pos)955        try:956            resultado = [p for p, s in resultado if p in candidatos]957            return resultado + list(set(candidatos)-set(resultado))958        except Exception, e:959            return []960    """961        Dado um conjunto de candidatos, gera uma malha cartesiana962        de sinonimia sobre todas definicoes de cada um dos candidatos963        atraves da medida WMD. Ao final, salva em disco o objeto obtido964    """965    @staticmethod966    def gerar_pares_candidatos(lexelt, candidatos, pos):967        cfgs = Util.CONFIGS968        cache_ox = cfgs['oxford']['cache']969        dir_arquivo = cfgs['caminho_bases']+'/' + \970            cache_ox['sinonimiaWMD']+'/'+lexelt+".json"971        if Util.arq_existe(None, dir_arquivo):972            return Util.abrir_json(dir_arquivo)973        definicoes = { }974        ponderacoes = { }975        for c in candidatos:976            definicoes[c] = BaseOx.obter_definicoes(BaseOx.INSTANCE, c, pos)977        todos_pares = itertools.combinations(candidatos, 2)978        for par in todos_pares:979            p1, p2 = par980            if p1 != p2:981                for d1 in definicoes[p1]:982                    for d2 in definicoes[p2]:983                        inst_repvet = RepVetorial.INSTANCE984                        if p1 < p2:985                            chave_par = "%s:::%s;;;%s:::%s" % (p1, d1, p2, d2)986                        else:987                            chave_par = "%s:::%s;;;%s:::%s" % (p2, d2, p1, d1)988                        if not chave_par in ponderacoes:989                            pontuacao = RepVetorial.word_move_distance(990                                inst_repvet, d1, d2)991                            ponderacoes[chave_par] = pontuacao992        Util.salvar_json(dir_arquivo, ponderacoes)993        definicoes = None994        return ponderacoes995    """996        Recebe um inventario de sentido na forma lista de <lema:::definicao>997        e gera um score baseado na medida de word_move_distance998        Retorna: uma lista ordenada de pares <lema:::definicao, score_wmd>999    """1000    @staticmethod1001    def des_inventario_estendido_wmd(lexelt, frase, lista_inventario):1002        cache = Util.CONFIGS['oxford']['cache']['desambiguador_wmd']1003        dir_arquivo = cache + '/' + lexelt + ".des.json"1004        if Util.arq_existe(None, dir_arquivo) == False:1005            resultado = []1006            for reg in lista_inventario:1007                lema, deflema = reg.split(":::")1008                inst = RepVetorial.INSTANCE1009                pontuacao = RepVetorial.word_move_distance(1010                    inst, deflema, frase)1011                resultado.append((reg, pontuacao))1012            saida_ordenda = Util.sort(resultado, col=1, reverse=False)1013            Util.salvar_json(dir_arquivo, saida_ordenda)1014            return saida_ordenda1015        else:1016            return Util.abrir_json(dir_arquivo, criarsenaoexiste=False)1017    """1018        Recebe um verbete e extrai a pagina da Wikipedia.1019        Entao, armazena a pagina em plain text1020    """1021    @staticmethod1022    def salvar_documento_wikipedia(verbete, url):1023        inst = ExtratorWikipedia.INSTANCE1024        texto, refs = ExtratorWikipedia.obter_texto(1025            inst, url, obter_referencias=True)1026        texto = Util.completa_normalizacao(texto)1027        dir_arquivo = "../Bases/Cache/Wikipedia/%s.json" % verbete1028        obj_pagina = Util.abrir_json(dir_arquivo, criarsenaoexiste=True)1029        if not verbete in obj_pagina:1030            obj_pagina[verbete] = {}1031        obj_pagina[verbete][url] = texto1032        try:1033            return Util.salvar_json(dir_arquivo, obj_pagina)1034        except:1035            return False1036    """1037    Recebe um conjunto de frases e, entao, calcula as definicoes cujas frases associadas1038    estejam em uma distancia num espaco vetorial menor que as frases das demais definicoes1039    metodo_ordem = 'menos_dispares'1040    metodo_ordem = 'frase_mais_proxima'1041    """1042    @staticmethod1043    def calc_distancia_ex(lexelt, todos_ex, instancia_entrada, melhor_predicao=[]):1044        frase_entrada, palavra_entrada = instancia_entrada1045        todos_scores = []1046        exs_separados = {}1047        contador_frases_ruins = {}1048        for lema, frase, lema, definicao, ex, pontuacao in todos_ex:1049            chave = lema + ":::" + definicao1050            if pontuacao != float('inf'):1051                todos_scores.append(pontuacao)1052                if not chave in exs_separados:1053                    exs_separados[chave] = []1054                exs_separados[chave].append((ex, pontuacao))1055        media = Util.media(todos_scores)1056        if media == float('inf'):1057            print("\nUma frase de exemplo possui distancia infinita!\n")1058        desvio_padrao = statistics.pstdev(todos_scores)1059        for lema, frase, lema, definicao, ex, pontuacao in todos_ex:1060            # Se o score Ã© maior que (mÃ©dia + desvio padrao), a definicao Ã© ruim1061            if pontuacao > media + desvio_padrao:1062                chave = lema + ":::" + definicao1063                if not chave in contador_frases_ruins:1064                    contador_frases_ruins[chave] = 01065                contador_frases_ruins[chave] += 11066        res_ordenado = set()1067        qtde_exemplos_definicao = []1068        for lema, frase, lema, definicao, ex, pontuacao in todos_ex:1069            chave = lema + ":::" + definicao1070            try:1071                qtde_exemplos_dispares = contador_frases_ruins[chave]1072            except:1073                qtde_exemplos_dispares = 01074            qtde_exemplos = len(exs_separados[chave])1075            qtde_exemplos_definicao.append(qtde_exemplos)1076            proporcao = float(qtde_exemplos_dispares) / float(qtde_exemplos)1077            reg = (chave, proporcao, qtde_exemplos)1078            res_ordenado.add(reg)1079        res_ordenado = Util.sort(list(res_ordenado), col=1, reverse=False)1080        res_ordenado_valido = []1081        res = []1082        contador_reg = 01083        flag = False1084        indices_validos = []1085        print("\n")1086        for chave, proporcao, qtde_exemplos in res_ordenado:1087            reg = (chave, proporcao, qtde_exemplos)1088            media_qtde_ex = Util.media(qtde_exemplos_definicao)1089            desvpad_qtde_ex = statistics.pstdev(qtde_exemplos_definicao)1090            # Se quantidade de exemplos Ã© maior que (mÃ©dia - desvio padrÃ£o)1091            if qtde_exemplos >= media_qtde_ex - desvpad_qtde_ex:1092                res_ordenado_valido.append(reg)1093                res.append(reg[0].split(":::")[0])1094                if reg[0].split(":::")[0] in melhor_predicao:1095                    indices_validos.append(contador_reg)1096                    print(str(str(contador_reg) + ' - ' + str(reg) + "\n").upper())1097                    flag = True1098                contador_reg += 11099            else:1100                pass1101        if flag == True:1102            arq_saida = "/mnt/ParticaoAlternat/Bases/ResultadosAnotadosDesambiguador/%s.json" % lexelt1103            arq_saida = arq_saida.replace(' ', '-')1104            if Util.arq_existe(None, arq_saida):1105                return list(set(res))1106            while True:1107                try:1108                    indice = int(raw_input("\nDigite o indice valido: "))1109                    if int(indice) in indices_validos or indice < 0:1110                        break1111                except:1112                    pass1113            print(res_ordenado_valido[indice])1114            print(res_ordenado_valido[-1])1115            valor_max = res_ordenado_valido[-1][1]1116            valor_min = res_ordenado_valido[0][1]1117            percentile = valor_max / 10.01118            proporcao_melhor = res_ordenado_valido[indice][1]1119            percentile_achado = int(math.ceil(proporcao_melhor / percentile))1120            if indice > 0:1121                obj = {}1122                obj['percentil'] = percentile_achado1123                obj['proporcao_melhor'] = proporcao_melhor1124                obj['ranking'] = res_ordenado_valido1125                Util.salvar_json(arq_saida, obj)1126        return list(set(res))1127    """1128    Retorna os sinomos cuja as definiÃ§Ãµes associadas tem suas frases de1129    exemplo com baixa distancia semantica apÃ³s a aplicaÃ§Ã£o do mÃ©todo da substituiÃ§Ã£o1130    """1131    @staticmethod1132    def pontuar_definicoes_frases(palavra_target, pos, max_frases=100000000000):1133        pontuacoes = {}1134        sinonimos_usados = set()1135        # obter_atributo(self, palavra, pos, definicao, atributo):1136        for def_target in BaseOx.obter_definicoes(BaseOx.INSTANCE, palavra_target, pos):1137            sinonimos = BaseOx.obter_sins(1138                BaseOx.INSTANCE, palavra_target, def_target, pos)1139            melhor_sinonimo = None1140            for s in sinonimos:1141                if s != palavra_target and not s in sinonimos_usados:1142                    sinonimos_usados.add(s)1143                    melhor_sinonimo = s1144                    break1145            if melhor_sinonimo:1146                for def_siter in BaseOx.obter_definicoes(BaseOx.INSTANCE, melhor_sinonimo, pos):1147                    melhor_sinonimo_sing = Util.singularize(melhor_sinonimo)1148                    chave = melhor_sinonimo_sing+'@@@@'+def_siter1149                    pontuacoes[chave] = []1150                    todos_exemplos = BaseOx.obter_atributo(BaseOx.INSTANCE,1151                                                           melhor_sinonimo, pos, def_siter, 'exemplos')[:max_frases]1152                    for ex_ in todos_exemplos:1153                        ex = ex_.lower()1154                        novo_ex = ex.replace(1155                            melhor_sinonimo_sing, palavra_target)1156                        if novo_ex == ex:1157                            novo_ex = ex.replace(1158                                melhor_sinonimo, palavra_target)1159                        try:1160                            if novo_ex == ex:1161                                t = (melhor_sinonimo, melhor_sinonimo_sing)1162                                raise Exception(1163                                    "\nNova frase deu errado! P: %s\n" % str(t))1164                            else:...

gerenciador_logs.py

Source:gerenciador_logs.py

...25            self.log = pd.concat([self.log, pd.DataFrame([[modelo, entrada, saida, [neuronio.converte_json() for neuronio in neuronios_oculta], [neuronio.converte_json() for neuronio in neuronio_saida], taxa_aprendizado, epocas, tempo, tolerancia_erro, tolerancia_epocas,26                                 erro_epoca, erro_validacao]], columns=self.log.columns)], ignore_index=True)27        except Exception as e:28            print(f"Falha ao adicionar log! | ExceÃ§Ã£o: {e}")29    def obter_atributo(self, coluna: str):30        try:31            return self.log.get(coluna)32        except Exception as error:33            print(f"Houve um erro ao obter o atributo {coluna} | {error}")34            return None35    def log_completo(self):36        """ Retorna o dataframe de log completo """37        try:38            return self.log39        except Exception as e:40            print(f"Falha ao retornar dataframe de log! | ExceÃ§Ã£o: {e}")41            return None42    def log_html(self):43        """ Converte o dataframe de log para uma string no formato HTML """...

gerenciador_notebook.py

Source:gerenciador_notebook.py

...38        with open(caminho_arquivo, mode="w", encoding="utf-8") as arquivo:39            arquivo.write(html)40    def grava_notebook(self, nome_notebook = "1"):41        caminho_arquivo = f"{self.caminho_notebook}/notebook-{nome_notebook}.json"42        erros_treinamento = self.logger.obter_atributo("Erro epoca")43        erros_validacao = self.logger.obter_atributo("Erro validacao")44        self.salvar_log_treinamento(nome_notebook)45        with open(caminho_arquivo, mode="w", encoding="utf-8") as arquivo:46            notebook = Notebook(47                self.conjuntos,48                list(erros_treinamento),49                list(erros_validacao),50                self.matriz_confusao,51                self.predicoes52            ).to_json()53            arquivo.write(json.dumps(notebook))54    55class Notebook:56    def __init__(self, conjuntos, erros_treinamento, erros_validacao, matriz_confusao, log_predicoes):57        self.conjuntos = conjuntos...

Automation Testing Tutorials

Learn to execute automation testing from scratch with LambdaTest Learning Hub. Right from setting up the prerequisites to run your first automation test, to following best practices and diving deeper into advanced test scenarios. LambdaTest Learning Hubs compile a list of step-by-step guides to help you be proficient with different test automation frameworks i.e. Selenium, Cypress, TestNG etc.