Redefinindo os Biomarcadores Cardíacos na Predição da Mortalidade de Pacientes Internados com COVID-19

>

Introdução

A pandemia de doença coronavírus 2019 (COVID-19) causada pela infecção pelo coronavírus 2 (SRA-CoV-2) da síndrome respiratória aguda severa (SRA-CoV-2) levou a >11.8 milhões de casos confirmados com >545 000 mortes em todo o mundo até 9 de Julho de 2020.1 Os doentes com condições cardiovasculares preexistentes estão particularmente em risco e têm um mau prognóstico.2 Com a ACE2 (angiotensin-converting enzyme 2)-o receptor de ligação e internalização da SRA-COV23- sendo altamente expressa no pulmão, coração e sistema cardiovascular, o coração é um órgão alvo susceptível a lesões virais e imuno-mediadas.2,4,5 Dados emergentes sugerem que a lesão cardíaca, manifestada pela elevação do biomarcador cardíaco, é detectada em um número considerável de pacientes COVID-19 e está associada a desfechos adversos e aumento da mortalidade.6,7 Entretanto, a utilidade dos biomarcadores cardíacos no prognóstico da COVID-19 e como utilizar esses marcadores não foi bem definida. Este estudo tem como objetivo estabelecer o papel do biomarcador de lesão ou estresse cardíaco específico e sua associação precisa com a mortalidade por COVID-19, para determinar seu uso na avaliação prognóstica do risco de morte e delinear a relação do aumento do biomarcador cardíaco com outros marcadores inflamatórios em pacientes diagnosticados com COVID-19.

Métodos

Data, Materials, and Code Disclosure Statement

Os dados que suportam os achados deste estudo estão disponíveis no autor correspondente mediante solicitação razoável.

Estudo e Participantes

Este estudo de coorte multicêntrico retrospectivo inscreveu pacientes diagnosticados como COVID-19 e admitidos em 9 hospitais na província de Hubei, China, de 31 de dezembro de 2019 a 4 de março de 2020. O diagnóstico da COVID-19 foi confirmado por pelo menos um ou ambos os critérios de manifestações de tomografia computadorizada de tórax e reação em cadeia de transcrição-polimerase reversa, de acordo com o Programa de Prevenção e Controle do Novo Coronavírus da Pneumonia (quinta edição) publicado pela Comissão Nacional de Saúde da China e orientação interina da Organização Mundial de Saúde.8,9 O desenho e procedimentos do estudo foram aprovados pelos comitês centrais de ética, e todos os hospitais colaboradores aprovaram o protocolo do estudo pelos comitês de ética locais ou aceitaram a aprovação do comitê central de ética. O consentimento livre e esclarecido de cada paciente foi dispensado por cada comitê de ética dos hospitais participantes.

Para a análise das associações entre o aumento dos marcadores de lesão cardíaca e o risco de morte por todas as causas da COVID-19, foram inscritos neste estudo pacientes com diagnóstico de COVID-19 e com troponina cardíaca I (hs-cTnI) ou CK (creatina fosfoquinase)-MB de alta sensibilidade disponível na admissão. Foram excluídos do estudo participantes com idade <18 ou >75 anos, sem ficha médica eletrônica completa devido à transferência, ou grávidas. O ponto final primário foi a mortalidade por todas as causas em 28 dias, e o momento da admissão hospitalar foi designado como dia 0. O aumento dos níveis séricos de marcadores miocárdicos e outros marcadores bioquímicos foi definido como acima do limite superior do normal (ULN), de acordo com os critérios hospitalares locais. O estado de lesão cardíaca foi definido como um nível sérico de hs-cTnI ou CK-MB acima da ULN. Devido a variações nos instrumentos de exame, técnicas laboratoriais e regentes, diferentes ULNs foram aplicadas em diferentes locais hospitalares. Para garantir a precisão e ampla aplicabilidade, os níveis de biomarcadores de lesão cardíaca foram normalizados e analisados como valores relativos às suas ULNs locais.

Recolha de dados

As informações demográficas, comorbidades preexistentes, características clínicas, dados radiológicos de tomografia computadorizada de tórax, dados laboratoriais e resultados clínicos foram coletados a partir de dados de prontuários médicos eletrônicos. Foram analisadas características clínicas, incluindo freqüência cardíaca, freqüência respiratória, febre, tosse e dispnéia no momento da admissão. Medidas laboratoriais, incluindo contagem de neutrófilos, PCR (proteína C reativa), biomarcadores cardíacos (hs-cTnI, CK-MB, NT-proBNP ou BNP , MYO e CK) e citocinas inflamatórias IL (interleucina)-6 na admissão e durante a internação foram extraídas e analisadas. O estado da lesão pulmonar unilateral e bilateral foi obtido a partir de imagens de tomografia computadorizada. Os identificadores pessoais dos participantes incluídos foram primeiro anonimizados e substituídos pela identificação do estudo antes da coleta de dados. Todos os dados clínicos foram revisados e verificados individualmente por uma equipe de médicos experientes e cegos para identificação dos pacientes.

Análise Estatística

Os dados deste estudo foram analisados utilizando R-3.6.3 (R Foundation for Statistical Computing, Vienna, Austria) e SPSS Statistics (versão 23.0; IBM, Armonk, NY). A distribuição dos níveis de marcadores miocárdicos (normalizados para ULN) por idade e sexo foi exibida usando a estimativa da densidade do kernel. A mudança dinâmica dos níveis de marcadores miocárdicos nas proporções cumulativas dos pacientes foi criada e suavizada por regressão ponderada localmente e gráficos de dispersão suavizados. As pontuações dos critérios de informação Akaike e os valores de P foram calculados pela análise de regressão logística univariada para estimar as associações de variáveis com morte por todas as causas de 28 dias da COVID-19 e foram examinados pela análise multivariada de Cox para avaliar a qualidade do modelo. Uma análise do modelo Cox com efeitos mistos foi conduzida para determinar a associação entre os níveis do marcador miocárdico basal e o risco do ponto final primário da COVID-19, tratando o local como um efeito aleatório. No modelo de efeitos mistos foram calculados os índices de risco (FCs) e o intervalo de confiança de 95% (IC). O ajuste multivariável incluiu idade, sexo e condições comorbitárias preexistentes (diabetes mellitus, hipertensão arterial sistêmica, doença coronariana e doença cerebrovascular). O método de Kaplan-Meier foi aplicado para comparar a sobrevida cumulativa entre participantes com níveis de marcadores miocárdicos normais versus aumentados e entre aqueles com níveis de marcadores miocárdicos abaixo ou acima dos cortes. A análise da característica operacional do receptor foi realizada para avaliar o desempenho geral dos níveis aumentados dos parâmetros de lesão miocárdica para identificação do risco de mortalidade em pacientes com COVID-19. A área sob a curva característica operacional do receptor (COVID-19) foi calculada para avaliar o desempenho de cada nível de marcador. Um 2-sided α-error <0,05 foi considerado estatisticamente significativo.

Resultados

Participantes e Características Clínicas

Um total de 7106 participantes diagnosticados com COVID-19 admitidos em 9 hospitais na província de Hubei, China, foram recrutados inicialmente neste estudo. Destes, 277 casos foram excluídos devido a registros médicos eletrônicos incompletos durante a transferência interhospitalar, 767 pacientes foram excluídos devido à limitação de idade do desenho do estudo (>75 ou <18 anos), e 29 casos foram excluídos devido à gravidez. Nos demais pacientes, 3219 participantes haviam medido os níveis de CK-MB ou hs-cTnI, enquanto 2814 casos não o foram. Os sintomas clínicos, comorbidades básicas, dados laboratoriais e resultados desses pacientes são mostrados na Tabela 1 e na Tabela S1 do Suplemento de Dados. Em comparação com os pacientes sem medida de biomarcador de lesão cardíaca, os pacientes com valores de biomarcador eram mais velhos (mediana de idade, 57 versus 54 anos) e tinham percentuais maiores de comorbidades pré-existentes e sintomas mais graves (Tabelas S1 e S2). As frequências de aumento de hs-cTnI, CK-MB, (NT-pro)BNP (BNP ou NT-proBNP), CK e MYO foram de 6,5%, 5,1%, 12,9%, 12,1% e 12,0% na admissão entre os pacientes com valores de biomarcadores cardíacos disponíveis, respectivamente. Os valores exatos e as faixas de normalidade dos exames laboratoriais em pacientes com e sem biomarcador cardíaco são mostrados nas Tabelas S2 e S3.

>

Tabela 1. Características básicas de pacientes com COVID-19

Parâmetros Com biomarcadores (n=3219) Sem biomarcadores (n=2814) Valor P
Idade, y; mediana (IQR) 57 (45-66) 54 (42-64) <0.001
Homens, n (%) 1535 (47.7) 1324 (47.1) 0.640
Mulheres, n (%) 1684 (52.3) 1490 (53.0) 0.640
Ritmo de calor, bpm; mediana (IQR) 84 (78-95) 80 (76-92) <0.001
Taxa respiratória, bpm; mediana (IQR) 20 (19-21) 20 (18-21) 0.039
SBP>140, mmHg; n/N (%) 543/2753 (19.7) 358/2224 (16.1) 0,001
Febre, n (%) 2332 (72,4) 1970 (70.0) 0,039
Tosse, n (%) 2118 (65,8) 1815 (64.5) 0,304
Dispneia, n (%) 650 (20,2) 432 (15.4) <0,001
Comorbidades
Hipertensão, n (%) 895 (27,8) 634 (22,5) <0.001
Diabetes mellitus, n (%) 413 (12.8) 256 (9.1) <0.001
Coronariopatia, n (%) 206 (6.4) 100 (3.6) <0.001
Doença cerebrovascular, n (%) 74 (2.3) 37 (1.3) 0.006
Características radiológicas
Lesão pulmonar unilateral, n/N (%) 292/2995 (9.8) 298/2564 (11,6) 0,027
Lesão pulmonar bilateral, n/N (%) 2558/2995 (85,4) 2057/2564 (80.2) ><0,001
Exames laboratoriais
Aumento Hs-cTnI, n/N (%) 95/1462 (6.5)
CK-MB aumento, n/N (%) 158/3120 (5.1)
Aumento do BNP ou NT-proBNP, n/N (%) 213/1650 (12.9) 69/336 (20.5) <0,001
Aumento CK, n/N (%) 307/2534 (12.1) 61/645 (9.5) >0,070
Aumento MYO, n/N (%) 228/1895 (12.0) 9/57 (15.8) 0.516

BNP indica peptídeo natriurético cerebral; CK, creatina fosfoquinase; COVID-19, doença coronavírus 2019; hs-cTnI, troponina I cardíaca de alta sensibilidade; IQR, intervalo interquartil; MYO, mioglobina; NT-proBNP, peptídeo natriurético tipo N-terminal pro-B; e PAS, pressão arterial sistólica.

A distribuição dos perfis dos marcadores miocárdicos de idade e sexo específico em relação aos da ULN na apresentação foi analisada e apresentada como gráficos de densidade de miocárdio (Figura S1). As faixas etárias foram divididas em 18 a 44, 45 a 59, e 60 a 75 anos. As distribuições de CK-MB, CK e MYO apresentaram níveis mais elevados nos homens do que nas mulheres entre todas as 3 faixas etárias, enquanto hs-cTnI e (NT-pro)BNP apresentaram distribuições comparáveis entre pacientes do sexo masculino e feminino no momento da admissão.

Associação de Biomarcadores Cardíacos Com 28 Dias de Mortalidade da COVID-19

Para avaliar as associações entre os resultados da COVID-19 e covariantes incluindo os marcadores de lesão cardíaca, realizamos análise de regressão logística univariada onde foram calculados o Critério de Informação Akaike e os valores de P. Notadamente, todos os 5 marcadores miocárdicos (hs-cTnI, CK-MB, (NT-pro)BNP, CK e MYO) foram significativamente associados com a morte por todas as causas de 28 dias da COVID-19 (Tabela S4).

Para avaliar a associação de cada elevação dos marcadores miocárdicos acima da ULN definida em laboratório com o ponto final primário da mortalidade por todas as causas aos 28 dias após a admissão, realizamos uma análise do modelo Cox com efeitos mistos usando o local do hospital do paciente como efeito aleatório. Os ajustes multivariados incluíram idade, sexo e comorbidades coexistentes (hipertensão, diabetes mellitus, doença coronária e doença cerebrovascular). Os FC ajustados para associações de mortalidade por todas as causas de 28 dias da COVID-19 com hs-cTnI, CK-MB, NT-proBNP, CK e MYO anormalmente elevadas foram mostrados na Tabela 2, com IC 95%. A elevação do hs-cTnI exibiu a FC ajustada mais alta de 7,12 ( P<0,001), seguida pelo (NT-pro)BNP de 5,11 ( P<0,001), CK-MB de 4,86 ( P<0,001), e MYO de 4,50 ( P<0,001). CK total – um biomarcador cardíaco muito menos específico – tem uma FC ajustada de 3,56 ( P<0,001).

Tabela 2. Associação de Marcadores de Lesão Cardíaca Aumentada Acima do Limite Superior do Normal Com 28-d Mortalidade por Todas as Causas da COVID-19

Crude Modelo 1
HR (95% CI) Valor P HR (95% CI) Valor P
Hs-cTnI 9.59 (6.36–14.47) <0.001 7.12 (4.60–11.03) <0.001
CK-MB 5,30 (3,71-7,59) <0,001 4,86 (3,33-7,09) <0.001
(NT-pro)BNP 5.62 (3.99-7.93) <0.001 5.11 (3.50-7.47) <0.001
CK 4.31 (3.13-5.92) <0.001 3.56 (2.53-5.02) <0.001
MYO 6,84 (4,95-9,45) <0,001 4,50 (3,18-6,36) ><0.001

Modelo 1: Ajustado para idade, sexo e doenças coexistentes (diabetes melito, hipertensão arterial, doença coronária e doença cerebrovascular). CK indica creatina fosfoquinase; COVID-19, doença coronavírus 2019; FC, relação de perigo; hs-cTnI, troponina cardíaca I de alta sensibilidade; MYO, mioglobina; e (NT-pro)BNP, peptídeo natriurético tipo N-terminal pró-B ou peptídeo natriurético cerebral.

Kaplan-Meier ilustraram que pacientes com aumento de hs-cTnI, CK-MB, (NT-pro)BNP, CK e MYO tiveram sobrevida significativamente menor em comparação com aqueles com níveis normais (Figura 1). As curvas de Kaplan-Meier demonstraram uma separação precoce das curvas de mortalidade entre pacientes com valores elevados de biomarcadores de admissão acima da ULN, versus aqueles com valores normais, ressaltando o rápido início da morte entre o grupo de alto risco de pacientes COVID-19. Isto foi particularmente proeminente para os biomarcadores específicos do coração, tais como hs-cTnI, CK-MB, e (NT-pro)BNP.

Figure 1. Perfis de sobrevivência de pacientes COVID-19 estratificados de acordo com biomarcadores cardíacos. Curvas de Kaplan-Meier mostrando sobrevida acumulada de pacientes com doença coronavírus 2019 (COVID-19) com níveis aumentados ou normais de troponina cardíaca I (hs-cTnI; A), CK (creatina fosfoquinase)-MB (B), (NT-pro)BNP (peptídeo natriurético tipo N-terminal pró-B ou peptídeo natriurético cerebral; C), MYO (mioglobina; D), e CK (E) durante um seguimento de 28-d. O aumento do marcador miocárdico representa um nível acima do limite superior do normal (ULN). A FC indica relação de perigo.

Comparado com pacientes sem biomarcadores miocárdicos disponíveis, pacientes com marcadores de lesão cardíaca medidos tiveram maior incidência de morte por todas as causas em 28 dias e as ocorrências de Síndrome do Desconforto Respiratório Agudo, insuficiência cardíaca, coagulação intravascular disseminada (DIC), sepse ou insuficiência multiorgânica e insuficiência renal aguda (Tabela S5). Entretanto, não houve diferenças significativas nas principais causas de morte entre estes 2 subcohorts (Tabela S6). Estes dados sugerem que os marcadores de lesão cardíaca podem responder sensivelmente à infecção pelo SRA-CoV-2 ou resultados relacionados com a infecção.

Desempenho prognóstico dos biomarcadores de lesão cardíaca na predição de 28 dias de mortalidade por todas as causas da COVID-19

Para comparar a precisão relativa, sensibilidade, especificidade e valores preditivos positivos e negativos de cada biomarcador baseado na ULN definida laboratorialmente, foi analisado o desempenho prognóstico de cada marcador. A curva característica operacional do receptor foi utilizada para demonstrar a capacidade de cada biomarcador cardíaco na discriminação de alto risco de mortalidade por COVID-19, que foi quantificada como AUC. O aumento da MYO – um biomarcador de liberação precoce de lesão cardíaca – mostrou o maior desempenho geral (AUC, 0,83 ) para prever o risco de mortalidade por COVID-19, seguido por (NT-pro)BNP (AUC, 0,81 ), hs-cTnI (AUC, 0,78 ), e CK-MB (AUC, 0,71 ). CK teve o desempenho mais baixo (AUC, 0,67 ; Tabela 3; Figura S2). É útil notar que os valores preditivos negativos globais são uniformemente altos para qualquer um desses biomarcadores, com mais de 96% para todos os avaliados.

O valor padrão de corte de laboratório da ULN é geralmente definido como o percentil 99º superior da distribuição dos biomarcadores na população normal. Entretanto, nossos dados indicaram que o corte operacional baseado na curva de desempenho da distribuição dos biomarcadores e da característica operacional do receptor deve ser redefinido para cada um dos biomarcadores para melhorar a sensibilidade prognóstica dos biomarcadores. De fato, os valores de corte operacional de hs-cTnI, CK-MB, (NT-pro)BNP, CK e MYO para a previsão de mortalidade COVID-19 foram marcadamente mais baixos, calculados em 49,0%, 49,1%, 18,9%, 44,8% e 49,8% de suas respectivas ULNs. Notavelmente, o uso destes valores de corte de cada marcador miocárdico neste modelo de predição de risco melhorou a precisão balanceada em relação ao uso dos valores ULN atualmente recomendados (0,77 versus 0,66 para hs-cTnI, 0,66 versus 0,59 para CK-MB, 0,75 versus 0,66 para (NT-pro)BNP, 0,75 versus 0,69 para MYO, e 0,64 versus 0.63 para CK) do que usando os valores atuais da ULN definidos em laboratório (Tabela 3; Tabela S7).

De acordo, pacientes com níveis de biomarcadores acima de cada corte recalibrado tinham um risco significativamente maior de mortalidade por todas as causas em 28 dias da COVID-19, comparado com aqueles sob os pontos de corte (Figura S3). Após ajustados para idade, sexo e comorbidades no modelo Cox de efeitos mistos e tratado como efeito aleatório no local hospitalar, os pacientes com níveis elevados de biomarcadores do miocárdio sobre os novos pontos de corte tinham um risco significativamente maior de mortalidade do que aqueles com níveis de biomarcadores abaixo dos valores de ponto de corte com FC ajustada de 10.68 ( P<0,001) para hs-cTnI, 3,63 ( P<0,001) para CK-MB, 12,01( P<0,001) para (NT-pro)BNP, 2.7 ( P<0,001) para CK, e 5,00 ( P<0,001) para MYO (Tabela S8).

Para abordar o potencial viés de seleção, ajustamos ainda mais as variáveis desequilibradas relacionadas à gravidade da doença (aumento da PCR, aumento da contagem de neutrófilos, diminuição da contagem de linfócitos, aumento do d-dímero e Spo2 <95%) entre pacientes com ou sem aumento dos marcadores de lesão cardíaca acima dos valores de corte no modelo Cox de efeitos mistos. Os resultados mostraram que o aumento de hs-cTnI (FC ajustada, 4,74 ; P<0,001), CK-MB (FC ajustada, 2,17 ; P<0,001), CK (FC ajustada, 1,80 ; P<0,001), (NT-pro)BNP (FC ajustada, 5.67 ; P<0,001), e MYO (FC ajustada, 2,74 ; P<0,001) ainda estavam significativamente associados com maior risco de mortalidade por todas as causas da COVID-19 (Tabela S8). Os valores dos critérios de informação Akaike do modelo de análise bruta e ajustada foram mostrados na Tabela S9, entre os quais o modelo ajustado para idade, sexo e comorbidades tinha valores relativamente baixos dos critérios de informação Akaike para cada marcador do miocárdio.

Realizamos ainda uma análise de sensibilidade de subgrupo utilizando pacientes nos locais 1, 2, 3 e 6, onde uma percentagem relativamente alta de pacientes tinha CK-MB ou hs-cTnI medida (70,0% no local 1 e local 2, 82,8% no local 3, e 68,3% no local 6). No modelo Cox de efeitos mistos, após ajuste para idade, sexo e comorbidades coexistentes, as associações significativas entre o aumento dos biomarcadores de lesão cardíaca e um maior risco de mortalidade por COVID-19 ainda foram mantidas com FC ajustada de 4,42 ( P<0,001) para hs-cTnI, 2.98 ( P<0,001) para CK-MB, 5,46 ( P<0,001) para (NT-pro)BNP, 1,57 ( P=0,048) para CK, e 2,92 ( P<0,001) para MYO.

Em outra análise de sensibilidade, excluímos pacientes com infarto agudo do miocárdio para mitigar potenciais confundidores relacionados ao histórico de doenças cardíacas. Após ajuste para idade, sexo e comorbidades, o aumento da CK-MB (FC ajustada, 4,39 ; P<0,001), hs-cTnI (FC ajustada, 6,95 ; P<0,001), CK (FC ajustada, 3,45 ; P<0.001), (NT-pro)BNP (FC ajustada, 4,88 ; P<0,001), e MYO (FC ajustada, 4,20 ; P<0,001) permaneceram significativamente associados a maior risco de mortalidade por todas as causas da COVID-19 neste subcohort.

Mais importante ainda, os pacientes com níveis de biomarcadores cardíacos variando desde os cortes recém-estabelecidos até as ULNs de referência laboratorial ainda mostraram porcentagem de sobrevida significativamente menor do que aqueles com níveis de marcadores abaixo dos valores de corte recém-estabelecidos (Figura 2). Os FCs ajustados para morte por todas as causas de 28 dias de pacientes com marcadores cardíacos entre cortes e ULNs foram 8,54 ( P<0,001) para hs-cTnI, 2,87 ( P<0.001) para CK-MB, 8,70 ( P<0,001) para (NT-pro)BNP, 3,55 ( P<0,001) para MYO, e 1,71 ( P=0,009) para CK comparado com aqueles com níveis de marcadores abaixo dos cortes (Tabela 4). Isto significa que os pacientes com níveis de biomarcador mesmo limítrofes (entre ULN e os cortes recém-estabelecidos), como definido pelo nosso estudo atual, ainda podem ter um risco maior de mortalidade em 28 dias.

>

>

>

>

Tabela 3. Desempenho Geral dos Biomarcadores Cardíacos para Previsão de Mortalidade COVID-19 de acordo com as Curvas de Características Operacionais do Receptor

>

Parâmetros Hs-cTnI CK-MB (NT-pro)BNP CK MYO CRP D-Dimer
n 1462 3120 1650 2534 1895 1489 1913
Mortalidade 98 178 133 163 148 123 154
AUC (95% CI) 0.78 (0.73–0.84) 0.71 (0.67–0.75) 0.81 (0.78–0.85) 0.67 (0.62–0.72) 0.83 (0.80–0.86) 0.81 (0.77-0.85) 0.81 (0.77-0.84)
Corte (relativo à ULN) 0.490 0.491 0.189 0.448 0,498 6,545 1,126
Certeza, % (95% CI) 89,19 (87,49-90,74) 71,19 (69,56-72.77) 61.45 (59.06–63.81) 64.25 (62.34–66.11) 75.57 (73.57–77.49) 67.49 (65.05–69.87) 72.45 (70.39-74,44)
Sensibilidade, % 63,27 60,67 91,73 64,42 75,00 81.30 74.68
Especificidade, % 91.06 71.82 58.80 64.24 75.62 66.25 72,26
PPV 0,34 0,12 0,16 0,11 0,21 0.18 >0.19
NPV 0.97 0.97 0.99 0.96 0.97 0.98 >0.97
Exatidão balanceada 0.77 0.66 0.75 0.64 0.75 0.74 0.73

AUC indica área sob as curvas características operacionais do receptor; CK, creatina fosfoquinase; COVID-19, doença coronavírus 2019; CRP, proteína C reativa; hs-cTnI, troponina I cardíaca de alta sensibilidade; MYO, mioglobina; NPV, valor preditivo negativo; (NT-pro)BNP, peptídeo natriurético pro-B-terminal ou peptídeo natriurético cerebral; PPV, valor preditivo positivo; e ULN, limite superior do normal.

Tabela 4. Associação de Marcadores de Lesão Cardíaca com 28-d Mortalidade por Todas as Causas da COVID-19 em Pacientes Divididos por Cortes e Limite Superior do Normal

> Crude Modelo 1
HR (95% CI) P Valor HR (95% CI) P Valor
Hs-cTnI
≤Cutoff Referência Referência >
Cutoff-ULN 11.33 (6.84-18.77) <0.001 8.54 (4.99-14.63) <0.001
>ULN 15.50 (9.76-24.61) ><0.001 12.85 (7.79–21.19) <0.001
CK-MB
≤Cutoff Referência Referência Referência
Cutoff-ULN 2.67 (1.92–3.72) <0.001 2.87 (1.99–4.14) <0.001
>ULN 7.72 (5.20-11.46) <0.001 6.81 (4.40-10.54) <0.001
(NT-pro)BNP
≤Cutoff Referência > Referência
Cutoff-ULN 10.47 (5.52-19.83) <0.001 8.70 (4.50-16.82) <0.001
>ULN 24.94 (13.07–47.59) <0.001 22.72 (11.38–45.36) <0.001
CK
≤Cutoff Referência Referência >
Cutoff-ULN 1,80 (1.22-2.66) 0.003 1.71 (1.14-2.58) 0.009
>ULN 5.35 (3.73-7.68) <0.001 4.79 (3.18-7.22) <0.001
MYO
≤Cutoff Referência Referência >
Cutoff-ULN 4.53 (2.91–7.04) <0.001 3.55 (2.20–5.73) <0.001
>ULN 11.49 (7.73-17.07) <0.001 7.12 (4.60-11.02) <0.001

Modelo 1: Ajustado para idade, sexo e doenças coexistentes (diabetes melito, hipertensão arterial, doença coronária e doença cerebrovascular). CK indica creatina fosfoquinase; COVID-19, doença coronavírus 2019; FC, relação de perigo; hs-cTnI, troponina cardíaca I de alta sensibilidade; MYO, mioglobina; (NT-pro)BNP, peptídeo natriurético N-terminal pró-B ou peptídeo natriurético cerebral; e ULN, limite superior do normal.

Figure 2. Sobrevida percentual de pacientes com níveis de biomarcadores cardíacos sob cortes, entre cortes e limites superiores de normal (ULNs), e acima das ULNs de troponina I cardíaca de alta sensibilidade (hs-cTnI; A), CK (creatina fosfoquinase)-MB; B), (NT-pro)BNP (peptídeo natriurético tipo N-terminal pró-B ou peptídeo natriurético cerebral); C), MYO (mioglobina; D), e CK (E). HR indica hazard ratio.

Overall, encontramos o número de pacientes mostrando biomarcadores acima dos valores de corte recentemente estabelecidos mas abaixo dos ULNs definidos pelo laboratório na admissão foram 89 para hs-cTnI, 779 para CK-MB, 533 para (NT-pro)BNP, 308 para MYO, e 646 para CK (Figura 2). Esses dados revelaram que a prevalência de lesão cardíaca pode estar substancialmente subestimada pelos valores atuais da ULN definidos pelo laboratório.

Padrão de trajetória dos biomarcadores cardíacos e elevação do fator inflamatório em pacientes com COVID-19

Para demonstrar ainda mais a causa mecanicista da lesão cardíaca em pacientes com COVID-19, determinamos a relação temporal da elevação dos biomarcadores cardíacos com a dos marcadores inflamatórios ao longo do tempo, analisamos as proporções cumulativas de pacientes com aumento dos biomarcadores cardíacos em associação com fatores inflamatórios da PCR, contagem de neutrófilos e elevação da IL-6 durante todo o período de estudo. Isto foi baseado na ULN definida em laboratório e analisada desde o início dos sintomas (dia 0) até o final do seguimento, conforme ilustrado na Figura S4.

entre os pacientes sem sinais de lesão cardíaca (definida por ter elevado hs-cTnI ou CK-MB acima de sua ULN), os aumentos dos marcadores inflamatórios foram menores e mais lentos do que aqueles com lesão cardíaca (Figura S4A). Nos pacientes que apresentaram lesão cardíaca durante toda a internação, o percentual de neutrófilos e PCR foram rápida e simultaneamente aumentados após o início da doença, imediatamente seguidos pelos aumentos de CK-MB, MYO e hs-cTnI. Em contraste, a elevação significativa da IL-6 ocorreu somente após os aumentos desses marcadores miocárdicos e foi altamente elevada principalmente em pacientes com evidência de lesão cardíaca (Figura S4A).

Dividimos ainda os pacientes em grupos de desfecho ruim e favorável de acordo com a ocorrência de morte, tratamento na unidade de terapia intensiva e ventilação mecânica desde a admissão até o final do seguimento, onde os pacientes com qualquer um dos eventos acima foram classificados como de desfecho ruim e os pacientes sem qualquer um dos eventos acima estavam no grupo de desfecho favorável. Os padrões temporais dos biomarcadores miocárdicos e fatores inflamatórios foram co-regregregregregulados entre estes 2 grupos (Figura S4B). Em comparação com os pacientes com resultados favoráveis, os aumentos da porcentagem de neutrófilos e da PCR mostraram uma inclinação mais acentuada nos pacientes com resultados ruins. A proporção de pacientes com aumento da hs-cTnI foi significativamente maior no grupo com desfecho ruim do que no grupo com desfecho favorável. Pacientes com níveis mínimos de (NT-pro)BNP tiveram, em geral, um resultado muito mais favorável. Notavelmente, a elevação do nível sérico de IL-6 foi altamente prognóstica de mau resultado e seguida ligeiramente atrás da elevação do biomarcador cardíaco, como o hs-cTnI, em pacientes com mau resultado. Em contraste, o aumento da IL-6 foi significativamente retardado e embotado em amplitude naqueles com desfecho favorável (Figura S4B). Além disso, as magnitudes das induções tanto nos marcadores miocárdicos quanto nos fatores inflamatórios foram maiores nos pacientes com mau resultado do que naqueles com desfecho favorável (Figura S5).

O aumento do marcador inflamatório (PCR) e do marcador de coagulação (d-dímero) também foi significativamente associado a um aumento do risco de mortalidade por todas as causas da COVID-19 em 28 dias e teve efeitos interativos com os marcadores de lesão cardíaca na previsão dos maus resultados da COVID-19 (Tabela 3; Tabela S10).

Discussão

Este estudo retrospectivo é uma avaliação abrangente dos biomarcadores cardíacos séricos em relação à mortalidade por todas as causas da COVID-19 em 28 dias. Demonstramos que as elevações de biomarcadores como hs-cTnI, CK-MB, (NT-pro)BNP, ou MYO baseadas em valores de corte normal laboratorial de referência foram altamente prognósticos de mortalidade por todas as causas em 28 dias, incluindo mortes ocorridas logo após a admissão. Entretanto, os valores de corte padrão atualmente utilizados para diagnóstico provavelmente subestimaram a verdadeira extensão da lesão cardíaca. Os novos valores de corte estabelecidos em nosso estudo para o prognóstico da COVID-19 foram muito inferiores aos limiares de corte laboratorial atualmente aceitos (em cerca de 50%). O padrão dinâmico da elevação do biomarcador cardíaco mostrou que o seu início coincidiu com a PCR e a elevação dos neutrófilos, mas precedeu a elevação da IL-6,

Estes achados são consistentes com relatos anteriores de que os biomarcadores de lesão cardíaca estão associados a um risco aumentado de mortalidade por COVID-19.7,10 Níveis elevados de troponina cardíaca I e (NT-pro)BNP, CK-MB e MYO também estão associados a sintomas mais graves e progressão da doença.11-14 Nosso maior tamanho de amostra ajudou a definir melhor e a melhorar as características de desempenho desses biomarcadores para COVID-19, que se manifestam com resultados amplamente divergentes desde a recuperação completa até a morte rápida. Os biomarcadores específicos do coração, como hs-cTnI, CK-MB e (NT-pro)BNP, geralmente têm melhor desempenho do que marcadores não específicos, como CK. Os baixos níveis de valores de corte dos marcadores de lesão cardíaca recentemente estabelecidos sugerem ainda que as ULNs de laboratório atualmente utilizadas para esses marcadores, com base nos 99 percentis de distribuição em uma população normal, podem subestimar significativamente a extensão da lesão cardíaca associada à COVID-19,

As ULNs dos marcadores de lesão cardíaca são primariamente estabelecidas e amplamente reconhecidas para o diagnóstico da gravidade da lesão cardíaca e, portanto, teriam o desempenho satisfatório para prever o prognóstico de pacientes com doenças cardiovasculares. Portanto, é interessante que os resultados da COVID-19 – uma doença associada principalmente ao lung- também são bem previstos pelos biomarcadores cardíacos. Embora a limitação inerente de um estudo retrospectivo torne impossível demonstrar o efeito causal do aumento dos marcadores de lesão cardíaca com a morte por COVID-19, o desempenho destes marcadores para prever o prognóstico da COVID-19 pode indicar o impacto patológico da infecção por SRA-CoV-2 ou a patogénese relacionada com a infecção no miocárdio. Em consistência com esta hipótese, Angeli et al encontraram um amplo espectro de anormalidades do ECG durante a hospitalização, incluindo alterações persistentes da ST-T, fibrilação atrial e síndrome brady-tachy, em um estudo prospectivo contendo 50 pacientes internados com a COVID-19. Entre aqueles com desempenho anormal do eletrocardiograma, 38% deles foram registrados com níveis séricos anormais de hs-cTnI.15

Lesão do coração pode provavelmente envolver múltiplos mecanismos, incluindo lesão primária por infecção da SRA-COV-2 e lesão indireta por resposta imunológica desequilibrada com efeitos dominantes de macrófagos e neutrófilos. Isto pode ser ainda aumentado pela hipoxemia sistémica ou cardíaca e microangiopatia e microthormbi.2 ACE2 – o receptor funcional e um portal de entrada tanto para a SRA-COV como para a SRA-COV-2 – é altamente expresso no coração e na vasculatura.3,16,17 Estudos anteriores indicaram que a SRA-COV é detectável no coração dos doentes infectados18 e a expressão da ECA2 é desregulada após a infecção pelo vírus corona, levando à activação excessiva do sistema renina-angiotensina-aldosterona, o que pode exacerbar ainda mais a lesão miocárdica.19,20 A ligação entre a SRA-COV-2 e a ACE2 fornece um possível mecanismo que a SRA-COV-2 se liga à ACE2 expressa em cardiomiócitos/fibroblastos e induz a desregulação da ACE2 e a disfunção do sistema renina-angiotensina-aldosterona, que por sua vez leva à disfunção cardíaca e progressão da pneumonia. Nosso estudo mais recente indicou que pacientes internados com inibidores da ECA ou bloqueadores dos receptores da angiotensina II têm risco significativamente menor de morte por todas as causas por 28 dias, em comparação com pacientes com hipertensão arterial hospitalizados com COVID-19.21 A análise dos corações de pacientes com COVID-19 na autópsia sugeriu um potencial envolvimento de inflamação sistemática na lesão cardíaca.22 Entretanto, não há, até o momento, dados demonstrando diretamente a presença da SRA-CoV-2 no tecido miocárdico ou a influência direta dos inibidores do sistema renina-angiotensina-aldosterona na lesão cardíaca em pacientes com COVID-19.

Existem várias limitações do nosso estudo. Em primeiro lugar, as limitações inerentes aos estudos retrospectivos tornam impossível determinar se a lesão cardíaca é o efeito causal sobre o prognóstico da COVID-19. Segundo, os cortes dos marcadores de lesão cardíaca na predição dos resultados da COVID-19 foram estabelecidos com base em uma população chinesa, o que exigirá mais validações externas de outras coortes independentes. Terceiro, nas circunstâncias urgentes durante a pandemia da COVID-19, nem todos os marcadores e exames (por exemplo, eletrocardiograma, tomografia computadorizada por ultra-som e ressonância magnética) relacionados à lesão cardíaca foram totalmente realizados e coletados durante todo o período de internação de todos os participantes. A coleta incompleta de dados em múltiplos locais pode levar a efeitos confusos sobre a magnitude da associação entre os marcadores de lesão cardíaca e o prognóstico da COVID-19 e a predição de desempenho desses marcadores para morte por COVID-19. Quarto, devido ao tamanho limitado da amostra, desconhece-se se esses marcadores miocárdicos também são eficazes na predição dos resultados da COVID-19 em pacientes com diferentes complicações ou comorbidades. Quinto, como todos os participantes envolvidos neste estudo eram pacientes internados, os resultados deste estudo podem não ser totalmente aplicáveis a todos os indivíduos da população geral infectados pela SRA-COV-2, tais como pacientes ambulatoriais em locais isolados ou na comunidade. Em sexto lugar, pode haver um viés de selecção dos sujeitos do estudo porque os marcadores miocárdicos podem ser examinados mais frequentemente em doentes com suspeita de lesão cardíaca ou com sinais de doenças cardiovasculares do que na população geral de doentes. A história desequilibrada de insuficiência cardíaca, o momento da admissão e a disponibilidade de recursos médicos também podem introduzir fatores de confusão em nossa conclusão. Assim, as associações entre biomarcadores cardíacos e mortalidade por COVID-19 e os cortes exatos desses marcadores para o prognóstico da COVID-19 com sensibilidade e especificidade adequadas em toda a população de pacientes precisam ser mais bem investigadas na população geral em larga escala e nos estudos prospectivos rigorosamente desenhados e ensaios controlados aleatórios.

Em conclusão, o padrão anormal do biomarcador cardíaco em pacientes COVID-19 foi significativamente associado com o aumento do risco de mortalidade, e os novos valores de corte do prognóstico da COVID-19 para hs-cTnI, CK-MB, (NT-pro)BNP, CK, e MYO foram encontrados muito inferiores (≈50%) aos limites normais superiores de referência para a população geral. É clinicamente significativo que os níveis flutuantes dos biomarcadores miocárdicos devam ser intensamente monitorados, e os pacientes com níveis elevados desses biomarcadores devem intervir em tempo hábil para melhorar o prognóstico da COVID-19. Nossos achados apoiam estudos prospectivos adicionais e ensaios clínicos controlados randomizados para validar com precisão os limiares de risco e impacto exato da lesão miocárdica em indivíduos com COVID-19.

Perspectivas

Para avaliar adequadamente os pacientes com COVID-19 na admissão, o limiar de corte de anormalidade para hs-cTnI, CK-MB, (NT-pro)BNP, CK e MYO na admissão deve ser menor do que a faixa laboratorial atualmente recomendada. O uso de cortes laboratoriais de referência padrão pode subestimar a extensão da lesão cardíaca. A medição dos biomarcadores específicos do coração e a interpretação adequada na admissão podem ajudar a identificar pacientes COVID-19 com uma trajectória de alto risco. As elevações podem ajudar a fornecer referências para o gerenciamento, monitoramento e inscrição para estudos prospectivos e ensaios clínicos controlados aleatórios.

Acknowledgments

J.-J. Qin, X. Cheng, F. Zhou e F. Lei desenharam o estudo, coletaram e analisaram os dados e escreveram o manuscrito. G. Akolkar, J. Cai, X.-J. Zhang, e A. Blet desenharam o estudo e escreveram o manuscrito. J. Xie, P. Zhang, Z. Huang, L.-P. Zhao, L. Lin, M. Xia, M.-M. Chen, X. Song, L. Bai, Z. Chen, X. Zhang, e D. Xiang coletaram e revisaram dados clínicos, laboratoriais e radiológicos. Y.-M. Liu e J. Chen realizaram a análise estatística. Q. Xu, X. Ma, R.M. Touyz, C. Gao, e Z.-G. Ela editou o manuscrito e forneceu sugestões valiosas para o desenho do estudo e análise de dados. H. Wang, L. Liu, W. Mao, P. Luo, Y. Yan, P. Ye, M. Chen, G. Chen, L. Zhu, X. Huang, B.-H. Zhang, e Y. Yan reviram, interpretaram e verificaram dados clínicos. Y. Wang, P.P. Liu, e H. Li contribuíram igualmente, desenharam o projeto, editaram o manuscrito e supervisionaram o estudo. Todos os autores aprovaram a versão final deste artigo.

Fontes de financiamento

Nenhum.

Disclosures

Nenhum.

Materiais complementares

Tabelas em linha I-X

Números em linha I-V

Notas de pé

Este trabalho foi enviado para Theodore A. Kotchen, Editor Convidado, para revisão por pareceristas especialistas, decisão editorial e disposição final.

*Estes autores contribuíram igualmente para este trabalho.

O Suplemento de Dados está disponível com este artigo em https://www.ahajournals.org/doi/suppl/10.1161/HYPERTENSIONAHA.120.15528.

Correspondência a: Peter P. Liu, Divisão de Cardiologia, Departamento de Medicina, University of Ottawa Heart Institute, 40 Ruskin St, Ottawa, Ontário K1Y 4W7, Canadá, Email peter.ca ou ca
Yibin Wang, Departamento de Anestesiologia, Laboratórios de Pesquisa Cardiovascular, David Geffen School of Medicine, University of California, Los Angeles, CA, Email ucla.edu
Hongliang Li, Departamento de Cardiologia, Hospital Zhongnan da Universidade de Wuhan, Instituto de Animais Modelo da Universidade de Wuhan, 169 Donghu Rd, Wuhan 430071, China, Email edu.cn

  • 1. Organização Mundial de Saúde. Relatório da situação da doença de Coronavirus (COVID-2019). 2020;2020. https://www.who.int/emergencies/diseases/novel-coronavirus-2019/situation-reports. Organização Mundial da Saúde, Genebra.Google Scholar
  • 2. Liu PP, Blet A, Smyth D, Li H. A ciência subjacente à COVID-19: implicações para o sistema cardiovascular. Circulação. 2020; 142:68-78. doi: 10.1161/CIRCULATIONAHA.120.047549LinkGoogle Scholar
  • 3. Wu F, Zhao S, Yu B, Chen Y-M, Wang W, Song Z-G, Hu Y, Tao Z-W, Tian J-H, Pei Y-Y, et al. Um novo coronavírus associado a doenças respiratórias humanas na China. Natureza. 2020; 579:265-269. doi: 10.1038/s41586-020-2008-3CrossrefMedlineGoogle Scholar
  • 4. Akhmerov A, Marbán E. COVID-19 e o coração.Circ Res. 2020; 126:1443-1455. doi: 10.1161/CIRCRESAHA.120.317055LinkGoogle Scholar
  • 5. Gallagher PE, Ferrario CM, Tallant EA. Regulation of ACE2 in cardiac myocytes and fibroblasts.Am J Physiol Heart Circ Physiol. 2008; 295:H2373-H2379. doi: 10.1152/ajpheart.00426.2008CrossrefMedlineGoogle Scholar
  • 6. Shi S, Qin M, Shen B, Cai Y, Liu T, Yang F, Gong W, Liu X, Liang J, Zhao Q, et al. Associação de lesão cardíaca com mortalidade em pacientes hospitalizados com COVID-19 em Wuhan, China.JAMA Cardiol. 2020;5:802-810. doi: 10.1001/jamacardio.2020.0950Google Scholar
  • 7. Guo T, Fan Y, Chen M, Wu X, Zhang L, He T, Wang H, Wan J, Wang X, Lu Z. Implicações cardiovasculares dos resultados fatais de pacientes com doença coronavírus 2019 (COVID-19).JAMA Cardiol. 2020;5:1-8. doi: 10.1001/jamacardio.2020.1017Google Scholar
  • 8. Organização Mundial de Saúde. Laboratory Testing for 2019 Novel Coronavirus (2019-nCoV) in Suspected Human Cases Interim Guidance. 2020. https://www.who.int/publications-detail/laboratory-testing-for-2019-novel-coronavirus-in-suspected-human-cases. Organização Mundial da Saúde, Genebra.Google Scholar
  • 9. Comissão Nacional de Saúde da China. Novo Programa de Prevenção e Controle de Pneumonia por Coronavírus. 2020. http://www.nhc.gov.cn/: Comissão Nacional de Saúde da China. Beijing, China. Google Scholar
  • 10. Zheng YY, Ma YT, Zhang JY, Xie X. Responder a: ‘interação entre inibidores RAAS e ACE2 no contexto da COVID-19’.Nat Rev Cardiol. 2020; 17:313-314. doi: 10.1038/s41569-020-0369-9CrossrefMedlineGoogle Scholar
  • 11. Wang D, Hu B, Hu C, Zhu F, Liu X, Zhang J, Wang B, Xiang H, Cheng Z, Xiong Y, et al. Características clínicas de 138 pacientes hospitalizados com nova pneumonia infectada pelo vírus corona de 2019 em Wuhan, China.JAMA. 2020; 323:1061-1069. doi: 10.1001/jama.2020.1585CrossrefMedlineGoogle Scholar
  • 12. Zhou F, Yu T, Du R, Fan G, Liu Y, Liu Z, Xiang J, Wang Y, Song B, Gu X, et al… Curso clínico e fatores de risco para mortalidade de pacientes adultos internados com COVID-19 em Wuhan, China: um estudo de coorte retrospectivo.Lancet (Londres, Inglaterra). 2020; 395:1054-1062. doi: 10.1016/S0140-6736(20)30566-3CrossrefMedlineGoogle Scholar
  • 13. Arentz M, Yim E, Klaff L, Lokhandwala S, Riedo FX, Chong M, Lee M. Características e resultados de 21 pacientes graves com COVID-19 no estado de Washington.JAMA. 2020; 323:1612-1614. doi: 10.1001/jama.2020.4326CrossrefMedlineGoogle Scholar
  • 14. Han H, Xie L, Liu R, Yang J, Liu F, Wu K, Chen L, Hou W, Feng Y, Zhu C. Análise de parâmetros laboratoriais de lesão cardíaca em 273 pacientes COVID-19 em um hospital em Wuhan, China.J Med Virol. 2020; 92:819-823. doi: 10.1002/jmv.25809CrossrefMedlineGoogle Scholar
  • 15. Angeli F, Spanevello A, De Ponti R, Visca D, Marazzato J, Palmiotto G, Feci D, Reboldi G, Fabbri LM, Verdecchia P. Características eletrocardiográficas de pacientes com pneumonia COVID-19.Eur J Intern Med. 2020. doi: 10.1016/j.ejim.2020.06.015CrossrefGoogle Scholar
  • 16. Patel VB, Zhong JC, Grant MB, Oudit GY. Papel do eixo ACE2/angiotensina 1-7 do sistema renina-angiotensina na insuficiência cardíaca.Circ Res. 2016; 118:1313-1326. doi: 10.1161/CIRCRESAHA.116.307708LinkGoogle Scholar
  • 17. Zhong J, Basu R, Guo D, Chow FL, Byrns S, Schuster M, Loibner H, Wang XH, Penninger JM, Kassiri Z, et al… Angiotensin-converting enzyme 2 suprime a hipertrofia patológica, fibrose miocárdica e disfunção cardíaca. Circulação. 2010; 122:717-28, 18 p following 728. doi: 10.1161/CIRCULATIONAHA.110.955369LinkGoogle Scholar
  • 18. Tang JW, To KF, Lo AW, Sung JJ, Ng HK, Chan PK. Distribuição temporal-espacial quantitativa do coronavírus associado à síndrome respiratória aguda grave (SRA-CoV) nos tecidos post-mortem.J Med Virol. 2007; 79:1245-1253. doi: 10.1002/jmv.20873CrossrefMedlineGoogle Scholar
  • 19. Kuba K, Imai Y, Rao S, Gao H, Guo F, Guan B, Huan Y, Yang P, Zhang Y, Deng W, et al. Um papel crucial da enzima conversora da angiotensina 2 (ACE2) na lesão pulmonar induzida pelo coronavírus da SRA.Nat Med. 2005; 11:875-879. doi: 10.1038/nm1267CrossrefMedlineGoogle Scholar
  • 20. Oudit GY, Kassiri Z, Jiang C, Liu PP, Poutanen SM, Penninger JM, Butany J. SARS-coronavirus modulation of myocardial ACE2 expression and inflammation in patients with SARS.Eur J Clin Invest. 2009; 39:618-625. doi: 10.1111/j.1365-2362.2009.02153.xCrossrefMedlineGoogle Scholar
  • 21. Zhang P, Zhu L, Cai J, Lei F, Qin JJ, Xie J, Liu YM, Zhao YC, Huang X, Lin L, et al. Associação de uso hospitalar de inibidores da enzima conversora da angiotensina e bloqueadores dos receptores de angiotensina II com mortalidade entre pacientes com hipertensão internados com COVID-19.Circ Res. 2020; 126:1671-1681. doi: 10.1161/CIRCRESAHA.120.317134LinkGoogle Scholar
  • 22. Xu Z, Shi L, Wang Y, Zhang J, Huang L, Zhang C, Liu S, Zhao P, Liu H, Zhu L, et al… Achados patológicos da COVID-19 associados à síndrome do desconforto respiratório agudo.Lancet Respir Med. 2020; 8:420-422. doi: 10.1016/S2213-2600(20)30076-XCrossrefMedlineGoogle Scholar

Deixe uma resposta

O seu endereço de email não será publicado.