PostgreSQL-替换HTML实体

刘志伟

我刚刚完成了从数据库中剥离HTML实体的任务，因为我们进行了很多爬网，并且某些爬网程序在输入时没有这样做
6 i- \/ l; l1 [  x6 ]- F' z! n因此，我开始编写一堆看起来像这样的查询；
UPDATE nodes SET name=regexp_replace(name, 'à', 'à', 'g') WHERE name LIKE '%#xe0%';
% f* r) S- i) d1 C4 pUPDATE nodes SET name=regexp_replace(name, 'á', 'á', 'g') WHERE name LIKE '%#xe1%';
UPDATE nodes SET name=regexp_replace(name, 'â', 'a', 'g') WHERE name LIKE '%#xe2%';

显然，这是一种非常幼稚的方法。我一直在尝试找出解码功能是否可以做些聪明的事情。也许通过正则表达式抓住HTML实体一样/&#x(..);/，然后通过
+ D8 k; g9 |0 \% B5 T: e刚刚 的%1部分到ASCII解码器，以及重建串…或东西…
% ~) @) I3 p  ?; ?  V我可以按查询继续吗？其中可能只有40个左右。
               
6 ~7 b) ]" t. U8 \解决方案:
5 \; D7 _2 o8 T; F               

! Z. V+ k1 p  I5 L6 j  c6 C
                使用pl /
0 I* S6 ?1 v; u& D+ l, pperlu编写函数并使用此模块https://metacpan.org/pod/HTML::Entities
0 {# @2 a7 W  o当然，您需要安装perl并提供pl / perl。
1） 首先创建程序语言pl / perlu：
" |& D' A- ~/ y# }( l9 c. ECREATE EXTENSION plperlu;
* I7 z+ O, F: v! W& s+ B4 ?0 i& n2） 然后创建一个像这样的函数：
/ _. l+ U2 W$ u# S$ E( Y( Y) BCREATE FUNCTION decode_html_entities(text) RETURNS TEXT AS $$
2 t+ }' Y' l- `# O# g# O    use HTML::Entities;
) L# S, C6 `2 t" h    return decode_entities($_[0]);
* q. U  x& ^8 h2 a$$ LANGUAGE plperlu;
3） 然后可以像这样使用它：
select decode_html_entities('aaabbb&.... asasdasdasd …');
   decode_html_entities   
---------------------------
aaabbb&.... asasdasdasd 鈥?
(1 row)