powershell网络蜘蛛解决乱码问题

抓取（爬取）网上信息的脚本程序，俗称网络蜘蛛。
powershell中自带了这样的两个命令，【Invoke-WebRequest】和【Invoke-RestMethod】，但这两个命令有时候会乱码。

现在转帖分享， 某个【歪果仁】写的脚本。来源于 墙外出处： https://gist.github.com/angel-vladov/9482676

核心代码

function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()

# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)

# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc

#powershell 传教士 转帖并修改的文章 2016-01-01, 允许再次转载，但必须保留名字和出处，否则追究法律责任

}

原文函数

function Read-HtmlPage {
  param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)

  # Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
  [Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
  [Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
  $Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
  $Response = $Reader.ReadToEnd()
  $Reader.Close()

  # Create the document class
  [mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
  $Doc.IHTMLDocument2_write($Response)
  
  # Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
  $Doc
}

PowerShell function you can use for reading UTF8 encoded HTML pages content. The built in Invoke-WebRequest and Invoke-RestMethod fail miserably.

# powershell蜘蛛  # 乱码问题  # 转帖  # 但这  # 带了  # 墙外  # 网上  # param  # Parameter  # Mandatory  # HtmlPage  # ps  # function  # Read  # true  # ValueFromPipeline  # String  # Uri  # work  # Position  # UTF  # properly 

相关文章： 制作营销网站公司,淘特是干什么用的？  ,巨量百应是干嘛的？  如何快速辨别茅台真假？关键步骤解析  网站视频制作书签怎么做,ie浏览器怎么将网站固定在书签工具栏？  香港服务器租用费用高吗？如何避免常见误区？  C++时间戳转换成日期时间的步骤和示例代码  网站制作公司广州有几家,广州尚艺美发学校网站是多少？  常州企业建站如何选择最佳模板？  如何用腾讯建站主机快速创建免费网站？  贸易公司网站制作流程,出口贸易网站设计怎么做？  官网自助建站系统：SEO优化+多语言支持，快速搭建专业网站  宝塔建站后网页无法访问如何解决？  Swift中swift中的switch 语句  做企业网站制作流程,企业网站制作基本流程有哪些？  Swift中循环语句中的转移语句 break 和 continue  制作销售网站教学视频,销售网站有哪些？  广东专业制作网站有哪些,广东省能源集团有限公司官网？  建站与域名管理如何高效结合？  如何在企业微信快速生成手机电脑官网？  淘宝制作网站有哪些,淘宝网官网主页？  独立制作一个网站多少钱,建立网站需要花多少钱？  江苏网站制作公司有哪些,江苏书法考级官方网站？  建站之星在线客服如何快速接入解答？  矢量图网站制作软件,用千图网的一张矢量图做公司app首页，该网站并未说明版权等问题，这样做算不算侵权？应该如何解决？  网站制作怎么样才能赚钱,用自己的电脑做服务器架设网站有什么利弊，能赚钱吗？  再谈Python中的字符串与字符编码（推荐）  网站制作模板下载什么软件,ppt模板免费下载网站？  php8.4新语法match怎么用_php8.4match表达式替代switch【方法】  广州商城建站系统开发成本与周期如何控制？  php能控制zigbee模块吗_php通过串口与cc2530 zigbee通信【介绍】  已有域名建站全流程解析：网站搭建步骤与建站工具选择  儿童网站界面设计图片,中国少年儿童教育网站-怎么去注册？  电影网站制作价格表,那些提供免费电影的网站，他们是怎么盈利的？  如何通过虚拟主机快速搭建个人网站？  交易网站制作流程,我想开通一个网站，注册一个交易网址，需要那些手续？  建站之星伪静态规则如何正确配置？  制作旅游网站html,怎样注册旅游网站？  天津个人网站制作公司,天津网约车驾驶员从业资格证官网？  建站VPS能否同时实现高效与安全翻墙？  C#怎么创建控制台应用 C# Console App项目创建方法  建站之星后台密码遗忘如何找回？  如何高效完成自助建站业务培训？  头像制作网站在线观看,除了站酷，还有哪些比较好的设计网站？  如何用狗爹虚拟主机快速搭建网站？  网站制作软件免费下载安装,有哪些免费下载的软件网站？  定制建站平台哪家好？企业官网搭建与快速建站方案推荐  免费网站制作模板下载,除了易企秀之外还有什么H5平台可以制作H5长页面，最好是免费的？  公司网站的制作公司,企业网站制作基本流程有哪些？  临沂网站制作企业,临沂第三中学官方网站？  网站app免费制作软件,能免费看各大网站视频的手机app？