抓取(爬取)网上信息的脚本程序,俗称网络蜘蛛。
powershell中自带了这样的两个命令,【Invoke-WebRequest】和【Invoke-RestMethod】,但这两个命令有时候会乱码。

现在转帖分享, 某个【歪果仁】写的脚本。来源于 墙外出处: https://gist.github.com/angel-vladov/9482676
核心代码
function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)
# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()
# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)
# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc
#powershell 传教士 转帖并修改的文章 2016-01-01, 允许再次转载,但必须保留名字和出处,否则追究法律责任
}
原文函数
function Read-HtmlPage {
param ([Parameter(Mandatory=$true, Position=0, ValueFromPipeline=$true)][String] $Uri)
# Invoke-WebRequest and Invoke-RestMethod can't work properly with UTF-8 Response so we need to do things this way.
[Net.HttpWebRequest]$WebRequest = [Net.WebRequest]::Create($Uri)
[Net.HttpWebResponse]$WebResponse = $WebRequest.GetResponse()
$Reader = New-Object IO.StreamReader($WebResponse.GetResponseStream())
$Response = $Reader.ReadToEnd()
$Reader.Close()
# Create the document class
[mshtml.HTMLDocumentClass] $Doc = New-Object -com "HTMLFILE"
$Doc.IHTMLDocument2_write($Response)
# Returns a HTMLDocumentClass instance just like Invoke-WebRequest ParsedHtml
$Doc
}
PowerShell function you can use for reading UTF8 encoded HTML pages content. The built in Invoke-WebRequest and Invoke-RestMethod fail miserably.
# powershell蜘蛛
# 乱码问题
# 转帖
# 但这
# 带了
# 墙外
# 网上
# param
# Parameter
# Mandatory
# HtmlPage
# ps
# function
# Read
# true
# ValueFromPipeline
# String
# Uri
# work
# Position
# UTF
# properly
相关文章:
制作营销网站公司,淘特是干什么用的?
,巨量百应是干嘛的?
如何快速辨别茅台真假?关键步骤解析
网站视频制作书签怎么做,ie浏览器怎么将网站固定在书签工具栏?
香港服务器租用费用高吗?如何避免常见误区?
C++时间戳转换成日期时间的步骤和示例代码
网站制作公司广州有几家,广州尚艺美发学校网站是多少?
常州企业建站如何选择最佳模板?
如何用腾讯建站主机快速创建免费网站?
贸易公司网站制作流程,出口贸易网站设计怎么做?
官网自助建站系统:SEO优化+多语言支持,快速搭建专业网站
宝塔建站后网页无法访问如何解决?
Swift中swift中的switch 语句
做企业网站制作流程,企业网站制作基本流程有哪些?
Swift中循环语句中的转移语句 break 和 continue
制作销售网站教学视频,销售网站有哪些?
广东专业制作网站有哪些,广东省能源集团有限公司官网?
建站与域名管理如何高效结合?
如何在企业微信快速生成手机电脑官网?
淘宝制作网站有哪些,淘宝网官网主页?
独立制作一个网站多少钱,建立网站需要花多少钱?
江苏网站制作公司有哪些,江苏书法考级官方网站?
建站之星在线客服如何快速接入解答?
矢量图网站制作软件,用千图网的一张矢量图做公司app首页,该网站并未说明版权等问题,这样做算不算侵权?应该如何解决?
网站制作怎么样才能赚钱,用自己的电脑做服务器架设网站有什么利弊,能赚钱吗?
再谈Python中的字符串与字符编码(推荐)
网站制作模板下载什么软件,ppt模板免费下载网站?
php8.4新语法match怎么用_php8.4match表达式替代switch【方法】
广州商城建站系统开发成本与周期如何控制?
php能控制zigbee模块吗_php通过串口与cc2530 zigbee通信【介绍】
已有域名建站全流程解析:网站搭建步骤与建站工具选择
儿童网站界面设计图片,中国少年儿童教育网站-怎么去注册?
电影网站制作价格表,那些提供免费电影的网站,他们是怎么盈利的?
如何通过虚拟主机快速搭建个人网站?
交易网站制作流程,我想开通一个网站,注册一个交易网址,需要那些手续?
建站之星伪静态规则如何正确配置?
制作旅游网站html,怎样注册旅游网站?
天津个人网站制作公司,天津网约车驾驶员从业资格证官网?
建站VPS能否同时实现高效与安全翻墙?
C#怎么创建控制台应用 C# Console App项目创建方法
建站之星后台密码遗忘如何找回?
如何高效完成自助建站业务培训?
头像制作网站在线观看,除了站酷,还有哪些比较好的设计网站?
如何用狗爹虚拟主机快速搭建网站?
网站制作软件免费下载安装,有哪些免费下载的软件网站?
定制建站平台哪家好?企业官网搭建与快速建站方案推荐
免费网站制作模板下载,除了易企秀之外还有什么H5平台可以制作H5长页面,最好是免费的?
公司网站的制作公司,企业网站制作基本流程有哪些?
临沂网站制作企业,临沂第三中学官方网站?
网站app免费制作软件,能免费看各大网站视频的手机app?
*请认真填写需求信息,我们会在24小时内与您取得联系。