問題簡寫一：在設(shè)置robots.txt文件時，到底哪些是不想被抓取的頁面?
問：這個問題我一直不解，可能是因為我不會設(shè)置robots.txt文件的原因。其他人都說可以用robots去屏蔽不想被搜索引擎抓取的頁面，但我很迷糊，到底哪些是不想被抓取的頁面，都有哪些呢?求黃老師告知，我也希望自己能夠提升這塊的操作能力。
答：看了你的問題后，其實之前就發(fā)現(xiàn)不少企業(yè)網(wǎng)站和個人網(wǎng)站都沒有設(shè)置robots.txt文件，也了解了下，部分原因是因為他們不懂怎么去設(shè)置robotsl.txt文件，當(dāng)然也和他們不愿意學(xué)習(xí)所造成的一部分因素。那么，我這里簡單的說下吧：
①：網(wǎng)站程序安裝后自帶的數(shù)據(jù)文件夾，例如隱私數(shù)據(jù)、用戶信息、管理后臺頁面等，可以看些帝國CMS自帶的robots文件默認設(shè)置，你也可以看下DZ論壇的。如圖：
②：屏蔽掉動態(tài)URL，這個是我們最經(jīng)常做的，如果我們做了偽靜態(tài)以后，不希望動態(tài)URL被抓取，就可以對動態(tài)URL做屏蔽抓取。
③：網(wǎng)站改版或出于某種原因突然刪除很多頁面造成大量死鏈，這個時候會對網(wǎng)站造成很大的影響，很多站長第一反應(yīng)就是找到死鏈并刪除，那么這里就可以通過robots去屏蔽這些死鏈，理論上來說百度不會突然發(fā)現(xiàn)網(wǎng)站上有太多的死鏈，或者兩者同時進行。當(dāng)然，站長最好把自己站內(nèi)的死鏈處理干凈。
問題簡寫二：網(wǎng)站內(nèi)容怎么做才是最好的，有什么建議嗎?
問：黃老師，我在內(nèi)容建設(shè)這個環(huán)境比較薄弱，每次都因為寫文章耗費我半天的時間，有的時候文章一天都寫不出來，而且很多時候?qū)懗鰜淼奈恼缕滟|(zhì)量不是很好。我現(xiàn)在也在不斷的學(xué)習(xí)寫作，我想問下網(wǎng)站內(nèi)容怎么做最佳，在這塊有什么建議嗎?
答：網(wǎng)站內(nèi)容建設(shè)這塊其實很多企業(yè)的SEO人員都很難下手，我遇到很多都是如此，他們難于寫文章，甚至是不知道怎么做內(nèi)容建設(shè)。當(dāng)然，我也會稍微的給他們一些簡單的技巧。我下面簡單的說下，希望對你和大家有幫助：
①：像寫作文一樣去寫原創(chuàng)軟文，其實我們都寫過作文，寫作文的時候也不知道有軟文這回事，而且也不存在關(guān)鍵詞堆砌現(xiàn)象。所以，大家也可以以后試下，可以嘗試下這個方式。
②：想要做好網(wǎng)站內(nèi)容建設(shè)，你需要深入了解這個行業(yè)。所謂“不入虎穴焉得虎子”其實就是這個道理。很多人都在大量的挖掘長尾關(guān)鍵詞，但最后因為不了解這個行業(yè)而對現(xiàn)有的關(guān)鍵詞無從下手。所以，了解這個行業(yè)是你的第一站。
③：原創(chuàng)是最基本的，這個不用說了，尤其是新站做原創(chuàng)很重要。那么轉(zhuǎn)載呢?你也不要多去想了，盡量能原創(chuàng)就原創(chuàng)。
④：千萬不要以偽原創(chuàng)為出發(fā)點，其實很多人都在做偽原創(chuàng)。就比如我今天和一個做菜譜網(wǎng)站的站長交流，他總說網(wǎng)站不收錄內(nèi)容或收錄的很少，其實一看網(wǎng)站里的文章就發(fā)現(xiàn)了，內(nèi)容幾乎都是復(fù)制或掐頭去尾修改，這樣肯定不行。長期做的話百度對你網(wǎng)站的信任度越來越少，而且現(xiàn)在百度的星火計劃也在實施中。
