柚子快報(bào)激活碼778899分享：hive 今日復(fù)盤7.11

http://yzkb.51969.com/

9:00~12:00

干活：現(xiàn)在有一個(gè)txt文件

將其中的列名和注釋填入excel表格中

解決辦法：足足千行，所以cv是不太行的，于是寫了python腳本

import pandas as pd

# 讀取txt文件數(shù)據(jù)，假設(shè)txt文件每行是一條記錄，每列之間由制表符分隔

import pandas as pd

# 讀取txt文件數(shù)據(jù)，假設(shè)txt文件每行是一條記錄，每列之間由制表符分隔

data = pd.read_csv('C:/Users/Rose/Desktop/go_work/001.txt', sep='`',engine='python', header=0)

# 將數(shù)據(jù)寫入Excel文件

data.to_excel('C:/Users/Rose/Desktop/go_work/output.xlsx', index=False)

但是我要的是列名和注釋，其中sep只能分三列，沒辦法一次獲得，只能一個(gè)代碼獲得列名，另一個(gè)獲得注釋。

問題：當(dāng)獲取注釋時(shí)，用sep=" ' "只取出一列而且全是逗號(hào)，原因是文本中是COMMENT（空格）'注釋',這樣的話，它只識(shí)別到后面的’。

解決辦法：暫時(shí)無，想過用sep=r" \s'|' "（空格'或者')但是就是不對(duì)（正則表達(dá)式不懂），搞了好久，能力不足只能從T開始分隔，再用sep=" ' "再分隔，就很奇怪這就可以弄出來，第一次不行

11:34 重新問了下gpt

column_separators = ['`', "'"]

df = pd.read_csv('C:/Users/Rose/Desktop/go_work/001.txt', sep='|'.join(column_separators),engine='python', header=None)

這樣能解決‘的問題

這個(gè)錯(cuò)誤信息意味著在嘗試解析CSV或者文本文件時(shí)，發(fā)生了錯(cuò)誤。具體來說，你提供的?pd.read_csv?的?sep?參數(shù)接受的是一個(gè)列表（['`', "'"]），但在嘗試創(chuàng)建一個(gè)正則表達(dá)式（使用 `re.compile(sep)`）時(shí)，Python 拋出了一個(gè) `TypeError: unhashable type: 'list'` 錯(cuò)誤。這是因?yàn)檎齽t表達(dá)式編譯器期望一個(gè)字符串作為模式，而不是一個(gè)列表。

要解決這個(gè)問題，你可以使用?sep='|'.join(column_separators)?方法，將列表中的元素以管道符?|?連接起來，形成一個(gè)正則表達(dá)式模式。這樣，pd.read_csv?函數(shù)就可以正確地解析用這些分隔符分開的數(shù)據(jù)。下面是一個(gè)修改后的示例：

import pandas as pd

# 定義所有的分隔符列表

column_separators = ['`', "'"]

# 使用'|'.join連接分隔符，并傳遞給pd.read_csv

df = pd.read_csv('C:/Users/Rose/Desktop/go_work/001.txt', sep='|'.join(column_separators), header=None)

這種方法會(huì)創(chuàng)建一個(gè)正則表達(dá)式，允許在文本文件中使用?|?分隔符來匹配任何你提供的分隔符（在這個(gè)例子中是 `` 和?'）。這樣，pd.read_csv?函數(shù)就會(huì)正確解析文件中的數(shù)據(jù)。

下午

下午

看了一會(huì)hive建立內(nèi)外表的操作和導(dǎo)入數(shù)據(jù)和導(dǎo)出數(shù)據(jù)，由于沒上手操作，看了這些就不想看了，轉(zhuǎn)而琢磨python爬蟲，先是用request請(qǐng)求網(wǎng)頁

然后對(duì)返回的html進(jìn)行正則解析

就是通過正則表達(dá)式去得到我們要的，然后對(duì)數(shù)據(jù)進(jìn)行封裝

完事就可以打印或者存儲(chǔ)哦

具體可看https://mp.weixin.qq.com/s?__biz=Mzg2NzYyNjg2Nw==&mid=2247489899&idx=1&sn=50df333a8a3fb6e5d054a6fbf259f7a7&chksm=ceb9e377f9ce6a61a8154d7fef75d1b83137d9398253c77b3fa65a44668b4fa146bd59df656a&cur_album_id=2448798954764255234&scene=189#wechat_redirect

?

柚子快報(bào)激活碼778899分享：hive 今日復(fù)盤7.11

http://yzkb.51969.com/

精彩文章